大数据环境
文章平均质量分 81
打怪的蚂蚁
这个作者很懒,什么都没留下…
展开
-
Hadoop 2.7.2集群安装配置
Hadoop 2.7.2集群安装配置 通常,集群里的一台机器被指定为NameNode,另一台不同的机器被指定为JobTracker,这些机器是masters。余下的机器即作为DataNode也作为TaskTracker,这些机器是slaves。slave节点的配置跟master节点是一样的。所以我们只要部署好master节点,slave节点等master节点配置好以后scp拷贝或者rsyn原创 2016-08-12 16:10:40 · 2033 阅读 · 0 评论 -
Hadoop datanode磁盘扩容
摘要: 看网上介绍的都是介绍的hadoop老版本的动态删除和新增节点的方法,在2.7.1版本中,我看到hadoop的datanode的进程主要有两个datanode和nodemanager,和网上介绍的datanode和tasktracker不一样啊,于是自己去官网研究了一下。hadoop重启太麻烦了,需要暂停当前所有的任务。所以动态的删除和新增节点就很重要了。先说动态删除节点:转载 2017-11-03 16:57:00 · 2260 阅读 · 0 评论 -
Zeppelin0.6.2安装配置
1.1下载地址:http://mirrors.tuna.tsinghua.edu.cn/apache/zeppelin/zeppelin-0.6.2/zeppelin-0.6.2-bin-all.tgz根据下载地址,将zeppelin下载到对应的单板上并解压。1.21.2.1 进入zeppelin-0.6.2-bin-all/conf目录下,复制zeppelin-s原创 2017-05-17 14:18:55 · 905 阅读 · 0 评论 -
hive1.2.1安装指南
Hive安装指南 该文档是建立在已经安装好hadoop和jdk的基础上,并且已经设置好HADOOP_HOME环境变量以及JAVA_HOME环境变量, 在hadoop机群的主节点(192.168.22.135)上安装。1 下载安装包 从http://mirror.bit.edu.cn/apache/hive/hive-1.2.1/apache-hive-1.2原创 2016-08-12 16:26:33 · 2238 阅读 · 0 评论 -
Hadoop HA模式升级配置
这里仅以两台机器作为参考,配置HA模式,文档中所使用的的zookeeper集群也为ubuntu07和ubuntu08两台节点,实际生产环境建议使用奇数节点。ubuntu07和ubuntu08均配置为namenode节点,其中一台处于standby状态,两台节点均作为datanode节点。1.1 使用如下命令停止非HA模式下的Hadoop所有进程stop-all.sh1.2 修改所有原创 2017-05-16 16:37:15 · 1228 阅读 · 1 评论 -
大数据平台Docker应用之路
随着大数据平台型产品方向的深入应用实践和Docker开源社区的逐渐成熟,业界有不少的大数据研发团队开始拥抱Docker。简单来说,Docker会让Hadoop平台部署更加简单快捷、让研发和测试团队集成交付更加敏捷高效、让产线环境的运维更加有质量保障,而这背后的业务场景和具体的实践方法有哪些?在Docker容器服务逐步走向完善的过程中,大数据平台产品Docker模式的应用又是如何解决的?正是本文所着转载 2017-04-07 11:46:02 · 752 阅读 · 0 评论 -
选个关注热度上升的大数据工具学习下吧
本文列举了大数据相关的部分热门项目,盘点了该生态圈目前流行的一些开源产品和工具,并用google热度趋势图体现了它们的受关注程度。从不同的热度趋势,可以了解到每一个产品在近5年来全球受关注的走势,是越来越受重视还是渐渐淡出。在QCon2016 北京站上,Druid开源项目的负责人,Imply联合创始人Fangjin Yang分享了题为 《Evolution of Open Source转载 2017-03-10 17:27:25 · 1310 阅读 · 0 评论 -
大数据平台Docker应用之路
随着大数据平台型产品方向的深入应用实践和Docker开源社区的逐渐成熟,业界有不少的大数据研发团队开始拥抱Docker。简单来说,Docker会让Hadoop平台部署更加简单快捷、让研发和测试团队集成交付更加敏捷高效、让产线环境的运维更加有质量保障,而这背后的业务场景和具体的实践方法有哪些?在Docker容器服务逐步走向完善的过程中,大数据平台产品Docker模式的应用又是如何解决的?正是本文所着转载 2017-02-09 09:12:05 · 3035 阅读 · 0 评论 -
零基础入门 Docker
Docker是什么?Docker 是一个虚拟环境容器,可以将你的开发环境、代码、配置文件等一并打包到这个容器中,并发布和应用到任意平台中。比如,你在本地用 Python 开发网站后台,开发测试完成后,就可以将 Python3 及其依赖包、Flask 及其各种插件、Mysql、Nginx 等打包到一个容器中,然后部署到任意你想部署到的环境。Docker官方文档比较全,建议原创 2016-11-17 18:39:59 · 337 阅读 · 0 评论 -
数据仓库建模与ETL的实践技巧
一、Data仓库的架构 Data仓库(Data Warehouse DW)是为了便于多维分析和多角度展现而将Data按特定的模式进行存储所建立起来的关系型Datcbase,它的Data基于OLTP源Systam。Data仓库中的Data是细节的、集成的、面向主题的,以OLAPSystam的分析需求为目的。 Data仓库的架构模型包括了星型架构与雪花型架构两种模式。星型架构的中间转载 2016-10-12 12:09:00 · 594 阅读 · 0 评论 -
PostgreSql 安装部署
POSTGRESQL手册 PostgreSQL安装1、添加用户PostgreSql默认不能用root启动,所以需要添加用户 linux141#useradd postgreslinux141:~ # passwd postgresChanging password for postgres.New Password: Reenter New Password:原创 2016-08-12 16:33:13 · 607 阅读 · 0 评论 -
MongoDB 3.2集群安装文档
一、 基本流程(1) 搭建配置服务器(3台服务器)MongoDB3.2版本开始,配置服务器从之前的3服务器模式转变为副本集模式,本文搭建的配置服务器集群采用了副本集模式,与之前版本不同请注意。(2) 搭建路由服务器(1台服务器)(3) 搭建分片服务器(2个分片,每个分片3个副本集)二、 搭建配置服务器(1)原创 2016-08-12 16:32:31 · 3672 阅读 · 0 评论 -
Sqoop1.4.6安装指南
Sqoop安装指南 该文档是建立在已经安装好hadoop和jdk的基础上,并且已经设置好HADOOP_HOME环境变量以及JAVA_HOME环境变量,在hadoop的主节点(192.168.22.135)上安装。1 下载安装包从http://mirror.bit.edu.cn/apache/sqoop/1.4.6/sqoop-1.4.6.bin__hadoop-2原创 2016-08-12 16:28:37 · 479 阅读 · 0 评论 -
Zookeeper_3.4.8安装配置文档
Zookeeper 3.4.8安装配置 一、 Zookeeper组件对于Zookeeper集群的话,官方推荐的最小节点数为3个。【由于zookeeper的算法是要求单数台机器完成,所以在配置的时候必须注意zookeeper要配置单数台机器,配置偶数台机器会出现一些无法预知的错误。】这里安装配置zookeeper-3.4.8版本。二、 Zookeeper相关安装配置1.原创 2016-08-12 16:14:59 · 2936 阅读 · 0 评论 -
Spark_2.0.0安装配置文档
Spark安装指南 该文档是建立在已经安装好hadoop和jdk的基础上,并且已经设置好HADOOP_HOME环境变量以及JAVA_HOME环境变量,测试和现网环境需要在原来的hadoop环境中安装。1 下载安装包从http://www.scala-lang.org/files/archive/scala-2.11.8.tgz 获取scala安装包,从http原创 2016-08-12 16:16:53 · 6375 阅读 · 0 评论 -
Kafka_2.10-0.10.0.0安装配置文档
Kafka集群安装指南该文档是建立在已经安装好JAVA JDK的基础上,并且设置好$JAVA_HOME环境变量。一、 Kafka安装1. 解压kafka安装包获取包wget http://apache.fayea.com/apache-mirror/kafka/0.8.1.1/kafka_2.9.2-0.8.1.1.tgz,执行 tar -zxvf kafka原创 2016-08-12 16:14:31 · 3175 阅读 · 0 评论 -
Elasticsearch2.3.4集群安装指南
Elasticsearch集群安装指南 该文档是建立在已经安装好JAVA JDK的基础上,并且已经设置好$JAVA_HOME环境变量。ElasticSearch这里基于2.3.4版本进行安装配置。1 安装Elasticsearch1、可以在官网下载对应的版本的ElasticSearch并解压安装;2、或者使用开发者已经安装配置好的打包ZIP包环境,直接解压后使用(这原创 2016-08-12 16:13:43 · 3490 阅读 · 0 评论 -
hadoop2.7.1不重启,动态删除节点和新增节点
摘要: 看网上介绍的都是介绍的hadoop老版本的动态删除和新增节点的方法,在2.7.1版本中,我看到hadoop的datanode的进程主要有两个datanode和nodemanager,和网上介绍的datanode和tasktracker不一样啊,于是自己去官网研究了一下。hadoop重启太麻烦了,需要暂停当前所有的任务。所以动态的删除和新增节点就很重要了。先说动态删除节点:转载 2017-11-03 17:01:10 · 2029 阅读 · 1 评论