hadoop
wangxizhen123
热爱技术
展开
-
HADOOP集群搭建
HADOOP集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起 HDFS集群: 负责海量数据的存储,集群中的角色主要有NameNode / DataNode YARN集群: 负责海量数据运算时的资源调度,集群中的角色主要有 ResourceManager /NodeManager (那mapreduce是什么呢?它其实是一个应用程序开发包) 本原创 2017-06-19 18:27:56 · 421 阅读 · 0 评论 -
Flume的安装部署
1、Flume的安装非常简单,只需要解压即可,当然,前提是已有hadoop环境 上传安装包到数据源所在节点上 然后解压 tar -zxvfapache-flume-1.6.0-bin.tar.gz 然后进入flume的目录,修改conf下的flume-env.sh,在里面配置JAVA_HOME 2、根据数据采集的需求配置采集方案,描述在配置文件中(文件名可任意自定义) 3、指定采原创 2017-06-20 23:02:59 · 584 阅读 · 0 评论 -
hadoop集群搭建
1.准备Linux环境我这里准备了4台虚拟机,根据路由查看相关的网段以及网关的信息,这个要看你 自己的虚拟机,这里我的如下选择编辑下的虚拟网络编辑器,得到如下图这里选择下面NAT模式下,如下图然后再选择NAT设置,相关信息如下图这里的子网ip确定了ip的网段,我这里设置了4台虚拟机分别为hadoop1,hadoop2,hadoop3,hadoop4,ip 分别为192.168.150.110,19...原创 2018-04-06 13:05:13 · 265 阅读 · 0 评论