Hadoop
Javis486
天下皆白,唯我独黑
展开
-
Hadoop-HDFS架构
HDFS(hadoop distribute file system)包含如下3个模块:NameNode、DataNode、SecondaryNameNode 1.NameNode namenode是整个文件系统的管理节点,它维护着整个文件系统的文件目录树,文件/目录的元信息和每个文件对应的数据块列表,接收用户的操作请求。 文件包括: fsimage:元数据镜像文件,存储某原创 2016-01-13 16:11:26 · 538 阅读 · 0 评论 -
Hadoop-简单的MapReduce
单词统计被视为MapReduce的Hello Wold,下面来在看在Java接口中下如何实现 1.定义一个类继承于Mapper,然后重写它的map方法 import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper; imp原创 2016-01-13 16:35:25 · 641 阅读 · 0 评论 -
hadoop2.7.0-HA集群部署
1.Linux环境准备 此次使用使用了6台Openstack的Instance(centos6.5)来搭建Hadoop的集群,其中zookeeper来协调分布式管理(通俗:哪台机器若宕了,让另一台上) 在6台机器上都进行如下操作(或者通过快照创建其余的instance) 1.修改Linux主机名 2.修改IP 3.修改主机名和IP的映射关系(这里使用的是Fixed_ip内网ip)原创 2016-01-13 15:10:27 · 1083 阅读 · 0 评论 -
hadoop2.x 动态添加节点
假设添加的节点主机名为slave03 1.在各个节点上修改hosts文件添加instance08(确定防火墙已经关闭) 2.配置namenode节点和resourcemanager节点到instance08的免登录 3.拷贝slave02(datanode节点)所有的hadoop文件到slave03上 4.在/hadoop/zookeeper-3.4.5/conf/zoo.cfg 添加(s原创 2016-03-03 20:01:51 · 1648 阅读 · 0 评论 -
Hadoop-Hive快速入门
Hive 是基于Hadoop 构建的一套数据仓库分析系统,简单来说它可以把我们所熟悉的Sql语句翻译成MapReduce执行,但是Hive只能对表进行select操作,而不能进行insert、delete、update操作。 Hive和Sqoop一样,只有你的Hadoop环境已经搭建好了,安装后就可立即使用。但是它有一个特点:就是你在哪个个目录下执行hive的命令进入到hive模式,它就会在该目原创 2016-11-06 10:55:54 · 877 阅读 · 0 评论 -
Zookeeper快速集群搭建
在安装Zookeeper之前,首先需要确保的就是主机名称(可选)、hosts都已经更改,并且JDK成功安装。 1、安装Zookeeper 使用命令“tar -zxvf”命令将gz压缩文件解压。笔者Zookeeper的安装目录为:“/home/Hadoop”,解压后的Hadoop目录为/home/hadoop/zookeeper-3.4.6”,最好确保Master、Slave1转载 2016-11-20 16:27:39 · 615 阅读 · 0 评论 -
hadoop2.7.0-伪分布5分钟快速搭建
1.准备Linux环境 1.0点击VMware快捷方式,右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段:192.168.8.0 子网掩码:255.255.255.0 -> apply -> ok 回到windows --> 打开网络和共享中心 -> 更改适配器设置 -> 右键VMnet1 -> 属性 ->原创 2016-01-13 15:07:34 · 1170 阅读 · 0 评论