hadoop

Hadoop

Hadoop实现了一个分布式文件系统。Hadoop的框架最核心的设计就是：HDFS和MapReduce。

• HDFS为海量的数据提供了存储
• MapReduce则为海量的数据提供了计算。
• 详细介绍可访问网址：http://www.cnblogs.com/binarylei/p/8903601.html

环境

• rhel7.3

hostname	ip
server1	172.25.60.1
server2（node节点）	172.25.60.2
server3 （node节点）	172.25.60.3

Hadoop的单机版测试

• 建立hadoop用户，并给hadoop用户一个密码
  
• 下载好安装包后，将其放在hadoop用户的家目录下
• 切换到hadoop用户
  
• 给hadoop和java进行解压安装并做软连接
  
• 配置并加载hadoop的环境变量
• 如果配置成功，则可以调用jps
  
  
• 创建input目录，用来测试
  
  
  

伪分布式

• 编辑文件，将信息写入
  
  
• 生成密钥做免密连接
  
  
  
• 格式化
  
• 格式化成功后，在/tmp下生成hadoop-hadoop-namenode.pid文件
  
• 开启服务
  
  
• 在浏览器上查看172.25.60.1的9870端口
  
• 测试，创建目录并上传
  
• 在浏览器上可以查看到上传的文件
  
  
• 将input和output目录删除，重新执行上传命令
  
• 此时，在该目录下不会出现input和output目录，是将文件上传到了分布式文件系统中，在web端是可以查看到的
  
  
  
• 也可以将文件从分布式系统中get下来查看

完全分布式

• 先停掉服务，并清除原来的数据
  
• 将server2和srver3 当做节点
• 在两个节点上创建hadoop用户
  
  
• 在三台主机上分别安装nfs-utils（可以实现所有节点的同步）

[root@server1 ~]# yum install nfs-utils -y
[root@server2 ~]# yum install nfs-utils -y
[root@server3 ~]# yum install nfs-utils -y

• 分别开启rpcnind
  
• 在server1的root用户下开启nfs服务，并配置
  
  
• server2和server3上挂载
  
  
• 此时就实现了各个节点的同步，三台虚拟机之间可以免密的访问
  
  
  
• 在server1上重新编辑文件
  [hadoop@server1 hadoop]$ vim hdfs-site.xml
• 在三台主机的某一个上创建workers文件，并写入节点的信息。只需在一个节点上创建，其他节点上都会生成
  
• 格式化并启动服务
  [hadoop@server1 hadoop]$ bin/hdfs namenode -format
  
• 在三台主机上查看信息jps
  
  
• 测试：
  
• 网页上查看，有两个节点，且数据已经上传
  
  
  
• 当删除目录时，则web端访问失败