物联网架构之Hadoop部署

部署Hadoop系统

一.基础环境

1.修改主机名

2.所有节点添加hosts解析

3.关闭防火墙

4.关闭内核安全机制

sed -i "s/.*SELINUX=.\*/SELINUX=disabled/g" /etc/selinux/config

5.时间同步

 yum -y install chrony

 systemctl start chronyd

 chronyc sources -v

6. 创建用户和组

所有node节点都需要执行

 7.创建Hadoop组

 groupadd hadoop

 ​# 创建hduser用户

 useradd -g hadoop hduser

 ​# 为hduser用户设置密码

 passwd hduser

 8.更改用户 hduser 的密码 。

 新的 密码：

 无效的密码： 密码少于 8 个字符

 重新输入新的密码：

 passwd：所有的身份验证令牌已经成功更新。

 ​# 为hduser用户添加sudo权限

 vim /etc/sudoers

 在 root  ALL=(ALL)  ALL 下面添加如下内容：

 hduser ALL=(ALL)  NOPASSWD:ALL

 ## 保存是需要使用 :wq!

 10..部署JDK环境

所有node节点都需要执行

 # 上传安装包并安装

 rpm -ivh jdk-8u171-linux-x64.rpm

 ​# 配置环境变量

 echo 'export JAVA_HOME=/usr/java/jdk1.8.0_171-amd64' >> /etc/profile

 echo 'export CLASSPATH=$JAVA_HOME/lib:$CLASSPATH' >> /etc/profile

 echo 'export PATH=$JAVA_HOME/bin:$PATH' >> /etc/profile

 # 刷新环境变量

 source /etc/profile

 # 查看Java版本

  java -version

11.配置免密登录

仅在node1节点执行

ssh-keygen

 ssh-copy-id node1

 ssh-copy-id node2

 ssh-copy-id node3

12. 部署Hadoop

安装配置Hadoop

所有node节点都需要执行

 # 安装Hadoop

 tar zxf hadoop-2.6.5.tar.gz -C /home/hduser/

 # 修改目录名

 mv /home/hduser/hadoop-2.6.5/ /home/hduser/hadoop

 # 配置环境变量

 cat >> /etc/profile << 'EOF'

 export HADOOP_HOME=/home/hduser/hadoop

 export PATH=$HADOOP_HOME/bin:$PATH

 EOF

 # 刷新环境变量

 source /etc/profile

13.修改Hadoop相关配置文件

 # 编辑/home/hduser/hadoop/etc/hadoop/hadoop-env.sh 文件

 vim /home/hduser/hadoop/etc/hadoop/hadoop-env.sh

 # 注释掉原本的export JAVA_HOME，然后再添加下面内容：

 export JAVA_HOME=/usr/java/jdk1.8.0_171-amd64

 ​ # 编辑/home/hduser/hadoop/etc/hadoop/yarn-env.sh 文件

 vim /home/hduser/hadoop/etc/hadoop/yarn-env.sh

 # 添加下面内容：

 export JAVA_HOME=/usr/java/jdk1.8.0_171-amd64

 ​\ # 编辑/home/hduser/hadoop/etc/hadoop/slaves 文件

 vim /home/hduser/hadoop/etc/hadoop/slaves

 ##清空原内容，然后输入如下内容

 node2

 node3

  # 编辑/home/hduser/hadoop/etc/hadoop/core-site.xml  注意删除原有的<configuration>和</configuration>

##该文件是 Hadoop 全局配置

 vim /home/hduser/hadoop/etc/hadoop/core-site.xml

 # 末行添加：

 <configuration>

     <property>

         <name>fs.defaultFS</name>

         <value>hdfs://node1:9000</value>

     </property>

     <property>

         <name>hadoop.tmp.dir</name>

         <value>file:/home/hduser/hadoop/tmp</value>

     </property>

 </configuration>

 ​# 编辑/home/hduser/hadoop/etc/hadoop/hdfs-site.xml

 ##该文件是 HDFS 的配置

 vim /home/hduser/hadoop/etc/hadoop/hdfs-site.xml

 # 末行添加：

 <configuration>

     <property>

         <name>dfs.namenode.secondary.http-address</name>

         <value>node1:50090</value>

     </property>

     <property>

         <name>dfs.namenode.name.dir</name>

         <value>file:/home/hduser/hadoop/dfs/name</value>

     </property>

     <property>

         <name>dfs.datanode.data.dir</name>

         <value> file:/home/hduser/hadoop/dfs/data</value>

     </property>

     <property>

         <name>dfs.replication</name>

         <value>2</value>

     </property>

     <property>

         <name>dfs.webhdfs.enabled</name>

         <value>true</value>

     </property>

 </configuration>

 ​

 # 编辑/home/hduser/hadoop/etc/hadoop/mapred-site.xml

 ##该文件是 MapReduce的配置，可从模板文件 mapred-site.xml.template 复制

 cp  /home/hduser/hadoop/etc/hadoop/mapred-site.xml.template  /home/hduser/hadoop/etc/hadoop/mapred-site.xml

 vim /home/hduser/hadoop/etc/hadoop/mapred-site.xml     注意删除原有的<configuration>和</configuration>

 # 末行添加：

 <configuration>

     <property>

         <name>mapreduce.framework.name</name>

         <value>yarn</value>

     </property>

     <property>

         <name>mapreduce.jobhistory.address</name>

         <value>node1:10020</value>

     </property>

     <property>

         <name>mapreduce.jobhistory.webapp.address</name>

         <value>node1:19888</value>

     </property>

 </configuration>

 ​# 编辑/home/hduser/hadoop/etc/hadoop/yarn-site.xml

 ##如果在 mapred-site.xml配置了使用YARN框架，那么YARN框架使用此文件中的配置

 vim /home/hduser/hadoop/etc/hadoop/yarn-site.xml     注意删除原有的<configuration>和</configuration>

 # 末行添加：

 <configuration>

     <property>

         <name>yarn.nodemanager.aux-services</name>

         <value>mapreduce_shuffle</value>

     </property>

     <property>

         <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

         <value>org.apache.hadoop.mapred.ShuffleHandler</value>

     </property>

     <property>

         <name>yarn.resourcemanager.address</name>

         <value>node1:8032</value>

     </property>

     <property>

         <name>yarn.resourcemanager.scheduler.address</name>

         <value>node1:8030</value>

     </property>

     <property>

         <name>yarn.resourcemanager.resource-tracker.address</name>

         <value>node1:8035</value>

     </property>

     <property>

         <name>yarn.resourcemanager.admin.address</name>

         <value>node1:8033</value>

     </property>

     <property>

         <name>yarn.resourcemanager.webapp.address</name>

         <value>node1:8088</value>

     </property>

 </configuration>

 ​ ## 将修改完的配置文件推送分别到node2、node3节点

 scp -r /home/hduser/hadoop/* node2:/home/hduser/

 scp -r /home/hduser/hadoop/* node3:/home/hduser/

5.5 Hadoop相关管理

 # 切换到Hadoop安装目录下

 cd /home/hduser/hadoop/

 # 格式化，必须要做的！！

 bin/hdfs namenode -format

 # 启动hdfs

 sbin/start-dfs.sh

 # 启动yarn

 sbin/start-yarn.sh

 # 也可以使用start-all.sh全部启动

 sbin/start-all.sh

 # 全部停止

 sbin/stop-all.sh

 # 查看集群状态

 bin/hdfs dfsadmin -report

 # 查看Java进程

 jps

 # 查看50070端口

 netstat -nlpt | grep 50070

 # 切换到Hadoop安装目录下

  cd /home/hduser/hadoop/

使用start-all.sh全部启动

 sbin/start-all.sh

18.运行Hadoop 的WordCount 程序

 在/home/hduser/file 目录下创建 file1.txt、file2.txt 以下都是在 cd /home/hduser/hadoop/目录下进行

 # 在/home/hduser/file 目录下创建 file1.txt、file2.txt

 mkdir /home/hduser/file

 echo "Hello World hi HADOOP" > /home/hduser/file/file1.txt

 echo "Hello hadoop hi CHINA" > /home/hduser/file/file2.tx

19. 将 file1.txt、file2.txt 保存到 HDFS 中

 # 创建 HDFS 目录/input2

 bin/hadoop fs -mkdir /input2

 bin/hadoop fs -ls /

 # 将 file1.txt、file2.txt 上传到 HDFS 中

 bin/hadoop fs -put /home/hduser/file/file* /input2

 # 查看

 bin/hadoop fs -ls /input2

 bin/hadoop fs -cat /input2/*

20.执行 WordCount 程序并查看结果

 # 执行 WordCount 程序

 bin/hadoop jar /home/hduser/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar  wordcount /input2/ /output2/wordcount1

 # 查看执行结果

 bin/hadoop fs -ls /

 bin/hadoop fs -ls /output2

 bin/hadoop fs -cat /output2/wordcount1/*

用浏览器登录

在计算机浏览器中输入http://192.168.107.136:8088/cluster

和http://192.168.107.136:50070/dfshealth.html#tab-overview