安装Hadoop
- 解压 tar -zxvf hadoop-2.7.2.tar.gz -C /opt/hadoop/
- 0.修改环境变量 vim /etc/profile
1. vim hadoop-env.shexport HADOOP_HOME=/opt/hadoop/hadoop-2.7.2 export PATH=$PATH:$HADOOP_HOME/bin
-
export JAVA_HOME=/usr/local/java/jdk1.8.0_231
- 2. vim core-site.xml
<!-- 指定HDFS中NameNode的地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://node1:9000/</value> </property> <!-- 指定Hadoop运行时产生文件的存储目录 --> <property> <name>hadoop.tmp.dir</name> <value>/opt/hadoop/hadoop-2.7.2/tmp</value> </property>
- 3. vim hdfs-site.xml
<!-- 指定Hadoop辅助名称节点主机配置 --> <property> <name>dfs.namenode.secondary.http-address</name> <value>node3:9001</value> </property> <!-- 指定hdfs副本数量 --> <property> <name>dfs.replication</name> <value>3</value> </property>
- 4. vim mapred-site.xml
<!-- 指定MR运行在Yarn上 --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <!-- 以下为选用功能 --> <!-- 历史服务器端地址 --> <property> <name>mapreduce.jobhistory.address</name> <value>node1:10020</value> </property> <!-- 历史服务器web端地址 --> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>node1:19888</value> </property>
- 5. vim yarn-site.xml
<!-- Reducer获取数据的方式 --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <!-- 指定YARN的ResourceManager的地址 --> <property> <name>yarn.resourcemanager.hostname</name> <value>node2</value> </property> <!-- 以下为选用功能 --> <!-- 日志聚集功能使能 --> <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> <!-- 日志保留时间设置7天 --> <property> <name>yarn.log-aggregation.retain-seconds</name> <value>604800</value> </property>
- 6. vim slaves
node1 node2 node3
- 复制到集群其他节点 scp -r hadoop-2.7.2/ node3:/opt/hadoop/ scp -r hadoop-2.7.2/ node2:/opt/hadoop/
初始化Hadoop
- 格式化HDFS (node1操作) hdfs namenode -format
- 启动hadoop 启动HDFS: ./start-dfs.sh --node1
- 启动yarn ./start-yarn.sh ---node2
- 浏览器验证:
- HDFS管理界面: http://192.168.1.101:50070
- MR管理界面: http://192.168.1.102:8088
测试:wordcount 上传文件+mapereduce
- 1.本地创建文件 vim word.txt 输入一些字符
- 2.执行上传命令 将本地文件上传到hdfs中 hadoop fs -put word.txt /
- 执行命令
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /wrd.txt /wcoutput
- 查看过程结果 :
- MR管理界面: 查看applycation中看运行状态
- HDFS管理界面:去找浏览文件系统,下载下来看看