hodoop-2.6.0安装配置

最新推荐文章于 2023-05-23 10:18:17 发布
最新推荐文章于 2023-05-23 10:18:17 发布
阅读量309 收藏
点赞数 1

我这里是在Debian8.6.0版本的Linux操作系统下安装的hadoop-2.6.0-cdh5.5.2

cdh5系列下载地址：http://archive.cloudera.com/cdh5/cdh/5/


正真的第一步应该是同步时间，同步后得重启，否则的话会运行mr的时候会卡主不动，不同步运行mr的时候会报错：
（红帽的话防火墙和selinux是否关闭，这都可能在安装中会报错，但Debian安装后防火墙好像默认关闭的，而selinux默认没有安装，可以通过apt安装，所以倒也不用管它了）

hadoop@h21:~$ hadoop jar xx.jar WordCount /input/he.txt /output

  1. 16/ 12/ 22 22: 58: 17 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
  2. 16/ 12/ 22 22: 58: 18 INFO client.RMProxy: Connecting to ResourceManager at h21/ 192.168.8.21: 8032
  3. 16/ 12/ 22 22: 58: 18 INFO client.RMProxy: Connecting to ResourceManager at h21/ 192.168.8.21: 8032
  4. 16/ 12/ 22 22: 58: 19 WARN mapreduce.JobResourceUploader: Hadoop command-line option parsing not performed. Implement the Tool interface and execute your application with ToolRunner to remedy this.
  5. 16/12/22 22:58:19 INFO mapred.FileInputFormat: Total input paths to process : 1
  6. 16/12/22 22:58:19 INFO mapreduce.JobSubmitter: number of splits:2
  7. 16/12/22 22:58:19 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1482465356176_0001
  8. 16/12/22 22:58:20 INFO impl.YarnClientImpl: Submitted application application_1482465356176_0001
  9. 16/12/22 22:58:20 INFO mapreduce.Job: The url to track the job: http://h21:8088/proxy/application_1482465356176_0001/
  10. 16/12/22 22:58:20 INFO mapreduce.Job: Running job: job_1482465356176_0001
  11. 16/12/22 22:58:22 INFO mapreduce.Job: Job job_1482465356176_0001 running in uber mode : false
  12. 16/12/22 22:58:22 INFO mapreduce.Job: map 0% reduce 0%
  13. 16/12/22 22:58:22 INFO mapreduce.Job: Job job_1482465356176_0001 failed with state FAILED due to: Application application_1482465356176_0001 failed 2 times due to Error launching appattempt_1482465356176_0001_000002. Got exception: org.apache.hadoop.yarn.exceptions.YarnException: Unauthorized request to start container.
  14. This token is expired. current time is 1482471565613 found 1482466101404
  15. Note: System times on machines may be out of sync. Check system time and time zones.
  16. at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
  17. at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)
  18. at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
  19. at java.lang.reflect.Constructor.newInstance(Constructor.java:526)
  20. at org.apache.hadoop.yarn.api.records.impl.pb.SerializedExceptionPBImpl.instantiateException(SerializedExceptionPBImpl.java:168)
  21. at org.apache.hadoop.yarn.api.records.impl.pb.SerializedExceptionPBImpl.deSerialize(SerializedExceptionPBImpl.java:106)
  22. at org.apache.hadoop.yarn.server.resourcemanager.amlauncher.AMLauncher.launch(AMLauncher.java:123)
  23. at org.apache.hadoop.yarn.server.resourcemanager.amlauncher.AMLauncher.run(AMLauncher.java:251)
  24. at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
  25. at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
  26. at java.lang.Thread.run(Thread.java:724)
  27. . Failing the application.
  28. 16/12/22 22:58:22 INFO mapreduce.Job: Counters: 0
  29. Exception in thread "main" java.io.IOException: Job failed!
  30. at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:838)
  31. at WordCount.main(WordCount.java:70)
  32. at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
  33. at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
  34. at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
  35. at java.lang.reflect.Method.invoke(Method.java:606)
  36. at org.apache.hadoop.util.RunJar.run(RunJar.java:221)
  37. at org.apache.hadoop.util.RunJar.main(RunJar.java:136)
1.vi /etc/hosts  （3节点都修改，可以把初始内容都删掉后添加如下内容）
192.168.8.11    h11
192.168.8.12    h12

192.168.8.13    h13

注意：后来验证hosts没必要都这样写，这样写就行

  1. root@h11 :~ # vi /etc/hosts
  2. 192.168. 8.11 h11
  3. 192.168. 8.12 h12
  4. 192.168. 8.13 h13
  5. root@h12 :~ # vi /etc/hosts
  6. 192.168. 8.11 h11
  7. 192.168. 8.12 h12
  8. root@h13 :~ # vi /etc/hosts
  9. 192.168. 8.11 h11
  10. 192.168. 8.13 h13


vi /etc/hostname （主节点，其他节点类似）
h11

reboot  （3节点都重启）

2.3台机器 创建hadoop 用户
adduser hadoop  （密码123456）

3.安装JDK (3台都安装)
root@h11:/usr# tar -zxvf jdk-7u25-linux-i586.tar.gz
root@h11:/usr# scp -r jdk1.7.0_25/ root@h12:/usr/
root@h11:/usr# scp -r jdk1.7.0_25/ root@h13:/usr/

root@h11:/usr# vi /etc/profile （三台都修改吧，添加如下内容）
export JAVA_HOME=/usr/jdk1.7.0_25
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

root@h11:/usr# source /etc/profile （使环境变量生效）

4.安装ssh 证书
root@h11:/usr# su - hadoop （3个节点必须得先切换到hadoop用户）
hadoop@h11:~$ ssh-keygen -t rsa
hadoop@h12:~$ ssh-keygen -t rsa
hadoop@h13:~$ ssh-keygen -t rsa

hadoop@h11:~$ ssh-copy-id -i /home/hadoop/.ssh/id_rsa.pub h11
hadoop@h11:~$ ssh-copy-id -i /home/hadoop/.ssh/id_rsa.pub h12
hadoop@h11:~$ ssh-copy-id -i /home/hadoop/.ssh/id_rsa.pub h13

hadoop@h12:~$ ssh-copy-id -i /home/hadoop/.ssh/id_rsa.pub h11
hadoop@h12:~$ ssh-copy-id -i /home/hadoop/.ssh/id_rsa.pub h12
hadoop@h12:~$ ssh-copy-id -i /home/hadoop/.ssh/id_rsa.pub h13

hadoop@h13:~$ ssh-copy-id -i /home/hadoop/.ssh/id_rsa.pub h11
hadoop@h13:~$ ssh-copy-id -i /home/hadoop/.ssh/id_rsa.pub h12

hadoop@h13:~$ ssh-copy-id -i /home/hadoop/.ssh/id_rsa.pub h13

注意：后来经验证其实这个步骤也可以简化，没必要三台机器两两互ssh，因为是主节点去向从节点派发任务，从节点与从节点之间就没必要通信了，可简化如下

  1. hadoop@h11 :~$ ssh-copy-id -i /home/hadoop/.ssh/id_rsa.pub h11
  2. hadoop@h11 :~$ ssh-copy-id -i /home/hadoop/.ssh/id_rsa.pub h12
  3. hadoop@h11 :~$ ssh-copy-id -i /home/hadoop/.ssh/id_rsa.pub h13
  5. hadoop@h12 :~$ ssh-copy-id -i /home/hadoop/.ssh/id_rsa.pub h11
  7. hadoop@h13 :~$ ssh-copy-id -i /home/hadoop/.ssh/id_rsa.pub h11

5.安装hadoop-2.6.0-cdh5.5.2
hadoop@h11:~$ tar -zxvf hadoop-2.6.0-cdh5.5.2.tar.gz

hadoop@h11:~$ vi .profile （添加以下内容，Redhat为修改.bash_profile）
  1. export JAVA_HOME=/usr/jdk1.7.0_25
  2. export JRE_HOME= ${JAVA_HOME}/jre
  3. export CLASSPATH=.: ${JAVA_HOME}/lib: ${JRE_HOME}/lib
  4. export PATH= ${JAVA_HOME}/bin: $PATH
  6. HADOOP_HOME=/home/hadoop/hadoop-2.6.0-cdh5.5.2
  7. HADOOP_CONF_DIR= $HADOOP_HOME/etc/hadoop
  8. PATH= $HADOOP_HOME/bin: $PATH
  9. export HADOOP_HOME HADOOP_CONF_DIR PATH
hadoop@h11:~$ source .profile

6.修改core-site.xml
hadoop@h11:~$ cd hadoop-2.6.0-cdh5.5.2/etc/hadoop
hadoop@h11:~/hadoop-2.6.0-cdh5.5.2/etc/hadoop$ vi core-site.xml
  1. <property>
  2. <name>fs.defaultFS </name>
  3. <value>hdfs://h11:9000 </value>
  4. <description>NameNode URI. </description>
  5. </property>
  7. <property>
  8. <name>io.file.buffer.size </name>
  9. <value>131072 </value>
  10. <description>Size of read/write buffer used inSequenceFiles. </description>
  11. </property>
 
7.编辑hdfs-site.xml
hadoop@h11:~/hadoop-2.6.0-cdh5.5.2/etc/hadoop$ cd /home/hadoop/hadoop-2.6.0-cdh5.5.2
hadoop@h11:~/hadoop-2.6.0-cdh5.5.2$ mkdir -p dfs/name
hadoop@h11:~/hadoop-2.6.0-cdh5.5.2$ mkdir -p dfs/data
hadoop@h11:~/hadoop-2.6.0-cdh5.5.2$ mkdir -p dfs/namesecondary
hadoop@h11:~/hadoop-2.6.0-cdh5.5.2$ cd etc/hadoop

hadoop@h11:~/hadoop-2.6.0-cdh5.5.2/etc/hadoop$ vi hdfs-site.xml
  1. <property>
  2. <name>dfs.namenode.secondary.http-address </name>
  3. <value>h11:50090 </value>
  4. <description>The secondary namenode http server address andport. </description>
  5. </property>
  7. <property>
  8. <name>dfs.namenode.name.dir </name>
  9. <value>file:///home/hadoop/hadoop-2.6.0-cdh5.5.2/dfs/name </value>
  10. <description>Path on the local filesystem where the NameNodestores the namespace and transactions logs persistently. </description>
  11. </property>
  13. <property>
  14. <name>dfs.datanode.data.dir </name>
  15. <value>file:///home/hadoop/hadoop-2.6.0-cdh5.5.2/dfs/data </value>
  16. <description>Comma separated list of paths on the local filesystemof a DataNode where it should store its blocks. </description>
  17. </property>
  19. <property>
  20. <name>dfs.namenode.checkpoint.dir </name>
  21. <value>file:///home/hadoop/hadoop-2.6.0-cdh5.5.2/dfs/namesecondary </value>
  22. <description>Determines where on the local filesystem the DFSsecondary name node should store the temporary images to merge. If this is acomma-delimited list of directories then the image is replicated in all of thedirectories for redundancy. </description>
  23. </property>
  25. <property>
  26. <name>dfs.replication </name>
  27. <value>2 </value>
  28. </property>

8.编辑mapred-site.xml
hadoop@h11:~/hadoop-2.6.0-cdh5.5.2/etc/hadoop$ cp mapred-site.xml.template mapred-site.xml
hadoop@h11:~/hadoop-2.6.0-cdh5.5.2/etc/hadoop$ vi mapred-site.xml
  1. <property>
  2. <name>mapreduce.framework.name </name>
  3. <value>yarn </value>
  4. <description>Theruntime framework for executing MapReduce jobs. Can be one of local, classic oryarn. </description>
  5. </property>
  7. <property>
  8. <name>mapreduce.jobhistory.address </name>
  9. <value>h11:10020 </value>
  10. <description>MapReduce JobHistoryServer IPC host:port </description>
  11. </property>
  13. <property>
  14. <name>mapreduce.jobhistory.webapp.address </name>
  15. <value>h11:19888 </value>
  16. <description>MapReduce JobHistoryServer Web UI host:port </description>
  17. </property>
*****
属性”mapreduce.framework.name“表示执行mapreduce任务所使用的运行框架，默认为local，需要将其改为”yarn”
*****

9.编辑yarn-site.xml
hadoop@h11:~/hadoop-2.6.0-cdh5.5.2/etc/hadoop$ vi yarn-site.xml
  1. <property>
  2. <name>yarn.resourcemanager.hostname </name>
  3. <value>h11 </value>
  4. <description>The hostname of theRM. </description>
  5. </property>
  7. <property>
  8. <name>yarn.nodemanager.aux-services </name>
  9. <value>mapreduce_shuffle </value>
  10. <description>Shuffle service that needs to be set for Map Reduceapplications. </description>
  11. </property>

10.
hadoop@h11:~/hadoop-2.6.0-cdh5.5.2/etc/hadoop$ vi hadoop-env.sh

export JAVA_HOME=/usr/jdk1.7.0_25

注意：在RedHat6.6 64位中默认jdk版本为1.7.0_65，所以无需再自己安装，此时在这个地方应写为export JAVA_HOME=/usr

 
11.
[hadoop@h201 hadoop]$ vi slaves 
h12
h13

12.
hadoop@h11:~/hadoop-2.6.0-cdh5.5.2/etc/hadoop$ cd
hadoop@h11:~$ scp -r ./hadoop-2.6.0-cdh5.5.2/ hadoop@h12:/home/hadoop/
hadoop@h11:~$ scp -r ./hadoop-2.6.0-cdh5.5.2/ hadoop@h13:/home/hadoop/

========================================================
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
报上面的警告：
去网址http://dl.bintray.com/sequenceiq/sequenceiq-bin/hadoop-native-64-2.6.0.tar下载hadoop-native-64-2.6.0.tar（这个包是64位的，所以只对64位的Linux操作系统好使，32位的不行）
hadoop@h11:~$ tar -xvf hadoop-native-64-2.6.0.tar -C hadoop-2.6.0-cdh5.5.2/lib/native/

第二种方法：直接在log4j日志中去除告警信息
在hadoop-2.6.0-cdh5.5.2/etc/hadoop/log4j.properties文件中添加
log4j.logger.org.apache.hadoop.util.NativeCodeLoader=ERROR

验证：
hadoop@h11:~/hadoop-2.6.0-cdh5.5.2$ bin/hdfs namenode -format
hadoop@h11:~/hadoop-2.6.0-cdh5.5.2$ sbin/start-all.sh

hadoop@h11:~/hadoop-2.6.0-cdh5.5.2$ jps
2260 ResourceManager
1959 NameNode
2121 SecondaryNameNode
2559 Jps

hadoop@h12:~/hadoop-2.6.0-cdh5.5.2$ jps
1889 NodeManager
2038 Jps
1788 DataNode

hadoop@h13:~/hadoop-2.6.0-cdh5.5.2$ jps
1889 NodeManager
2038 Jps
1788 DataNode

hadoop@h11:~/hadoop-2.6.0-cdh5.5.2$ bin/hadoop fs -ls /

hadoop@h11:~/hadoop-2.6.0-cdh5.5.2$ bin/hadoop fs -mkdir /aaa

本文为转载原文章为https://blog.csdn.net/m0_37739193/article/details/71222673

小鑫鑫吖
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hadoop2.6.0（winutils、hadoop.dll）
10-25
windows开发需要的依赖包，hadoop2.6.0 winutils.exe、hadoop.dll
CDH6.3.2安装包及下载地址
08-17
从2021年1月31日开始，所有Cloudera软件都需要有效的订阅，并且只能通过付费墙进行访问。也就是说CDH各版本都不能免费获取了。 整个过程不需要依赖外网，全部为离线安装。 包括： manifest.json CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha256 cloudera-manager-server-6.3.0-2117683.el7.x86_64.rpm cloudera-manager-agent-6.3.0-2117683.el7.x86_64.rpm cloudera-manager-daemons-6.3.0-2117683.el7.x86_64.rpm oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm
CDH6.3.2离线部署资源下载
丰耳的博客
05-23 603
2021年2月份开始Cloudera全面下架了免费的安装包下载渠道，因未订阅授权的用户无法使用CDH6.3.3和之后的版本，故整理6.3.2版本的CDH离线部署文件，以供分享。
CDH6.1安装部署文档附带安装包（三节点为例）
Alan3344的博客
12-03 3775
一、安装包下载 链接：https://pan.baidu.com/s/1G6V9u5PDyxlixZ2PwGWdJA 提取码：q8mb 注：以上安装包是一个zip包，内包含安装CDH6.1所有的包，下载后解压即可 二、上传安装包到master节点 #个人习惯在opt目录下创建一个package目录用于存放安装包 三、解压安装zip包 指令如下： unzip cloudera.zip 如图： 四、前期服务器环境准备 1、 ...
hadoop-native-64-2.6.0.tar
09-14
解决：Unable to load native-hadoop library for your platform 问题 原因： Apache提供的hadoop本地库是32位的，而在64位的服务器上就会有问题，因此需要自己编译64位的版本。 将准备好的64位的lib包解压到已经安装好的hadoop安装目录的lib/native 和 lib目录下：
hadoop-2.6.0-cdh5.7.0版本.zip
03-25
6. **Hadoop安装与配置**: 安装Hadoop-2.6.0-cdh5.7.0版本需要配置集群环境，包括设置环境变量、配置集群节点间通信、初始化HDFS和YARN等。同时，还需要考虑安全性、监控和性能优化等方面。 7. **Hadoop应用开发**:...
hadoop-2.6.0.tar.gz&hadoop-2.6.0-cdh5.16.2.tar.gz
02-17
用户可以通过解压此文件，编译安装来搭建自己的Hadoop环境，进行分布式计算和数据存储。这个版本还包含了其他相关工具，如Hadoop命令行工具、Hadoop守护进程等，用于管理和操作Hadoop集群。 而hadoop-2.6.0-cdh...
hadoop-eclipse-plugin-2.6.0.jar.zip_2.6.0_hadoop_hadoop plugin
07-15
2. **配置Hadoop环境**：在Eclipse中，需要配置Hadoop的运行环境，包括Hadoop的安装路径、HDFS地址等信息。 3. **创建Hadoop项目**：在Eclipse的“文件”菜单中选择“新建” -> “其他”，在弹出的对话框中找到...
hadoop-2.6.0版本所需插件.zip
12-15
给插件起一个合适的名称，例如“Hadoop 2.6.0 Plugin”，然后按照提示完成安装过程。 3. **配置Hadoop环境**：在Eclipse中，你需要配置Hadoop的环境变量。转到"Window" > "Preferences" > "Hadoop Map/Reduce"，在...
hadoop-2.6.0-cdh5.14.2.tar.gz
09-12
在安装和部署Hadoop时，你需要做以下步骤： 1. 解压压缩包到指定目录。 2. 配置`conf`目录下的核心配置文件，如`core-site.xml`（HDFS配置）、`hdfs-site.xml`（HDFS站点配置）、`mapred-site.xml`（MapReduce配置...
hadoop-2.6.0 64位native
08-21
hadoop-2.6.0 64位native，直接删除hadoop-2.6.0/lib/native，然后解压unzip native-x64.zip，最后重命名mv native-x64/ native就可以了。
hadoop2.6.0,windows工具__.zip
08-17
大数据常用包，平时开发、测试、线上等，都会设计，但是往往这些包下载太慢，尤其在需要网络不好的时候，记录下来，方便下次用。
zookeeper-cdh5.3.6
02-22
zookeeper-cdh5.3.6 压缩包，直接解压并修改相关配置文件即可使用， zookeeper-cdh5.3.6 压缩包，直接解压并修改相关配置文件即可使用， zookeeper-cdh5.3.6 压缩包，直接解压并修改相关配置文件即可使用
hadoop-2.6.0.tar
12-26
hadoop-2.6.0.tar.gz hadoop2.6版本在linux上的安装包
Centos6.7 + CDH5.4.5 HADOOP 集群环境离线安装
07-13
Centos6.7 + CDH5.4.5 HADOOP 集群环境离线安装
hadoop（cdh版）下载安装即配置
bopao4335的博客
08-27 1313
下载hadoop压缩包，这里下载的是5.14.2版本（地址：http://archive.cloudera.com/cdh5/cdh/5/） 2.通过Xftp工具将压缩包拉到虚拟机/opt目录下（目录个人随意）3.解压hadoop压缩包（命令：tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz）4.这里为了清晰，新建一个文件夹bigdata单独存放解压后的文件,并重...
cdh_hadoop下载地址
weixin_30487701的博客
04-05 185
http://archive.cloudera.com/cdh5/cdh/5/ 转载于:https://www.cnblogs.com/yhl-yh/p/6669866.html
我的镜像名为sqoop-1.4.7.bin__hadoop-2.6.0，私有仓库地址为36.140.31.201:10000，生成镜像标记拉取推送命令
最新发布
07-09
这条命令将会在当前目录下构建一个名为 `sqoop-1.4.7.bin__hadoop-2.6.0` 的镜像，并使用 `36.140.31.201:10000` 作为私有仓库的地址。 2. 拉取镜像： ``` docker pull 36.140.31.201:10000/sqoop-1.4.7.bin__...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值