一,安装jdk和hadoop
1,通过Xftp 6将软件包传到虚拟机上
2,解压软件包
tar -zxvf 需要解压的包名 -C /usr/local
3,配置环境
vim /etc/profile
jdk:
export JAVA_HOME=路径
export PATH=$PATH:$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
hadoop:
export HADOOP_HOME=/usr/local/hadoop-2.6.0-cdh5.7.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin
4,重新加载配置
source /etc/profile
5,查看安装情况
输入java、hadoop查看
-bash: java: 未找到命令
不出现上面的信息基本就是安装成功了
二,修改主机名和IP的映射关系
- 在下面加入
vim /etc/hosts
192.168.xx.xx hadoop
虚拟机的域名 后面自己随便起
三,配置hadoop
1,进入hadoop文件夹
cd /usr/local/hadoop-2.6.0-cdh5.7.0/etc/hadoop
2,修改配置文件
- 第一个配置文件名:hadoop-env.sh
vim hadoop-env.sh
export JAVA_HOME=${JAVA_HOME}
将${JAVA_HOME}改为jdk的路径
把JAVA_HOME写成绝对路径,这么做是为了防止程序获取不到jdk的路径造成不必要的麻烦
- 第二个配置文件名:core-site.xml
vim core-site.xml
在中加入下面的信息
<!-- 指定HADOOP所使用的文件系统schema(URI),HDFS的老大(NameNode)的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop-2.6.0-cdh5.7.0/tmp</value>
</property>
- 第三个配置文件:hdfs-site.xml
vim hdfs-site.xml
在<configuration></configuration>
中加入下面的信息
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
- 第四个配置文件:mapred-site.xml
vim mapred-site.xml
cp mapred-site.xml.template mapred-site.xml
<!-- 指定mr运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
- 第五个配置文件:yarn-site.xml
vim yarn-site.xml
<!-- 指定YARN的老大(ResourceManager)的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>weekend-1206-01</value>
</property>
<!-- reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
四,格式化namenode
hadoop namenode -format
出现successfully 说明格式化成功
五,启动hadoop
- 先启动HDFS
start-dfs.sh
- 再启动YARN
start-yarn.sh
输入jps指令显示java程序的进程
启动成功
六,通过浏览器访问
在地址栏输入(HDFS管理界面)
192.168.xx.xx:50070
ip是自己虚拟机的ip
- 注:访问不到请检查防火墙是否关闭
访问成功:
在地址栏输入(HDFS管理界面)
192.168.xx.xx:8088 (MR管理界面)
ip是自己虚拟机的ip
访问成功: