hadoop模式:
1.本地模式(使用本地文件系统),仅仅运行本机,适合测试
2.伪分布式模式 , 运行一台机器,只有一个节点,使用的是分布式文件系统
3.分布式模式 (hadoop的守护进程运行在一个集群,多个节点)
一,准备环境
1.配置hostname
进行永久修改
vim /etc/sysconfig/network
修改过后保存退出
2.进行操作hostname时,还没有修改完成,需要重启之后进行查看
3.配置hosts
vim /etc/hosts
修改以后保存退出
4.在本机环境同样进行配置
5.关闭 防火墙,进行永久性关闭
查看防火墙的状态 service iptables status ,chkconfig | grep iptables
chkconfig iptables off
6.关闭selinux,selinux是Linux下的自安全机制
学习环境可以将它禁用
7.创建一个用户,并给这个用户设置sudo权限
useradd 用户名,具体可以查看:http://www.cnblogs.com/irisrain/p/4324593.html
更改文件的权限
保存退出后,执行chmod u-w /etc/sudoers
8.重启之后,使用普通用户进行登陆
9.上传jdk包,设置jdk
保存退出后,需要进行命令source /etc/profile
二.准备 搭建Hadoop的伪分布式环境
选用hadoop2.5.0cdh5.3.6版本
1.配置hadoop里/hadoop-2.5.0-cdh5.3.6/etc/hadoop/hadoop-env.sh的jdk
除了我设置的这样情况,还能设置为
export JAVA_HOM=${JAVA_HOME}
2.配置core-site.xml ,创建一个路径来存放hdfs的数据
<property>
<name>fs.defaultFS</name>
<value>hdfs://ruyijie01.com:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/modules/hadoop-2.5.0-cdh5.3.6/data/tmp</value>
</property>
<name>fs.defaultFS</name>
<value>hdfs://ruyijie01.com:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/modules/hadoop-2.5.0-cdh5.3.6/data/tmp</value>
</property>
3.配置hdfs-site.xml,这是配置hdfs存放数据备份的副本数,默认是3个
我是单机运行,所以只配置了副本数一个
4.现在对hdfs进行格式化
格式化namenode完成后,在我们存放数据路径下生成dfs的文件
5.可以启动hdfs进行查看
6.查看ui界面,查看自己设置的主机名:50070,进行查看
7.配置mapred-site.xml
8.配置yarn-site.xml
8.命令进行启动resourcemanager,nodemanager
ui界面进行查看,端口是8088
到此伪分布式的hadoop的环境就搭建起来了,还有一些历史服务的相关配置就不进行配置了