hadoop的伪分布式搭建

hadoop模式:
1.本地模式(使用本地文件系统),仅仅运行本机,适合测试
2.伪分布式模式 , 运行一台机器,只有一个节点,使用的是分布式文件系统
3.分布式模式 (hadoop的守护进程运行在一个集群,多个节点)

一,准备环境
1.配置hostname
进行永久修改
vim /etc/sysconfig/network



修改过后保存退出
2.进行操作hostname时,还没有修改完成,需要重启之后进行查看
3.配置hosts
vim /etc/hosts

修改以后保存退出
4.在本机环境同样进行配置




5.关闭 防火墙,进行永久性关闭
查看防火墙的状态 service iptables status ,chkconfig | grep iptables
chkconfig iptables off




6.关闭selinux,selinux是Linux下的自安全机制
学习环境可以将它禁用


7.创建一个用户,并给这个用户设置sudo权限
useradd 用户名,具体可以查看:http://www.cnblogs.com/irisrain/p/4324593.html

更改文件的权限

保存退出后,执行chmod u-w /etc/sudoers
8.重启之后,使用普通用户进行登陆

9.上传jdk包,设置jdk

保存退出后,需要进行命令source /etc/profile

二.准备 搭建Hadoop的伪分布式环境
选用hadoop2.5.0cdh5.3.6版本
1.配置hadoop里/hadoop-2.5.0-cdh5.3.6/etc/hadoop/hadoop-env.sh的jdk

除了我设置的这样情况,还能设置为 export JAVA_HOM=${JAVA_HOME}

2.配置core-site.xml ,创建一个路径来存放hdfs的数据
<property>
                <name>fs.defaultFS</name>
                <value>hdfs://ruyijie01.com:8020</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/opt/modules/hadoop-2.5.0-cdh5.3.6/data/tmp</value>
        </property>


3.配置hdfs-site.xml,这是配置hdfs存放数据备份的副本数,默认是3个
我是单机运行,所以只配置了副本数一个


4.现在对hdfs进行格式化

格式化namenode完成后,在我们存放数据路径下生成dfs的文件


5.可以启动hdfs进行查看

6.查看ui界面,查看自己设置的主机名:50070,进行查看


7.配置mapred-site.xml   

8.配置yarn-site.xml

8.命令进行启动resourcemanager,nodemanager


ui界面进行查看,端口是8088

到此伪分布式的hadoop的环境就搭建起来了,还有一些历史服务的相关配置就不进行配置了
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值