hadoop伪分布式环境搭配

最新推荐文章于 2024-11-11 22:16:36 发布

silence3710

最新推荐文章于 2024-11-11 22:16:36 发布

阅读量153

点赞数

分类专栏： hadoop 文章标签： hadoop

hadoop 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

hadoop伪分布式环境搭配

0.前置操作（获得管理员权利）

1）切换到管理员用户 $ su
2）打开文件/etc/sudoers # vim /etc/sudoers
3）复制 root ALL=(ALL) ALL
4）在其下一行添加host ALL=(ALL) ALLhost是你的用户名
5）保存退出
6）在使用特权命令时命令前加上sudo

1.网络环境配置

先配置网络联通
命令输入sudo vim /etc/sysconfig/network-scripts/ifcfg-eno16777736
打开文件后，将以下配置进行更改
BOOTPROTO=static
ONBOOT=yes
添加以下配置
IPADDR=192.168.218.10
NETMASK=255.255.255.0
GATEWAY=192.168.218.2
DNS1=8.8.8.8
最后，重启网络
service network restart

2.配置Java环境

1）复制或上传jdk压缩包（后缀为.tar.gz)到虚拟机
2）解压jdk tar -zxvf jdk包名解压到当前目录。
注：已安装的jdk目录为：/usr/lib/jvm/jre-1.8.0
3）配置Java
a.# vi /etc/ptofile
b.到最后插入变量
export JAVA_HOME=/usr/local/包名
export PATH=$PATH:JAVA_HOME/bin
c.加载环境变量 # source /etc/ptofile

3.加载hadoop分布式

1）在local创建hadoop文件夹 # makdir hadoop
2）进入hadoop文件夹 # cd hadoop
3）上传hadoop压缩包到此目录
4）解压压缩包 # tar -zxvf hadoop包名
5）设置ssh免密登录
a.# ssh-keygen -t dsa -P ' ' -f ~/.ssh/id_dsa
b.将免密攻略发那个如keys中
# cat ~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys
c.测试 # ssh localhost询问时yes
6）修改主机名# vi /etc/hostname
删除全部，输入MasterMaster是新主机名，可以自己设置其他的主机名
保存退出
7）指定IP # vi /etc/hosts
注释全部，添加192.168.50.154 Master 前面是主机IP，后面是主机名
8）创建三个文件夹
# mkdir /ust/local/hadoop/tmp
# mkdir -p /usr/local/hadoop/hdfs/name
# mkdir /usr/local/hadoop/hdfs/data
9)修改环境变量 # vi ~/.bash_profile
最后添加
HADOOP_HOME=/usr/local/hadoop/hadoop包名
PATH=$PATH:$HADOOP_HOME/bin
export HADOOP_HOME PATH
10）声明环境变量 # source ~/.bash_profile
11）修改hadoop配置文件
a.# cd /usr/local/hadoop/包名/etc/hadoop/进入hadoop
b. 修改hadoop-env.sh # vi hadoop-env.sh
找到export JAVA_HOME=${JAVA_HOME}注释掉
添加export JAVA_HOME=/usr/local/jdk包名
c. 修改yarn-env.sh # vi yarn-env.sh
找到 #export JAVA_HOME=/homely/libexc/jdk1.6.0/
添加export JAVA_HOME=/usr/local/jdk包名
d. 修改core-site.xml # vi core-site .xml
在configuration中添加
<property>
<name>fs.defaultFS</name>
<value>hdfsd://Master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
e. 修改hdfs-site.xml # vi hdfs-site .xml
在configuration中添加
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/hdfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/hdfs/name</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
f. 修改mapred-site.xml.template
# cp mapred-site.xml.template mapred-site.xml
# vi mapred-site.xml
在configuration中添加
<name>mapreduce.framework.name</name>
<value>yarn</value>
g. 修改yarn.xml # vi yarn-site .xml
在configuration中添加
<property>
<name>yarn.nodemanager.aux-services</name>
<value>magreduce-shuffle</value>
</property>