hadoop的linux环境搭建

下载一个用于向linux系统传输文件的应用
链接: https://pan.baidu.com/s/1boy9HLt1IYPL47Kqz4vAwA 提取码: d2zn 复制这段内容后打开百度网盘手机App，操作更方便哦
安装后，打开


复制上面的IP，


点击connect，点击yes，输入电脑本机的登录密码

成功连接虚拟机文件系统，这时候就可以将文件传输到虚拟机了。把文件从左边拖到右边就可以传输文件了，传输我们需要的jdk和hadoop

解压jdk

配置环境变量

在末尾添加

加载环境变量使之生效
’
下面安装hadoop
解压

设置免密登录
(用ssh命令，创建一个无密码的公钥，-t dsa（一种算法，默认也是dsa，可以不写）是类型，-P ‘’是密码为空，最后-f…就是把创建是公钥输入到那个隐藏是文件夹中)

ssh-keygen -t dsa -P '' -f  ~/.ssh/id_dsa

下面将生成的公钥添加进keys中，就可以实现无密登录了

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

第一次登陆会询问，输入yes后，以后登陆就不会询问了
输入 ssh localhost进行登陆

下面修改主机名为Master

vi /etc/hostname

指定ip

ifconfig
记录下得到的ip

vi /etc/hosts

下面创建三个文件夹

mkdir /root/local/hadoop/tmp
mkdir -p /root/local/hadoop/hdfs/name(-p是强制创建)
mkdir /root/local/hadoop/hdfs/data

配置超级用户所有的环境变量

vi ~/.bash_profile

使环境变量生效

source ~/.bash_profile

下面修改hadoop的配置文件

在hadoop的etc文件下
vi hadoop-env.sh
把配置好的jdk导入进来

vi yarn-env.sh
导入jdk

修改核心配置文件
vi core-site.xml

配置底层存储
vi hdfs-site.xml
物理块存储
<property>
<name>dfs.namenode.dir</name>
<value>file:/root/local/hadoop/hdfs/name</value>

</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/root/local/hadoop/hdfs/data</value>
</property>
副本个数
<property>
<name>dfs.replication</name>
<value>1</value>
</property>

重命名mapred-site.xml.template
cp mapred-site.xml.template mapred-site.xml

指定一个yarn使用的框架
vi mapred-site.xml


内容添加
<configuration>
<name>mapreduce.framwork.name</name>
<value>yarn</value>
</configuration>

配置yarn的配置文件
vi yarn-site.xml

内容添加
<configuration>

<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemansger.aux.services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

配置到此结束
下面就开始格式化，一般来说，格式化只需要进行一次，而如果后面修改了配置文件，还是需要格式化的
进入hadoop的bin目录
执行格式化
./hdfs namenode -formate

进入hadoop的sbin目录
执行
./start-all.sh

输入yes

输入jps
查看是否运行成功

出错了，说明配置文件没写对
core-site.xml少了一对property标签

修改以后
重新格式化，在重新启动
./stop-all.sh关闭hadoop
关闭防火墙
=firewall-cmd --state
running
systemctl stop firewalld.service