hadoop的安装和配置

第一节hadoop基础环境的配置

首先让普通用户获得管理员权限：
第一步：切换到管理员用户，切换方法略
第二步：打开/etc/sudoers
chmod u+w /etc/sudoers
vim /etc/sudoers 或者从图形界面打开/etc/sudoers
第三步：复制第98行：root ALL=(ALL) ALL
在第99行复制并更改用户名：（用户名） ALL=(ALL) ALL
第四步：被认可的用户使用特权命令时，需要在特权命令前加上sudo

一、1.配置网络
在图形界面中，打开网络连接的有线设置->齿轮->ipv4->地址选择手动，填写网络信息。

打开文件，更改以下配置

  BOOTPROTO=static

  ONBOOT=yes

  添加以下配置

  IPADDR=192.168.218.10

  NETMASK=255.255.255.0

  GATEWAY=192.168.218.2

  DNS1=8.8.8.8


最后，重启网络：service network restart

2.配置网络地址与主机名的对应关系

Sudo vim/etc/hostname 更改为你的当前操作主机的主机名

Sudo vim/etc/hosts

最后新建一行，添加

IP地址1 主机名1

IP地址2 主机名2

IP地址3 主机名3

3.关闭防火墙

查看防火墙状态

Systemctl status firewalld.service

关闭防火墙

Systemctl strop firewalld.service

查看服务开启启动项列表

Systemctl list-unit-files

设置防火墙开机不自动启动

Systemctl disable firewalld.service

二、免密登录

首先生成公私钥

Ssh-keygen -t rsa

打开用户目录下的.ssh目录

Cd
Cd .ssh

将公钥文件拷贝成authorized_keys

Cp id_rsa.pub authorized_keys

然后验证

Ssh 本节点主机名，无需输入密码即可直接登录

三、jdk安装

复制jdk文件到用户目录下

在此目录下新建java目录，将安装包移动到该目录下解压

Tar zxvf 压缩包名

解压后为了方便后期操作，将解压后目录名用mv重命名为jdk

打开并编辑用户目录下的.\bashrc文件

Vim ~/.bashrc

在正文的后面添加以下内容

Export   JAVA_HOME=/home/ryan/java/jdk

Export    PATH=$PATH:$JAVA_HOME/bin

保存退出

让该文件立即生效

Source ~/.bashrc

卸载已有jdk

查询已安装包名中包含jdk的

Rpm -qa
|grep jdk

卸载方法

Rpm -e 包名 --nodeps

使用java -version命令验证
显示版本号与安装版本号相同，则证明安装成功了

第二节hadoop的安装

首先将hadoop安装包复制到用户目录下，新建hadoop目录。将安装包移动到该目录下解压。

将解压完成后的目录（hadoop-2.6.2）改名为hadoop

将hadoop根目录下的bin目录和sbin目录路径加入到PATH中

更改~/.bashrc文件

export
JAVA_HOME=/home/ryan/java/jdk

export
HADOOP_HOME=/home/ryan/hadoop/hadoop

export
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

改完后，执行source命令令其立即生效

使用hadoop version验证是否成功

第三节hadoop的配置

1.在$HADOOP_HOME/etc/hadoop/目录下

配置以下文件

Hadoop-env.sh

export   JAVA_HOME=/home/ryan/java/jdk

 

 

Yarn-env.sh

export   JAVA_HOME=/home/ryan/java/jdk

 

Core-site.xml

在configuration标签中添加以下变量和值

<property>

<name>fs.defaultFS</name>

<value>hdfs://node-1:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/home/ryan/hadoop/hadoop/tmp</value>

</property>

 

 

Hdfs-site.xml

<property>(如果不设置该参数，则默认值为3)

<name>dfs.replication</name>

<value>
2</value>

</property>

<property>(如果不设置该参数，则默认值为$hadoop.tmp.dir/dfs/name)

<name>dfs.namenode.name.dir</name>

<value>/home/ryan/hadoop/hadoop/tmp/dfs/name
</value>

</property>

<property>(如果不设置该参数，则默认值为$hadoop.tmp.dir/dfs/data)

<name>dfs.datanode.data.dir</name>

<value>
/home/ryan/hadoop/hadoop/tmp/dfs/data </value>

</property>

pred-site.xml

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>



Yarn-site.xml

<property>

<name>yarn.resourcemanager.address</name>

<value>rmhostname:8032
</value>

</property>

Slaves

在此文件中写明所有从节点的节点名，一行一个

2.格式化并启动hadoop

3.根据运行日志定位问题点