Hadoop的集群安装

---

今天开始hadoop学习。一开虚拟机就出现各种状况。

状况一

vim 编辑器出现中文乱码。
一开始以为是编码集的问题，去看了下编码集
编码集就是utf-8，而且在命令行中可以输入中文。可能就是vim的问题。
解决办法
打开~/etc/vimrc，添加

`set fileencodings=utf-8,ucs-bom,gb18030,gbk,gb2312,cp936
 set termencoding=utf-8
 set encoding=utf-8`

状况二

快捷方式“ll”不能用。linux下命令行输入“ll”相当于“ls -l”。

解决办法
进入$ vim ~/.bashrc

添加下面的代码。

alias ll=’ls -l’ 

添加完成后重启。

状况三

vim编辑器中小键盘不能使用
解决办法

不要勾选。

正题：hadoop初始化配置

1. 从官网下载安装包
http://hadoop.apache.org/
点击Download.

有各种版本，你也可你选择更多的版本。

点击选择国内网点。

可以选择稳定的版本。
例：hadoop-2.8.4.tar.gz

2.解压
将下载好的安装包拖到sftp中，在根目录找到后解压。
3.修改配置
我装到了/root/apps/下

• 进入/root/apps/hadoop-2.8.4/etc/hadoop，进入目录下的 hadoop-env.sh。
  将JAVA_HOME 后面改成你的jdk目录。
  
• 进入目录下的 core-site.xml
  添加之间的内容。 ps：端口号要是空闲的端口。

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://hdp-01:9002</value>
</property>

</configuration>

• 进入目录下 slaves；添加你的datanode虚拟机
  

更新：

最简化配置如下：
vi hadoop-env.sh

export JAVA_HOME=/usr/local/jdk1.8.0_102

vi core-site.xml

Namenode在哪里 ，临时文件存储在哪里
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadop1:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop-2.7.3/tmp</value>
</property>
</configuration>

vi hdfs-site.xml

<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/hadoop-2.7.3/data/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/local/hadoop-2.7.3/data/data</value>
</property>

<property>
<name>dfs.replication</name>
<value>3</value>
</property>

<property>
<name>dfs.secondary.http.address</name>
<value>hadop1:50090</value>
</property>
</configuration>

cp mapred-site.xml.tmp mapred-site.xml
vi mapred-site.xm*l

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

vi yarn-site.xml

<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoP1</value>
</property>

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

vi slaves

hadop02
Hadop03

把第一台安装好的jdk和hadoop以及配置文件发送给另外两台

hosts文件
jdk安装后的文件夹
Hadoop安装后的文件夹
/etc/profile 文件
eg:scp -r /usr/local/jdk1.8.0_102 hadoop02:/usr/local/
配置完成！！！

初始化HDFS(在hadoop01进行操作)（操作一次就ok）

bin/hadoop  namenode  -format

启动HDFS

sbin/start-dfs.sh

启动YARN

sbin/start-yarn.sh

jps命令查看或者50070网页查看