安装HADOOP-2.7.3伪分布式系统

调整LINUX

查看主机名

hostname 

-a 查看本机的ip地址

ip a 或 ifconfig

vi /etc/hosts
192.168.16.100 hadoop 追加IP地址和主机名映射

关闭防火群：

service iptables stop
service ip6tables stop
chkconfig iptables off
chkconfig ip6tables off

先确定是否已经有java安装过

rpm -qa|grep java

#如果有的话我们使用rpm -e xxxxxxxxxxxxx(代表你刚才命令执行出的结果内容) --nodeps (不考虑关联删除)

rpm -e tzdata-java-2014g-1.el6.noarch --nodeps

将jdk-8u45-linux-x64.tar安装包上传到/usr目录下

cd /usr
rz

#编写以下脚本：

#!/bin/bash
for i in `rpm -qa|grep java`
do
rpm -e $i --nodeps
done

#执行脚本

sh deljava.sh

#进入/usr

cd /usr

#解压该压缩包

tar xzvf jdk-8u45-linux-x64.tar.gz

#改名

mv jdk1.8.0_45/ java

#配置环境变量

vim /etc/profile

#在尾部添加

export JAVA_HOME=/usr/java
export JRE_HOME=/usr/java/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin

#生成环境变量

source /etc/profile

———————————————————————————————————————————————————————————

安装HADOOP-2.7.3伪分布式系统

#配置互信将sshUserSetup.sh脚本上传到/root目录下

sh sshUserSetup.sh -user root -hosts "自己的ip或者主机名" -advanced -noPromptPassphrase

执行命令 脚本名 -user 你需要互信的用户 -hosts “hadoop hadoop1 hadoop2 hadoop3” 不在校验yes

ssh 192.168.0.101 date

上传hadoop安装包到 hadoop-2.7.3.tar /usr/local下

tar xzvf hadoop-2.7.3.tar.gz
mv hadoop-2.7.3 hadoop

修改环境变量

vi /etc/profile

删掉export PATH=$PATH:$JAVA_HOME/bin

加入下面

export HADOOP_HOME=/usr/local/hadoop
#export HADOOP_OPTS="-Djava.library.path=$HADOOP_PREFIX/lib:$HADOOP_PREFIX/lib/native"
export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native
export HADOOP_COMMON_LIB_NATIVE_DIR=/usr/local/hadoop/lib/native
export HADOOP_OPTS="-Djava.library.path=/usr/local/hadoop/lib"
#export HADOOP_ROOT_LOGGER=DEBUG,console
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

配置HADOOP集群

cd /usr/local/hadoop/etc/hadoop/

一 配置HADOOP环境文件

vim hadoop-env.sh 
set nu 显示行号

第25行
export JAVA_HOME=${JAVA_HOME} 
修改为
export JAVA_HOME=/usr/java

二 配置CORE-SITE.XML文件

vim core-site.xml

在两个
<configuration>
</configuration>
中添加下列内容

<!-- 制定了我们的HADOOP系统的对外提供服务的端口和谁是NAMENODE -->
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://hadoop:9000</value>
</property>

<!-- HADOOP系统产生临时文件的存放地 -->

<property>
  <name>hadoop.tmp.dir</name>
  <value>/var/hadoop/tmp</value>
</property>

三 配置HDFS-SITE.XML文件 (该文件是我们HADOOP存储分布式存储文件系统–>HDFS的配置文件)

vim hdfs-site.xml

镜像个数 代表着我们存一份文件进来以后会被复制的份数
<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>

以下参数代表了windows系统到linux系统用户不同时 是否需要被校验
<property>
  <name>dfs.permissions.enabled</name>
  <value>false</value>
</property>

四 配置mapred-site.xml文件 mapred实际上是mapreduce的缩写 他负责MapReduce的配置
找到HADOOP的安装位置，查看mapred-site.xml.template
cd /usr/local/hadoop/etc/hadoop/
将改名或者拷贝一份新的

cp mapred-site.xml.template mapred-site.xml

vim mapred-site.xml

制定我们在YARN框架上去执行MapReduce任务
<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>

五 配置yarn-site.xml文件 yarn框架的配置文件

vim yarn-site.xml

制定了yarn框架的老大在哪一台服务器上

<property>
  <name>yarn.resourcemanager.hostname</name>
  <value>hadoop</value>
</property>

制定了yarn框架需要MapReduce任务执行时做shuffle（洗牌）

<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>

六 将datanode的主机写入到 slaves该文件下
如果你是伪分布式的话我们不需要修改了。

格式化HADOOP的HDFS文件系统

hdfs namenode -format

如果你对下面的这个警告感到恶心的话，那么我们就可以关闭它

vim /usr/local/hadoop/etc/hadoop/log4j.properties
加到最后就好了
log4j.logger.org.apache.hadoop.util.NativeCodeLoader=ERROR

启动HADOOP集群

start-all.sh

关闭HADOOP集群

stop-all.sh

看到下列进程代表你成功了

[root@hadoop hadoop]# jps
2019 NameNode
2297 SecondaryNameNode
2538 NodeManager
2442 ResourceManager
2141 DataNode

测试 192.168.0.252:50070
192.168.0.252:8088

ssh连接速度慢优化

sed -i.bak ‘s@#UseDNS yes@UseDNS no@g;s@^GSSAPIAuthentication
yes@GSSAPIAuthentication no@g’ /etc/ssh/sshd_config /etc/init.d/sshd
reload

#可以托包上传文件

删除
yum remove lrzsz -y
安装
yum install lrzsz -y