hadoop安装

//---------------------------------------------------------------
虚拟机安装(VMware 14.1.2 + ubuntu14.04.4 64X)
http://www.zdfans.com/html/5928.html
https://www.cnblogs.com/huangjianxin/p/6341256.html


//---------------------------------------------------------------
Ctrl+alt+F1可以从图形界面转换到console界面，
Ctrl+alt+F7可以从console界面转换到图形界面

//---------------------------------------------------------------
初始化root密码：
sudo passwd root

切换到root
su root


//---------------------------------------------------------------
ubuntu安装SSH 服务
ssh localhost
如果出现下面提示则表示还没有安装：
ssh: connect to hostlocalhost port 22: Connection refused

安装ssh服务
apt-get update
apt-get install openssh-server
重启后服务自动开启,监听22

//---------------------------------------------------------------
关闭防火墙
查看防火墙状态
sudo ufw status
开启/关闭防火墙 (默认设置是’disable’)
sudo ufw enable|disable

//---------------------------------------------------------------
Ubuntu14.04设置开机可以以root用户身份登录
先初始化root密码

进入到相应目录
cd /usr/share/lightdm/lightdm.conf.d/

编辑 50-ubuntu.conf文件， 增加greeter-show-manual-login=true

关机重启，在开机界面弹出如下图所示，点击登录：


//---------------------------------------------------------------
SSH 以root身份登陆
然后su root切换到root账号，

vim /etc/ssh/sshd_config
注释掉 #PermitRootLogin without-password，添加 PermitRootLogin yes

重启 ssh 服务
sudo service ssh restart
出现如下信息表示成功
ssh stop/waiting
ssh start/running, process 1499


//---------------------------------------------------------------


重启命令 ：
1、reboot
2、shutdown -r now 立刻重启
3、shutdown -r 10 过10分钟自动重启
4、shutdown -r 20:35 在时间为20:35时候重启

关机命令 ：
1、halt 立刻关机（一般加-p 关闭电源）
2、poweroff 立刻关机
3、shutdown -h now 立刻关机
4、shutdown -h 10 10分钟后自动关机


//---------------------------------------------------------------


//---------------------------------------------------------------
配置静态IP
gedit /etc/network/interfaces

加入
auto eth0
iface eth0 inet static
address 192.168.162.128
netmask 255.255.255.0
gateway 192.168.162.2

重启eth0
sudo ifconfig eth0 down
sudo ifconfig eth0 up

查看网络配置的参数是不是正确
ifconfig

//---------------------------------------------------------------
为虚拟机IP定义一个域名
C:\Windows\System32\drivers\etc\hosts

加上
192.168.162.128 ubuntuHadoop

测试是否配置正确
CMD
ping ubuntuHadoop


//---------------------------------------------------------------
IP分配情况
192.168.162.128 (ubuntuHadoop)


//---------------------------------------------------------------
ubuntu jdk8安装

下载JDK 1.8
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

tar zxvf jdk-8u121-linux-x64.tar.gz -C /usr/local/java/
cd /usr/local/java/

//配置环境变量
vim /etc/profile
//加入如下内容：
#set java environment
export JAVA_HOME=/usr/local/java/jdk1.8.0_121
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:$JRE_HOME/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=${JAVA_HOME}/bin:$PATH

echo $PATH //查看环境变量，/etc/profile要重启，如果不想重启就一句句执行


java -version//查看版本


让/etc/profile文件修改后立即生效 ,可以使用如下命令:
# source /etc/profile

env//查看所有环境变量


//---------------------------------------------------------------
hadoop安装（2.6.5版本是64位的，2.4.1是32位的）

修改主机名和IP的映射关系
vim /etc/hosts
192.168.162.128 ubuntuHadoop


tar -zxvf hadoop-1.1.2.tar.gz -C /home/hadoop/

伪分布式需要修改5个配置文件
第一个：hadoop-env.sh
vim hadoop-env.sh
#第27行
export JAVA_HOME=/home/jdk/java/jdk1.8.0_181

第二个：core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://ubuntuHadoop:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop-2.6.5/tmp</value>
</property>
</configuration>

第三个：hdfs-site.xml hdfs-default.xml (3)
<configuration>
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

第四个：mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
<!-- mv mapred-site.xml.template mapred-site.xml(从mapred-site.xml.template复制一分改名)-->
<!-- vim mapred-site.xml-->
<!-- 指定mr运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

第五个：yarn-site.xml
<configuration>

<!-- Site specific YARN configuration properties -->
<!-- 指定YARN的老大（ResourceManager）的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>ubuntuHadoop</value>
</property>
<!-- reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>


3.2将hadoop添加到环境变量
vim /etc/proflie

//加入如下内容：
#set java environment
export JAVA_HOME=/home/jdk/java/jdk1.8.0_181
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:$JRE_HOME/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
#export PATH=${JAVA_HOME}/bin:$PATH
export HADOOP_HOME=/home/hadoop/hadoop-2.6.5
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

让/etc/profile文件修改后立即生效 ,可以使用如下命令:
# source /etc/profile

env//查看所有环境变量


3.3格式化namenode（是对namenode进行初始化）
hdfs namenode -format (hadoop namenode -format)


3.4启动hadoop
先启动HDFS
sbin/start-dfs.sh

再启动YARN
sbin/start-yarn.sh

也可以以上两个一起启动
start-all.sh

3.5验证是否启动成功fs
使用jps命令验证
出现如下进程代表成功
27408 NameNode
28218 Jps
27643 SecondaryNameNode
28066 NodeManager
27803 ResourceManager
27512 DataNode

还可以通过浏览器的方式验证
http://192.168.162.128:50070 (hdfs管理界面)
http://192.168.162.128:50030 (mr管理界面)

http://ubuntuHadoop:50070 (hdfs管理界面)
http://ubuntuHadoop:50030 (mr管理界面)


http://ubuntuHadoop:8088/ (YARN的Web页面)

//---------------------------------------------------------------
//测试HDFS
hadoop dfs //列出帮助信息


//列出所有目录
hdfs dfs -ls /
hadoop dfs -ls /

//创建目录
hadoop fs -mkdir /test001
hadoop fs -mkdir hdfs://ubuntuHadoop:9000/test001

//上传文件
hadoop fs -put /home/hadoop/testFile/test /test001

//删除文件
hadoop fs -rm /test001/test

//查看文件内容
hadoop fs -cat /test001/test
//---------------------------------------------------------------


//---------------------------------------------------------------
//测试MAPREDUCE

hadoop fs -mkdir /input
hadoop fs -put /home/hadoop/testFile/test /input

运行mapreduce的例子
hadoop jar /home/hadoop/hadoop-2.6.5/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar wordcount /input /output

//查看文件内容
hdfs dfs -ls /output

hadoop fs -cat /output/part-r-00000