五十七、Hadoop——安装单机版Hadoop260

Hadoop安装非常难，非常复杂，一不小心就GAME OVER

cd /opt/soft/install
  293  ls
  297  tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz
  298  ls
  299  ll
  300  vi /etc/profile
  301  mv  hadoop-2.6.0-cdh5.14.2/ hadoop260/
  302  vi /etc/profile
  303  source /etc/profile
  304  hadoop
  305  cd ./hadoop260/
  306  ls
  307  pwd
  308  cd ./etc/
  309  ls
  310  cd ./hadoop
  311  ls
  312  pwd
  313  ll
  314  pwd
  315  echo $JAVA_HOME
  316  vi ./hadoop-env.sh   1
  317  vi ./mapred-env.sh   2
  318  vi ./yarn-env.sh     3
  319  vi ./hadoop-env.sh
  320  vi ./mapred-env.sh
  321  vi ./yarn-env.sh
  322  hostname
  323  ip addr
  324  ls
  325  vi ./core-site.xml    4
  326  vi ./hdfs-site.xml    5
  327  cp  mapred-site.xml.template  mapred-site.xml
  328  vi ./mapred-site.xml   6
  329  vi ./yarn-site.xml     7
  330  vi ./slaves            8
  331  hadoop namenode -format  （初始化，慎用，只第一次）
  332  vi ./slaves
  333  cd /opt/soft/hadoop260/
  334  ls
  335  ll
  336  ls
  337  cd /opt/soft/install/hadoop260
  338  ls
  339  vd ./etc
  340  cd ./etc/
  341  cd ./hadoop
  342  history

[root@gree139 hadoop]# vi ./hdfs-site.xml 
[root@gree139 hadoop]# cp mapred-site.xml.template mapred-site.xml
[root@gree139 hadoop]# vi ./mapred-site.xml
[root@gree139 hadoop]# vi ./yarn-site.xml
[root@gree139 hadoop]# vi ./slaves 

[root@gree139 hadoop]# hadoop-daemon.sh start namenode
[root@gree139 hadoop]# hadoop-daemon.sh stop namenode

[root@gree139 hadoop]# hadoop-daemon.sh stop datanode
[root@gree139 hadoop]# hadoop-daemon.sh start datanode

[root@gree139 hadoop]# hadoop-daemon.sh start secondarynamenode
[root@gree139 hadoop]# hadoop-daemon.sh stop secondarynamenode

启动yarn资源管理器  NodeManager ResourceManager
[root@gree139 hadoop]# start-yarn.sh
[root@gree139 hadoop]# stop-yarn.sh

启动hdfs DataNode namenode secondarynamenode
[root@gree139 hadoop]# start-dfs.sh 
[root@gree139 hadoop]# stop-dfs.sh 

[root@gree139 hadoop]# yarn-daemon.sh start nodemanager
[root@gree139 hadoop]# yarn-daemon.sh stop nodemanager
[root@gree139 hadoop]# yarn-daemon.sh start resourcemanager
[root@gree139 hadoop]# yarn-daemon.sh stop resourcemanager

全部启动
[root@gree139 hadoop]# start-all.sh 
[root@gree139 hadoop]# stop-all.sh 

http://hostname/ip:50070  HDFS

http://gree139:8088/      yarn管理界面

http://gree139:19888/     jobhistory界面

启动历史服务
[root@gree139 hadoop]# mr-jobhistory-daemon.sh start historyserver

[root@gree139 hadoop]# jps
6064 NodeManager
6289 JobHistoryServer
5346 NameNode
5783 ResourceManager
6359 Jps
5627 SecondaryNameNode
5469 DataNode

命令方式查看 节点状态
[root@gree139 hadoop]# yarn node -list -all

在hdfs文件系统中创建input目录
[root@gree139 hadoop]# hdfs dfs -mkdir /input

查看目录下的文件信息
[root@gree139 hadoop]# hdfs dfs -ls /

上传文件到hdfs指定目录下
[root@gree139 hadoop]# hdfs dfs -put ./yarn-env.sh /input/

下载
[root@gree139 hadoop260]# hdfs dfs -get /input/yarn-env.sh ./yarn-env.sh.bak

删除
[root@gree139 hadoop260]# hdfs dfs -ls /input