【hadoop】hadoop伪分布式操作入门

参考官方文档：

http://hadoop.apache.org/docs/r2.7.7/hadoop-project-dist/hadoop-common/SingleCluster.html

下载包：

https://hadoop.apache.org/releases.htmlhttps://hadoop.apache.org/releases.html

1. 安装JAVA 的JDK并配置环境变量
   
2. 下载hadoop ->hadoop-2.6.0.tar.gz
   
3. 在/opt目录下传创建一个programs文件夹并在/root/tmp目录中解压问价到programs中

tar -zxvf hadoop-2.6.0.tar.gz -C /opt/programs/

4. 在hadoop当前目录下修改hadoop中的jdk路径JAVA_HOME

vi etc/hadoop/hadoop-env.sh

5. 在hadoop当前目录下修改core-site.xml文件(自己的虚拟机IP地址)

vi etc/hadoop/core-site.xml -> 指定HDFS中的NameNode地址和指定hadoop运行时产生文件的存储目录

6. 在hadoop当前目录下修改hdfs-site.xml

vi etc/hadoop/hdfs-site.xml -> 指定HDFS副本的熟料

7. 创建hadoop.tmp.dir指向的文件夹

mkdir -p data/tmp

8. (在hadoop当前目录下)初始化HDFS

bin/hdfs namenode -format

9. 启动服务：

sbin/hadoop-daemon.sh start namenode sbin/hadoop-daemon.sh start datanode

10. jps看下守护进程：

jps

11. 使用webUI查看服务状态(IP地址访问)

12. 若是配置没有错查看一下是否关闭了防火墙

firewall-cmd --state

13. 开启，重启，关闭防火墙

> 开启 service firewalld start
> 重启 service firewalld restart  
> 关闭 service firewalld stop

14. 存储方式

15. name ->VERSION

16. data -> VERSION

17. data ->blockpoolID

18. 测试信息

19. 创建一个目录/root/tmp/input，并将任意一个文件上传（-put）

21. 测试Utilities -> Browse the file system

补充：

hadoop三种运行模式(简单理解)

1. 本地模式 standalone ->不需要启动任何服务，直接使用命令去运行任务
2. 伪分布式模式 -> 运行规则和分布式一样，但是只运行在一个节点上
3. 分布式模式 -> Hadoop的分布式运行规则完全执行，运行在多个节点上，每个节点交互

not learn to live:

你做过一次手术 就知道喝药根本算不上苦 你狠狠摔倒过 就知道擦破皮不值得哭 你被背叛过就知道吵两句嘴不伤真感情 希望你慢慢学会长大 希望你开始不在意受伤 希望你伤痕累累但依然闪闪发光。——网易云音乐热评《不露声色》