初始hadoop

hadoop是开源的，高可靠的可伸缩的分布式计算框架
–common：提供了大量的kpi，为后面的模块提供支持
–hdfs:分布式文件系统，负责存储海量数据
–yarn：分布式计算平台，负责计算资源的分配和调度
–mapreduce:分布式计算框架
hdfs:主从架构，主节点和从节点（服务器）
主节点：1台
从节点：多台，数量不限
namenode:主节点，负责管理整个hdfs切块所存储的位置信息，负责管理文件的名称空间
datanode：从节点，负责存储文件切块数据，定时向namenode发送一个报告，自身所存储的文件切块数据信息
hdfs默认快大小：hadoop1.x是64M,hadoop2.x是128M
总结：为了最小化寻址时间
作用：提高文件的检索效率
hdfs的块被称为block
副本：副本数默认有3个
副本放置策略：
1副本：如果文件块已经在hdfs集群的某一个节点上的磁盘，那么就选择这个节点，如果在远程客户端上，选择剩余存储空间大的节点，且传输速度大的。
2副本：相对于第一个副本而言的，选择跨机架的任意节点
3副本：相对于第二块副本所在节点而言，选择同机架的节点
假如副本超过3个，那么就从第4个副本开始，没有任何的放置策略可言
副本放置策略如果想生效必须配置机架感知，hdfs默认几家感知是不可启的

hadoop三种模式
本地模式：给开发人员做调试，文件系统选择的是本地磁盘
伪分布式：给开发人员做调试，文件系统选择的是hdfs
分布式：生产环境
hdfs伪分布式环境搭建
新建用户然后visudo添加对应的用户信息到文件中
切换用户并在opt下新建module和softwares文件并修改对应的用户和用户组
首先要安装jdk
卸载虚拟机自带的openjdk
查询是否安装sudo rpm -qa |grep java
卸载：sudo rpm -e --nodeps 软件包名
配置java_home
sudo vim /etc/profile
在文件的末尾追加export JAVA_HOME=/opt/module/jdk1.8.0_151
export PATH=$PATH:$JAVA_HOME/bin
让刚才的配置文件生效source /etc/profile
验证配置文件是否生效 java -version
进入hadoop/etc/hadoop中
修改hadoop/etc/hadoop/hadoop-env.sh文件
修改hadoop/etc/hadoop/mapred-env.sh文件
修改hadoop/etc/hadoop/yarn-env.sh文件
指定Java安装路径
修改hadoop/etc/hadoop/core-site.xml文件


fs.defaultFS hdfs://hadoop:8020



hadoop.tmp.dir
/opt/module/hadoop-2.7.3/data/tmp

修改hadoop/etc/hadoop/hdfs-site.xml文件
指定HDFS文件存储的副本数个数，默认是3个，这里是单台机器就设置为1，这个数字要小于datanode的节点数

dfs.replication
1

修改hadoop/etc/hadoop/slaves文件
指定从节点的机器位置，添加主机名即可
格式化namenode
bin/hdfs namenode -format
当发现出现successful format代表格式化成功

启动命令
sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start datanode
jps查看是否启动成功
查看HDFS外部UI界面
主机名或者IP地址 跟上50070端口号，外部通信http
如果页面不能正常打开查看以下原因
1.jps查看是否启动失败
2.查看防火墙是否关系生产环境不建议关闭防火墙
sudo systemctl status firewalld
再在命令行中输入命令“systemctl disable firewalld.service”命令，即可永久关闭防火墙
3.windows的hosts文件没有做主机映射