Hadoop概述
Hadoop是基于Google的集群系统理论由Apache来进行的开源实现:
Google的集群系统:GFS、MapReduce、BigTable
Hadoop的集群系统:HDFS、MapReduce、HBase
Hadoop设计的初衷是为了解决Nutch的海量数据存储和处理的需求,可以解决大数据场景下的数据存储和处理的问题。一开始HDFS和MapReduce是作为Nutch的两个组件来使用,后来发现这两个组件不只是可以用在Nutch搜索,所以就单独取出来组成了Hadoop。
需要注意的是Hadoop处理的离线数据,即在数据已知以及不要求实时性的场景下使用。
传统数据的特点
- GB、TB级别的数据
- 数据增长不快
- 主要为结构化的数据
- 统计和报表
大数据的特点
- TB、PB级别的数据
- 持续的高速增长
- 半结构化、非结构化的数据
- 数据挖掘和预测性分析
- 海量数据的获取、存储、聚合、管理这些数据以及对数据进行深度分析的新技术和新能力。
Hadoop名字的起源: Doug Cutting如此解释Hadoop的得名:“这个名字是我孩子给一头吃饱了的棕黄色大象命名的。我的命名标准就是简短,容易发音和拼写,没有太多的意义,并且不会被用于别处。小孩子是这方面的高手。Google就是由小孩命名的。”
组成
HDFS:用于分布式文件的存储
MapReduce:用于数据的计算
Yarn:进行任务调度。是Hadoop2.0出现的
Hadoop版本 下载安装
Apache Hadoop版本分为三代,我们将第一代Hadoop称为Hadoop 1.0,第二代Hadoop称为Hadoop 2.0。第一代Hadoop包含三个大版本,分别是0.20.x,0.21.x和0.22.x,其中,0.20.x最后演化成1.0.x,变成了稳定版,而0.21.x和0.22.x则NameNode HA等新的重大特性。第二代Hadoop包含两个版本,分别是0.23.x和2.x,它们完全不同于Hadoop 1.0,是一套全新的架构,均包含HDFS Federation和YARN两个系统,相比于0.23.x,2.x增加了NameNode HA和Wire-compatibility两个重大特性
-
安装
Hadoop的安装分为单机方式、伪分布式方式和完全分布式方式。
单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环境,便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时,Hadoop会完全运行在本地。因为不需要与其他节点交互,单机模式就不使用HDFS,也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapReduce程序的应用逻辑。
伪分布模式 Hadoop守护进程运行在本地机器上,模拟一个小规模的的集群。可以使用HDFS和MapReduce
全分布模式 Hadoop守护进程运行在一个集群上
伪分布式安装
-
关闭防火墙
重启后失效
service iptables start;#立即开启防火墙,但是重启后失效。
service iptables stop;#立即关闭防火墙,但是重启后失效。
重启后生效
chkconfig iptables on;#开启防火墙,重启后生效
chkconfig iptables off;#关闭防火墙,重启后生效注意:在Centos7中,没有iptables,而是利用firewall取代
-
配置主机名
注意安装hadoop的集群主机名不能有下划线!!不然会找不到主机!无法启动!
配置主机名
$vi /etc/sysconfig/network
$source /etc/sysconfig/network
例如:
NETWORKING=yes
HOSTNAME=hadoop01
-
配置Hosts
vi /etc/hosts
填入以下内容
ip hadoop01
其他主机和ip对应信息。。。
注意:如果是Centos7中,不是配置127.0.01指向主机名,而是将当前主机的ip地址指向主机名。 192.168.xxx.xxx hostname;还需要编辑/etc/hostname,改变主机名: vi /etc/hostname
-
配置免密码互通
生成自己的公钥和私钥,生成的公私钥将自动存放在/root/.ssh目录下。
$ ssh-keygen
把生成的公钥copy到远程机器上
$ ssh-copy-id [user]@[host]
此时在远程主机的/root/.ssh/authorized_keys文件中保存了公钥,在known_hosts中保存了已知主机信息,当再次访问的时候就不需要输入密码了。
$ ssh [host]
通过此命令远程连接,检验是否可以不需密码连接
-
安装JDK
-
安装hadoop
通过fz将hadoop安装包上传到linux
解压安装包 tar -zxvf [hadoop安装包位置]
-
配置hadoop
-
通过vim打开 vim [hadoop]/etc/hadoop/hadoop-env.sh
主要是修改java_home的路径,在hadoop-env.sh的第27行,把export JAVA_HOME=${JAVA_HOME}修改成具体的路径
重新加载使修改生效 source hadoop-env.sh
-
修改 core-site.xml
通过vim打开 vim [hadoop]/etc/hadoop/core-site.xml
增加namenode配置、文件存储位置配置
<configuration> <property> <!--用来指定hdfs的老大,namenode的地址--> <name>fs.defaultFS</name> <value>hdfs://hadoop01:9000</value> </property> <property> <!--用来指定hadoop运行时产生文件的存放目录--> <name>hadoop.tmp.dir</name> <value>/home/park/work/hadoop-2.5.2/tmp</value> </property> </configuration>
-
修改 hdfs-site.xml
通过vim打开 vim [hadoop]/etc/hadoop/hdfs-site.xml
配置包括自身在内的备份副本数量。
<configuration> <property> <!--指定hdfs保存数据副本的数量,包括自己,默认为3--> <!--伪分布式模式,此值必须为1--> <name>dfs.replication</name> <value>3</value> </property> </configuration>
-
修改 mapred-site.xml
说明:在/etc/hadoop的目录下,只有一个mapred-site.xml.template文件,复制一个 cp mapred-site.xml.template mapred-site.xml
通过vim打开 vim [hadoop]/etc/hadoop/mapred-site.xml
配置mapreduce运行在yarn上
<configuration> <property> <!--指定mapreduce运行在yarn上--> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
-
修改 yarn-site.xml
通过vim打开 vim [hadoop]/etc/hadoop/yarn-site.xml
配置
<configuration> <property> <!--指定yarn的老大resourcemanager的地址--> <name>yarn.resourcemanager.hostname</name> <value>hadoop01</value> </property> <property> <!--NodeManager获取数据的方式--> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>
-
修改 slaves。Hadoop本身是一个典型的主从结构。
-
配置hadoop的环境变量
vim /etc/profile
export HADOOP_HOME=/home/park/work/hadoop-2.7.1/
export PATH= P A T H : PATH: PATH:HADOOP_HOME/sbin:$HADOOP_HOME/bin
重新加载profile使配置生效 source /etc/profile
环境变量配置完成,测试环境变量是否生效 echo $HADOOP_HOME
-
重启linux $reboot
-
格式化namenode
进入 hadoop/bin 输入命令格式化namenode hadoop namenode -format(hdfs namenode -format 以前的方式)
在格式化的时候,会有这样的输出:Storage directory /tmp/hadoop-root/dfs/name has been successfully formatted
-
-
启动hadoop
在/home/app/hadoop-2.6.0/sbin目录下 $start-all.sh
-
关闭hadoop
在/home/app/hadoop-2.6.0/sbin目录下 $stop-all.sh
-
hdfs命令
hadoop fs -mkdir /user/trunk
hadoop fs -ls /user
hadoop fs -lsr /user (递归的)
hadoop fs -put test.txt /user/trunk
hadoop fs -put test.txt . (复制到hdfs当前目录下,首先要创建当前目录)
hadoop fs -get /user/trunk/test.txt . (复制到本地当前目录下)
hadoop fs -cat /user/trunk/test.txt
hadoop fs -tail /user/trunk/test.txt (查看最后1000字节)
hadoop fs -rm /user/trunk/test.txt
hadoop fs -rmdir /user/trunk
hadoop fs -rmr /node01 递归删除
hadoop fs -help ls (查看ls命令的帮助文档)
-
通过浏览器访问hadoop管理页面 http://[server_ip]:50070
如果访问不了有可能是服务器50070端口被关闭了。通过如下方式打开50070端口:
service iptables status #查询防火墙状态
service iptables start #开启防火墙
iptables -I INPUT -p tcp --dport 80 -j ACCEPT #开通特定端口
iptables -I INPUT -p tcp --dport 80 -j DROP #关闭特定端口
service iptables save #保存配置
service iptables restart #重启防火墙
如果多次格式化namenode,那么可能会导致datanode无法启动