hadoop基本介绍及简单安装配置

1、hadoop简单介绍
Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。
Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。
2、hadoop版本说明
hadoop现在分两个版本1.0和2.0（17年1月推出了3.0版本 在这先不介绍）
1.0版本，hadoop有两个核心模块：HDFS+MapReduce
2.0版本，hadoop有三个核心模块：HDFS+Yarn+MapReduce
yarn 是资源协调管理框架。
1.0时hadoop只有一种计算框架。在2.0之后推出yarn后，既可以运行mr，也可以运行Spark,storm等其他框架。
3、Hadoop安装
模式：
1、单机模式，不能使用HDFS,只能使用MR，一般用于测试MR代码
2、伪分布模式，也就是用一台机器，用多个进程模拟多台机器。HDFS和MR都能使用
3、完全分布模式，用多个机器或多个虚拟机来搭建（之后有一节专门来说）
实现步骤：
1、准备一台虚拟机，要求工作内存最低1G，否则有可能出现错误。
2、关闭防火墙（注意，这只是自己用的时候为了简单，在工作中是不能关闭的 只要打开hadoop所需要的几个端口就可，50070、90000、50020等端口。
3、配置主机名hostsname、配置hosts文件，为了之后使用方便
4、配置免密钥登陆，方便之后的登陆跨服务器传文件登陆用
5、安装配置jdk，因为hadoop就是java开发的需要jdk环境
6、最后安装配置hadoop
安装步骤：
1、关闭防火墙：service iptables off 这个指令关闭防火墙之后，重启后防火墙还会开启，执行chkconfig iptables off这个命令之后重启也不会开启了（这个只是自己的虚拟机下使用，生产线上是不能的，当然这些都不是我这个小兵所关心的）。
2、配置hostsname等：
vim /etc/sysconfig/network
配置hosts 内容 vim /etc/hosts
3、配置免密钥登陆：
执行 ssh-keygen 一直回车 ，生成节点的公钥和私钥，生成的文件会放在/root/.ssh的目录下。
然后把公钥发往远程机器，比如发往本机，本机免密钥登陆：ssh-copy-id root@hadoop,此时，hadoop节点就是把收到的hadoop密钥保存在/root/.ssh/authorized_keys这个文件里，这个文件相当于访问的白名单，凡是在此白名单存储的密钥对应的机器，登陆时是免密码登陆的。两个机器分别进行一次则两方登陆时都是免密码的，之后做真分布式hadoop时要进行多个免密钥登陆的。
4、安装配置jdk
在这里就不写了。
5、安装配置hadoop
在这我是用的hadoop安装包进行的安装的。
我的安装包是hadoop-2.7.1的，我会上传的。
执行 tar -zxvf hadoop-2.7.1_64bit.tar.gz，之后解压生成相应的文件。其中由多个目录：
bin目录：命令脚本
etc/hadoop：存放hadoop的配置文件（之后修改配置文件，将在这里进行）
lib目录：hadoop运行的依赖jar包
sbin目录：启动和关闭hadoop命令都在这里
libexec目录：存放的也是hadoop命令，但是一般不适用。
修改配置文件 切换到 etc/hadoop里面修改。
配置hadoop-env.sh
这个文件里写的是hadoop的环境变量，主要修改hadoop的java_home路径。在这里面主要修改export java_home 写成自己jdk的安装目录，export hadoop_conf_dir 写成hadoop的安装目录
配置core-site.xml
配置如下：

配置hdfs-site.xml
如下：

修改配置mapred-site.xml
这个文件初始时是没有的，有的是模板文件mapred-site.xml.temple 复制这个文件命名为mapred-site.xml 修改就可以了。配置如下：
yarn是资源协调工具。
修改yarn-site.xml
配置如下：
配置slaves文件
（这个文件也是在etc/hadoop里面。
配置hadoop的环境变量 vim /etc/profile 主要是环境变量如图：
JAVA_HOME=/home/software/jdk1.8
HADOOP_HOME=/home/software/hadoop-2.7.1
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export JAVA_HOME PATH CLASSPATH HADOOP_HOME
完成这些配置之后要格式化namenode
出现 代表格式化成功之后启动就可以了
启动hadoop 直接 输入start-all.sh就可以启动所有的服务，也可以单个的启动相应的服务。
启动完后 数据jps检查启动情况 这样是都启动起来了，也可以在浏览器上输入：http://192.168.80.21:50070 出现相应的页面。

Hadoop常用指令：
1.执行：hadoop fs -mkdir /test 在hdfs的根目录下，创建park目录
2.执行：hadoop fs -ls / 查看hdfs根目录下有哪些目录
3.hadoop fs -put /home/1.txt /test 将linux系统home 目录下的1.txt文档放到hdfs的test目录下
4.hadoop fs -get /test/1.txt /home 把hdfs文件系统下test目录的文档下载到/home目录下
5.hadoop fs -rm /test/文件名 删除test目录下的指定文件
6.hadoop fs -rmdir /test 删除test目录，但是前提目录是没有文件的
7.hadoop fs -rmr /test 删除test目录，无论有无文件都删除
8.hadoop fs -cat /test/1.txt 查看test目录下1.txt文件
9.hadoop fs -tail /test/1.txt 查看test目录下1.txt文件末尾的数据
10.hadoop jar xxx.jar 执行jar包
11.hadoop fs -mv /test /test1 将hdfs上的test目录重名为test1
12.hadoop fs -mv /test/1.txt /test1 将1.txt转移到test1目录下
13.hadoop fs -touch /test/2.txt 创建一个2.txt空文件
14.hadoop fs -getmerge /test /root 将test目录下的所有文件合并成一个文件，并下载到linux 的/root目录下
15.hadoop dfsadmin -safemode leave 离开安全模式
16.hadoop dfsadmin -safemode enter 进入安全模式
17.hadoop dfsadmin -rollEdits 手动执行fsimage 文件和Edis文件合并元数据
18.hadoop dfsadmin -report 查看存活的datanode节点
19.hadoop fsck /test 汇报/test目录健康状况
20.hadoop fsck /test/1.txt -files -blocks -locations -racks 查看1.txt这个文件block信息以及机架信息，元数据信息，包括：文件名，文件大小，文件块数量，文件块编号，文件存储的Datanode信息。
21.hadoop fs -du /test/1.txt 查看hdfs上某个文件的大小，也可以查看制定目录
22.hadoop fs -copyFormLocal /test/1.txt /home 将文件拷贝到本地文件系统
23.hadoop fs -lsr / 递归查看指定目录下的所有文件