Hadoop伪分布模式-大数据

（Hadoop用户下操作）

• 解压文件

tar -zxvf hadoop-2.7.5.tar.gz -C ./
	z：有gzip属性的
	x：解压
	v：显示所有过程
	f：这个参数是最后一个参数，后面只能跟文件名
	C：解压文件的位置

• 修改配置文件

  配置文件路径：/home/hadoop/hadoop-2.7.5/etc/hadoop

1. hadoop-env.sh

vim hadoop-env.sh
# 修改内容
export  JAVA_HOME=${JAVA_HOME}	修改前 
export	JAVA_HOME=/usr/local/jdk1.8.0_121	修改后

2. core-site.xml

vim core-site.xml
# 添加内容
<configuration>
	<property>
		<!-- 通信主节点的端口地址 -->
		<name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
</configuration>

3. hdfs-site.xml

vim hdfs-site.xml
# 添加内容
<configuration>
		<!-- 副本的个数-->
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

4. mapred-site.xml
   如果mapred-site.xml不存在，复制mapred-site.xml.template为mapred-site.xml

vim mapred-site.xml
# 添加内容
<configuration>
	<property>
    	<name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

5. yarn-site.xml

vim yarn-site.xml
# 添加内容
<configuration>
	<property>
    	<name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

6. slaves

vim slaves
# 添加内容
master

hadoop配置完毕

• 启动hadoop

初始化文件路径：/home/hadoop/hadoop-2.7.5/bin

	hadoop namenode -format

启动文件路径：/home/hadoop/hadoop-2.7.5/sbin

启动HDFS

	start-dfs.sh
	# 启动的进程
	DataNode
	NameNode
	SecondaryNameNode

启动YARN

	start-yarn.sh
	# 启动的进程
 	NodeManager
	ResourceManager

• 通过web访问

  查看yarn：http://192.168.xx.xxx:8088
  查看hdfs：http://192.168.xx.xxx:50070

• 配置Hadoop环境变量

可在任意目录下操作/bin、/sbin目录下的指令

	vim /etc/profile
	# 添加内容
	export HADOOP_HOME=/home/hadoop/hadoop-2.7.5
	export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

• HDFS基本操作指令

	# 创建目录
	hdfs dfs -mkdir /input
	# 创建目录(上级目录不存在也会被创建)
	hdfs dfs -mkdir -p /input/data
	# 将本地文件或目录上传到HDFS中的路径。
	hdfs dfs -put 本地路径 HDFS路径
	# 将文件或目录从HDFS中的路径拷贝到本地文件路径。
	hdfs dfs -get HDFS路径 本地路径
	# 查看目录下内容，包括文件名，权限，所有者，大小和修改时间
	hdfs dfs -ls /input
	# 与ls相似(递归地显示子目录下的内容)
	hdfs dfs -ls -R /input
	# 显示/input下所有文件磁盘使用情况
	hdfs dfs -du /input
	# 与-du相似(显示全部文件或目录磁盘使用情况)
	hdfs dfs -du -s /input
	# 移动文件
	hdfs dfs -mv 源路径 目标路径
	# 复制文件
	hdfs dfs -cp 源路径 目标路径
	# 删除文件或目录
	hdfs dfs -rm -skipTrash /input
	# 删除文件或递归删除目录
	hdfs dfs -rmr -skipTrash /input
 	# 显示文件内容
	hdfs dfs -cat /input/test.txt
 	# 创建文件(如果文件存在失败)
	hdfs dfs -touchz /input/test.tx
 	# 显示文件最后的1KB内容
	hdfs dfs -tail /input/test.txt
	# 统计文件数量
	hdfs dfs -count /input

• Hadoop警告

  Unable to load native-hadoop library for your platform… using builtin-java classes where applicable
  • 原因：Apache提供的hadoop本地库是32位的，而在64位的服务器上就会有问题，因此需要自己编译64位的版本。
  • 下载地址：http://dl.bintray.com/sequenceiq/sequenceiq-bin/
  • 将下载的包解压到hadoop/lib和hadoop/lib/native目录下
    tar -xvf 包