(Hadoop用户下操作)
tar -zxvf hadoop-2.7.5.tar.gz -C ./
z:有gzip属性的
x:解压
v:显示所有过程
f:这个参数是最后一个参数,后面只能跟文件名
C:解压文件的位置
- hadoop-env.sh
vim hadoop-env.sh
# 修改内容
export JAVA_HOME=${JAVA_HOME} 修改前
export JAVA_HOME=/usr/local/jdk1.8.0_121 修改后
- core-site.xml
vim core-site.xml
# 添加内容
<configuration>
<property>
<!-- 通信主节点的端口地址 -->
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
</configuration>
- hdfs-site.xml
vim hdfs-site.xml
# 添加内容
<configuration>
<!-- 副本的个数-->
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
- mapred-site.xml
如果mapred-site.xml不存在,复制mapred-site.xml.template为mapred-site.xml
vim mapred-site.xml
# 添加内容
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
- yarn-site.xml
vim yarn-site.xml
# 添加内容
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
- slaves
vim slaves
# 添加内容
master
hadoop配置完毕
初始化文件路径:/home/hadoop/hadoop-2.7.5/bin
hadoop namenode -format
启动文件路径:/home/hadoop/hadoop-2.7.5/sbin
启动HDFS
start-dfs.sh
# 启动的进程
DataNode
NameNode
SecondaryNameNode
启动YARN
start-yarn.sh
# 启动的进程
NodeManager
ResourceManager
可在任意目录下操作/bin、/sbin目录下的指令
vim /etc/profile
# 添加内容
export HADOOP_HOME=/home/hadoop/hadoop-2.7.5
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
# 创建目录
hdfs dfs -mkdir /input
# 创建目录(上级目录不存在也会被创建)
hdfs dfs -mkdir -p /input/data
# 将本地文件或目录上传到HDFS中的路径。
hdfs dfs -put 本地路径 HDFS路径
# 将文件或目录从HDFS中的路径拷贝到本地文件路径。
hdfs dfs -get HDFS路径 本地路径
# 查看目录下内容,包括文件名,权限,所有者,大小和修改时间
hdfs dfs -ls /input
# 与ls相似(递归地显示子目录下的内容)
hdfs dfs -ls -R /input
# 显示/input下所有文件磁盘使用情况
hdfs dfs -du /input
# 与-du相似(显示全部文件或目录磁盘使用情况)
hdfs dfs -du -s /input
# 移动文件
hdfs dfs -mv 源路径 目标路径
# 复制文件
hdfs dfs -cp 源路径 目标路径
# 删除文件或目录
hdfs dfs -rm -skipTrash /input
# 删除文件或递归删除目录
hdfs dfs -rmr -skipTrash /input
# 显示文件内容
hdfs dfs -cat /input/test.txt
# 创建文件(如果文件存在失败)
hdfs dfs -touchz /input/test.tx
# 显示文件最后的1KB内容
hdfs dfs -tail /input/test.txt
# 统计文件数量
hdfs dfs -count /input