大数据学习笔记(三)-hdfs

单台服务器启动HDFS

1.修改配置文件

1.1.hadoop-env.sh

Linux系统中获取JDK的安装路径：
[atguigu@ hadoop101 ~]# echo $JAVA_HOME
/opt/module/jdk1.8.0_144
修改JAVA_HOME 路径：
export JAVA_HOME=/opt/module/jdk1.8.0_144

1.2.core-site.xml

<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
    <value>hdfs://hadoop101:9000</value>
</property>

<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
	<name>hadoop.tmp.dir</name>
	<value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>

1.3.hdfs-site.xml

<!-- 指定HDFS副本的数量 -->
<property>
	<name>dfs.replication</name>
	<value>1</value>
</property>

2.启动

2.1.启动集群

##（a）格式化NameNode（第一次启动时格式化，以后就不要总格式化）
bin/hdfs namenode -format
##（b）启动NameNode
sbin/hadoop-daemon.sh start namenode
##（c）启动DataNode
sbin/hadoop-daemon.sh start datanode

2.2.查看启动状态

##注意：jps是JDK中的命令，不是Linux命令。不安装JDK不能使用jps
jps

3.web页面查看

登录：hadoop101:50070

4.在文件系统增加目录路径

[root@localhost hadoop-2.7.2]# bin/hdfs dfs -mkdir -p /user/lhb/input

刷新页面后，可以看到多了文件系统路径

将wcinput文件夹下的wc.input上传至hdfs的/user/lhb/input下

bin/hdfs dfs -put wcinput/wc.input  /user/lhb/input

上传成功。