Hadoop学习笔记（二）

一、Hadoop 三种模式：单机模式、伪集群模式和集群模式

单机模式：Hadoop 仅作为库存在，可以在单计算机上执行 MapReduce 任务，仅用于开发者搭建学习和试验环境。

伪集群模式：此模式 Hadoop 将以守护进程的形式在单机运行，一般用于开发者搭建学习和试验环境。

集群模式：此模式是 Hadoop 的生产环境模式，也就是说这才是 Hadoop 真正使用的模式，用于提供生产级服务。

二、HDFS的启动和配置

HDFS 和数据库相似，是以守护进程的方式启动的。使用 HDFS 需要用 HDFS 客户端通过网络 (套接字) 连接到 HDFS 服务器实现文件系统的使用。

如果你上次已经关闭了该容器或者关闭了计算机导致容器关闭，请启动并进入该容器。

具体过程可以查到，主要为新建Hadoop用户，修改密码，修改权限，启动HDFS 

这里需要修改ip地址和密匙

同样也要对Hadoop 配置文件（全部储存在安装目录下的 etc/hadoop 子目录下）修改两个文件：core-site.xml 和 hdfs-site.xml

 core-site.xml 中添加

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://<你的IP>:9000</value>
</property>

hdfs-site.xml中添加

<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>

启动

start-dfs.sh

三、HDFS使用

HDFS 最基础的命令如上所述 

# 显示根目录 / 下的文件和子目录，绝对路径
hadoop fs -ls /
# 新建文件夹，绝对路径
hadoop fs -mkdir /hello
# 上传文件
hadoop fs -put hello.txt /hello/
# 下载文件
hadoop fs -get /hello/hello.txt
# 输出文件内容
hadoop fs -cat /hello/hello.txt