一、Hadoop 三种模式:单机模式、伪集群模式和集群模式
单机模式:Hadoop 仅作为库存在,可以在单计算机上执行 MapReduce 任务,仅用于开发者搭建学习和试验环境。
伪集群模式:此模式 Hadoop 将以守护进程的形式在单机运行,一般用于开发者搭建学习和试验环境。
集群模式:此模式是 Hadoop 的生产环境模式,也就是说这才是 Hadoop 真正使用的模式,用于提供生产级服务。
二、HDFS的启动和配置
HDFS 和数据库相似,是以守护进程的方式启动的。使用 HDFS 需要用 HDFS 客户端通过网络 (套接字) 连接到 HDFS 服务器实现文件系统的使用。
如果你上次已经关闭了该容器或者关闭了计算机导致容器关闭,请启动并进入该容器。
具体过程可以查到,主要为新建Hadoop用户,修改密码,修改权限,启动HDFS
这里需要修改ip地址和密匙
同样也要对Hadoop 配置文件(全部储存在安装目录下的 etc/hadoop 子目录下)修改两个文件:core-site.xml 和 hdfs-site.xml
core-site.xml 中添加
<property> <name>fs.defaultFS</name> <value>hdfs://<你的IP>:9000</value> </property>
hdfs-site.xml中添加
<property> <name>dfs.replication</name> <value>1</value> </property>
启动
start-dfs.sh
三、HDFS使用
HDFS 最基础的命令如上所述
# 显示根目录 / 下的文件和子目录,绝对路径 hadoop fs -ls / # 新建文件夹,绝对路径 hadoop fs -mkdir /hello # 上传文件 hadoop fs -put hello.txt /hello/ # 下载文件 hadoop fs -get /hello/hello.txt # 输出文件内容 hadoop fs -cat /hello/hello.txt