大数据实践课02——HDFS分布式文件系统
HDFS存储模型:
偏移量:offset
副本数:3个(可自行调整)
/home/hadoop-2.7.5/etc/hadoop/hdfs-site.xml
/home/hadoop-2.7.5/etc/hadoop/ 目录下面为配置文件
HDFS架构模型:
- HDFS部署安装
1、Java
2、ssh 实现免密钥
3、修改配置文件(官方文档有介绍)
-$HADOOOP_HOME/etc/hadoop/core-site.xml
http://192.168.228.100.50070
-50070 访问Hadoop web页面的地址(Hadoop图形化界面)
-9000 hdfs进程间通信的端口
-$HADOOOP_HOME/etc/hadoop/htfs-site.xml
设置副本数量
--$HADOOOP_HOME/etc/hadoop/slave
设置服务器节点(可以是主机名,也可以是主机IP)用vi进行编辑
官方文档地址
https://hadoop.apache.org/docs/r2.7.5/
jdk
java -version //查看是否安装Java
ssh
chkconfig //查看安装的服务
hdfs dfs -ls //查看hdfs根根路径的命令
密钥文件存储路径:
/root/.ssh/
Hadoop部署目录
/home/hadoop-2.7.5/
-bin:存放命令
-hdfs.cmd
-mapred.cmd
-yarn.cmd
-sbin:
-start-dfs.sh
-stop-dfs.sh
-hadoop-daemons.sh //
-yarn
资源管理框架
-rm
- nm
执行start-yarn.sh产生ResourceManager和NodeManager两个进程。
-etc:核心配置文件目录
-lib:所依赖的jar包
-log:操作日志存放目录
-share:公用或者共享数据
配置文件
/etc/profile
免密码登录原理: