配置时间同步服务
NTP(Network Time Protocol)网络时间协议,使计算机时间同步的一种协议
1.下载安装ntp服务
yum install -y ntp
2.设置master节点为ntp服务的主节点
vi /etc/ntp.conf
注释掉server开头的行
添加如下内容:
restrict 192.168.15.0 mask 255.255.255.0 nomodify notrap
server 127.127.1.0
fudge 127.127.1.0 stratum 10
3.分别在slave1和slave2节点中配置ntp服务
(1)通过scp -r命令将ntp.conf传给slave1和slave2
(2)在ntp.conf文件中添加如下内容:
server master
4.关闭和禁用防火墙服务
关闭防火墙:systemctl stop firewalld.service
查看防火墙状态: systemctl status firewalld.service
移除防火墙: systemctl disable firewalld.service
5.启动ntp服务
(1)在master节点上使用
systemctl start ntpd 启动ntp服务
systemctl enable ntpd永久开启ntp服务
6.使用命令ntpdate master去同步master节点的时间
7.在slave1和slave2节点上启动ntp服务
systemctl start ntpd 启动ntp服务
systemctl enable ntpd永久开启ntp服务
配置本地yum源及安装常用软件
1.yum常用的命令
install 安装RPM软件包
remove 删除RPM软件包(卸载)
2.参数
-y 对所有的提问都回答yes
3.配置本地yum源
(1)cd /etc/yum.repos.d/ 进入对应的配置目录
(2)查看目录的下的文件:ll
(3)将除了 CentOS-Media.repo这个文件以外的其他文件都加.bak后缀
(4)vi CentOS-Media.repo
将baseurl的值修改为file:///media/
将gpgcheck的值修改为0
将enabled的值修改为1
(4)使用 mount /dev/sr0 /media/ 命令挂在本地yum源
(5)yum clean all 更新yum源
注意事项:
1.二次格式化hdfs,需要将data文件夹下的内容清空(直接删除data文件夹),还要删除logs文件夹下的内容(直接删除logs文件夹)
2.hdfs的UI监控界面 Master:9870
Safemode安全模式
保证系统保密性、完整性及可使用性的一种机制。
当处于安全模式,hdfs只接收读取数据的请求,不允许删除、修改等变更操作。
查看安全模式状态
hdfs dfsadmin -safemode get
开启安全模式
hdfs dfsadmin -safemode enter
关闭安全模式
hdfs dfsadmin -safemode leave
查看hdfs节点的基本信息
hdfs dfsadmin -report
hdfs dfsadmin -report -live 查看在线节点信息
hdfs dfsadmin -report -dead 查看宕机节点信息
hdfs基本操作---命令行
1.创建目录(文件夹)
单层文件夹 hdfs dfs -mkdir 文件夹名
多层文件夹 hdfs dfs -mkdir -p /文件夹1/文件夹2......
2.上传文件
hdfs dfs -put 源文件的路径 目标路径 将本地的源文件上传到hdfs
hdfs dfs -moveFromLocal 源文件的路径 目标路径 将本地的源文件移动到hdfs上(本地源文件删除)
hdfs dfs -copyFromLocal 源文件的路径 目标路径 将本地的源文件复制到hdfs上
3.下载文件
hdfs dfs -get 源文件的路径 目标路径
hdfs dfs -copyToLocal 源文件的路径 目标路径
4.查看文件内容
hdfs dfs -cat 源文件的路径
hdfs dfs -tail 源文件的路径 查看文件最后1024KB的内容
5.删除文件或目录
hdfs dfs -rm -r 源文件的路径
hdfs dfs -rmdir 源文件夹的路径
6.列出指定的文件和目录