Hadoop 3.1.2
文件数据类型
-
文件有一个stat文件
- 元数据信息–>表述文件的属性
-
文件有一个vim命令
- 查看文件的数据信息
-
分类
-
元数据
-
File 文件名 Size 文件大小(字节) Blocks 文件使用的数据块总数 IO Block 数据块的大小 regular file 文件类型(常规文件) Device 设备编号 Inod 文件所在的Inode Liniks 硬链接次数 Access 权限 Uid 属主id/用户 Gid 属组id/组名 Access Time 简写为atime,表示文件的访问时间,当文件内容被访问时,更新这个时间 Modify Time 间歇问mtime,表示文件内容的修改时间,当文件的数据内容被修改时,更新这个时间 Change Time 表示文件的状态时间,当文件状态被修改时,更新这个时间
-
编写脚本启动Zookeeper和HDFS
-
在root目录下,新建startZK.sh
-
为了将启动的脚本输出的内容进行存储,在管理员目录下创建logs文件夹,然后再该文件夹下创建start-bdp.log文件
mkdir logs touch logs/start-bdp.log
-
vim startZK.sh
编写如下内容:
#!/bin/bash echo "======启动BaseNode的zookeeper==========" >> /root/logs/start-bdp.log zkServer.sh start>> /root/logs/start-bdp.log echo "======启动zkde1的zookeeper==========" >> /root/logs/start-bdp.log ssh root@zknode1 "/opt/zookeeper-3.4.6/bin/zkServer.sh start">> /root/logs/start-bdp.log echo "======启动zkde2的zookeeper==========" >> /root/logs/start-bdp.log ssh root@zknode2 "/opt/zookeeper-3.4.6/bin/zkServer.sh start">> /root/logs/start-bdp.log echo "======启动zknode3的zookeeper==========" >> /root/logs/start-bdp.log ssh root@zkNode3 "/opt/zookeeper-3.4.6/bin/zkServer.sh start">> /root/logs/start-bdp.log echo "======baseNode的status==========" >> /root/logs/start-bdp.log zkServer.sh status echo "======zknode1的status==========" >> /root/logs/start-bdp.log ssh root@zknode1 "/opt/zookeeper-3.4.6/bin/zkServer.sh status">>/root/logs/start-bdp.log echo "======zknode2的status==========" >> /root/logs/start-bdp.log ssh root@zknode2 "/opt/zookeeper-3.4.6/bin/zkServer.sh status">>/root/logs/start-bdp.log echo "======zknode3的status==========" >> /root/logs/start-bdp.log ssh root@zkNode3 "/opt/zookeeper-3.4.6/bin/zkServer.sh status">>/root/logs/start-bdp.log echo "====================================">> /root/logs/start-bdp.log echo "====================================" >>/root/logs/start-bdp.log echo "====================================" >>/root/logs/start-bdp.log echo "=======启动HDFS集群=================" >> /root/logs/start-bdp.log start-dfs.sh echo "=======status of HDFS=================" >> /root/logs/start-bdp.log jps echo "完成时间:$(date)" >> /root/logs/start-bdp.log "startZk.sh" 46L, 1637C
编写一个脚本,一个命令直接对所有机器调用
-
在root目录下,
vim checkCluster.sh
#!/bin/base $1 ssh root@zknode1 "$1" ssh root@zknode2 "$1" ssh root@zkNode3 "$1"
- $1表示这个脚本接受的第一个参数,后边两句就是远程执行命令的语句,把$1看成命令就行。
sh startZk.sh
-
编写关闭zookeeper和HDFS的脚本
#!/bin/bash
echo "关闭时间:$(date)" >> /root/logs/stop-bdp.log
echo "======关闭BaseNode的zookeeper==========" >> /root/logs/stop-bdp.log
zkServer.sh stop
echo "======关闭zknode1的zookeeper==========" >> /root/logs/stop-bdp.log
ssh root@zknode1 "/opt/zookeeper-3.4.6/bin/zkServer.sh stop"
echo "======关闭zknode1的zookeeper==========" >> /root/logs/stop-bdp.log
ssh root@zknode2 "/opt/zookeeper-3.4.6/bin/zkServer.sh stop"
echo "======关闭zknode1的zookeeper==========" >> /root/logs/stop-bdp.log
ssh root@zkNode3 "/opt/zookeeper-3.4.6/bin/zkServer.sh stop"
echo "======关闭zknode1的zookeeper==========" >> /root/logs/stop-bdp.log
ssh root@zknode1 "/opt/zookeeper-3.4.6/bin/zkServer.sh stop"
echo "====================================">> /root/logs/stop-bdp.log
echo "====================================" >>/root/logs/stop-bdp.log
echo "====================================" >>/root/logs/stop-bdp.log
echo "=======关闭HDFS集群=================" >> /root/logs/stop-bdp.log
stop-dfs.sh
echo "完成时间:$(date)" >> /root/logs/stop-bdp.log
~