【1】每分钟清空/tmp/内容
*/1 * * * * /bin/rm -rf /tmp/*
每个星期三的下午六点和八点的第5到15分钟之间备份/home/jinghang文件夹下的数据到/opt/software
5-15 18,20 * * 3 /bin/cp /home/jinghang/* /opt/software
【2】Linux如何查看进程,和杀死进程
pa -aux查看所有用户所有进程 ps -ef查看子父进程之间的关系
ps -aux | grep 进程名称 kill -9 pid (进程号)
killall 进程名称
HDFS框架:1)NameNode(nn):存储文件的元数据,如文件名,文件目录结构,文件属性(生成时间、副
本数、文件权限),以及每个文件的块列表和块所在的DateNode等。
2) DateNode(dn) :在本地文件系统存储文件块数据,以及块数据的校验和。
3) Secondary NameNode (2nn) :用来监控HDFS状态的辅助后台程序,每隔一段时间获取
HDFS元数据的快照。
YARN框架:
MapReduce组成和作用:
1)Map阶段并行处理输入数据
2)Reduce阶段对Map结果进行汇总
为大数据做准备:hadoop开发环境准备,保证自己的虚拟机环境都配好。
修改ip地址(自己决定)
关闭防火墙
主机名:hadoop01
用户名:jinghang
配置jinghang具有root权限
再/etc/hosts 下添加主机和服务器IP的映射关系
在/opt目录下创建两个文件夹module和software,并把所有权赋给jinghang
安装jdk
安装hadoop
配置环境变量
检查java、hadoop是否安装成功