大数据
种·一棵树吧
这个作者很懒,什么都没留下…
展开
-
01_创建虚拟机(hadoop100)
1、新建虚拟机2、3、4、5、6、7、8、9、10、11、12、13、14、15、16、17、原创 2024-03-10 13:42:06 · 409 阅读 · 0 评论 -
02_构建模版虚拟机(hadoop100)
注:Extra Packages for Enterprise Linux是为“红帽系”的操作系统提供额外的软件包,适用于RHEL、CentOS和Scientific Linux。相当于是一个软件仓库,大多数rpm包在官方 repository 中是找不到的)注意:ice这一行不要直接放到root行下面,因为所有用户都属于wheel组,你先配置了ice具有免密功能,但是程序执行到%wheel行时,该功能又被覆盖回需要密码。(2)修改module、software文件夹的所有者和所属组均为ice用户。原创 2024-03-10 13:58:09 · 339 阅读 · 0 评论 -
03_克隆虚拟机(完全分布式)
给102安装之后 不会再给 103 104 安装了 ,而是拷贝。在 home/ice/bin 目录下创建脚本 就可以全局使用。rsync -av 文件/目录 目标主机:/目录。scp -r 文件or目录 目标主机:/目录。需求:循环复制文件 到所有节点的相同目录上。传入linux-hadoop。为什么只给102 安装?传入linux-java。xsync脚本 内容。原创 2024-03-10 13:58:34 · 351 阅读 · 0 评论 -
04_SSH免密登录
查看 隐藏文件102 103 ssh通信过 存在 .ssh 但是 104 没有.ssh进入 102 .ssh/生成 秘钥:::info。原创 2024-03-10 14:03:27 · 378 阅读 · 0 评论 -
05_Hadoop集群配置
::info集群规划需要配置 四个配置文件 均存放在 $HADOOP_HOME/etc/hadoop 下102 来到 $HADOOP_HOME/etc/hadoop。原创 2024-03-10 13:59:32 · 383 阅读 · 0 评论 -
06_启动集群
需要在hadoop102节点格式化NameNode(注意:格式化NameNode,会产生新的集群id,导致NameNode和DataNode的集群id不一致,集群找不到已往数据。如果集群在运行过程中报错,需要重新格式化NameNode的话,一定要先停止namenode和datanode进程,并且要删除所有机器的data和logs目录,然后再进行格式化。原创 2024-03-10 14:00:36 · 330 阅读 · 0 评论 -
07_历史服务器+日志聚集
/原创 2024-03-10 14:04:13 · 362 阅读 · 0 评论 -
08_常用脚本总结
【代码】08_常用脚本总结。原创 2024-03-10 14:01:12 · 340 阅读 · 0 评论 -
09_HDFS基本命令
r: 递归-s :文件夹 总大小-h :具体文件详细 大小hadoop fs -setrep 10 /目录/文件– 设置 该文件 的副本数量。原创 2024-03-10 14:01:56 · 356 阅读 · 0 评论