大数据
文章平均质量分 53
白不懂黑的静
纸上得来终觉浅 绝知此事要躬行
展开
-
linux ssh 免密登录
在做centos7安装hadoop是,需要用到配置ssh免密登录,按照网络上的一篇文章配置成功,特将其文章在此记载,当时为单机版,因此单机版的部分已经验证,集群版的未验证,在此仅做纪录,后面有机会再验证并修改注释。。。。以下用三台centos为例,ip分别为192.168.44.138、192.168.44.139、192.168.44.140,分别对应别名master、slave1、slave21、首先在每个机器上执行ssh-keygen -t rsa一直按回车默认就好2转载 2021-08-14 23:28:19 · 259 阅读 · 0 评论 -
Centos7下配置伪分布式Hadoop 报错:mkdir: 无法创建目录“/opt/module/hadoop-3.1.4/logs“: 权限不够
问题:在centos7下配置一个伪分布式的hadoop集群,在启动集群,执行命令 sbin/start-dfs.sh命令时,报如下错误解决办法:这个 和当前用户的权限有关,执行如下命令sudo chown -R yyj /opt/module/hadoop-3.1.4/ #其中yyj是我的用户名,这个修改成你自己的,后面的路径是我本地路径,也需要修改成你自己的执行完后,再执行sbin/start-dfs.sh命令启动集群。...原创 2021-05-09 11:35:03 · 5102 阅读 · 6 评论 -
Linux 下使用 rsync 编写文件同步脚本
一、需求说明在网上学习大数据视频时,需要在虚拟机上搭建集群,这里的集群有hadoop102 hadoop103 hadoop104 三台centos服务器那么往往为了便捷,在集群中的一台服务器上修改了文件后,需要同步到集群中的其它服务器上,文件的同步我们可以使用scp 或者rsync命令,但是来回敲命令比较麻烦那么视频中有讲到一个分发脚本 xsync,这里做整理,方便后面使用学习。二、具体操作首先,为了使脚本在任何目录下都可以使用,我们默认将脚本放在/home/用户名/bin目录下,..原创 2021-05-07 23:13:37 · 850 阅读 · 0 评论