上篇小补充,熟悉这几个文件夹的位置:
/opt/module/hadoop-3.1.3
/opt/module/hadoop-3.1.3/etc/hadoop
三种运行方式
本地运行方式
报错,考虑是路径没配置好
报错信息:JAR does not exist or is not a normal file
而我的jdk和hadoop都验证安装成功了
路径似乎也没问题
------
已解决,好像真是路径的问题
参考↓
【hadoop报错】JAR does not exist or is not a normal file_小前端而已的博客-CSDN博客
一些linux命令:
cat查看文件内容
完全分布式运行模式
分析:
1) 准备 3 台客户机(关闭防火墙、静态 IP、主机名称)
2) 安装JDK
3) 配置环境变量
4) 安装 Hadoop
5) 配置环境变量
以上都已经在102上搞定! 怎么快速给103 104配置?
6) 配置集群
7) 单点启动
8) 配置ssh
9) 群起并测试集群
服务器与服务器之间的拷贝
安全拷贝scp↓
举例:给103拷贝上jdk~
——命令如下:scp -r jdk1.8.0_212/ ariaa@hadoop103:/opt/module/
103从102上拉数据~
——命令如下:scp -r ariaa@hadoop102:/opt/module/hadoop-3.1.3 ./
在103上把102的数据拷贝到104上!
——命令如下:scp -r ariaa@hadoop102:/opt/module/* ariaa@hadoop104:/opt/module/
rsync 远程同步工具
rsync.主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。
rsync 和 scp区别:用rsync 做文件的复制要比 scp 的速度快,rsync 只对差异文件做更新,scp是把所有文件都复制过去。
同步更新一下hadoop103里的hadoop-3.1.3
——命令如下:rsync -av hadoop-3.1.3/ ariaa@hadoop103:/opt/module/hadoop-3.1.3/
以上,有点麻烦,命令长且要输密码,有什么解决方法吗?
——xsync集群分发脚本
xsync集群分发脚本
涉及到写脚本,具体看尚硅谷视频 P28
分发bin目录下的
分发一下环境变量
出现问题,请求被禁止了
解决:sudo ./bin/xsync /etc/profile.d/my_env.sh
已经配置完毕~