纯小白学习大数据第二天——hadoop运行模式

上篇小补充，熟悉这几个文件夹的位置：

/opt/module/hadoop-3.1.3

/opt/module/hadoop-3.1.3/etc/hadoop

三种运行方式

本地运行方式

报错，考虑是路径没配置好

报错信息：JAR does not exist or is not a normal file

而我的jdk和hadoop都验证安装成功了

路径似乎也没问题

------

已解决，好像真是路径的问题

参考↓

【hadoop报错】JAR does not exist or is not a normal file_小前端而已的博客-CSDN博客

一些linux命令：

cat查看文件内容 

完全分布式运行模式 

分析：
1) 准备 3 台客户机(关闭防火墙、静态 IP、主机名称) 
2) 安装JDK
3) 配置环境变量
4) 安装 Hadoop
5) 配置环境变量

以上都已经在102上搞定! 怎么快速给103 104配置？
6) 配置集群
7) 单点启动
8) 配置ssh
9) 群起并测试集群

服务器与服务器之间的拷贝

安全拷贝scp↓

举例：给103拷贝上jdk~

——命令如下：scp -r jdk1.8.0_212/ ariaa@hadoop103:/opt/module/

103从102上拉数据~

——命令如下：scp -r ariaa@hadoop102:/opt/module/hadoop-3.1.3 ./

在103上把102的数据拷贝到104上！

——命令如下：scp -r ariaa@hadoop102:/opt/module/* ariaa@hadoop104:/opt/module/

rsync 远程同步工具

rsync.主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。

rsync 和 scp区别：用rsync 做文件的复制要比 scp 的速度快，rsync 只对差异文件做更新，scp是把所有文件都复制过去。

同步更新一下hadoop103里的hadoop-3.1.3

——命令如下：rsync -av hadoop-3.1.3/ ariaa@hadoop103:/opt/module/hadoop-3.1.3/

以上，有点麻烦，命令长且要输密码，有什么解决方法吗？

——xsync集群分发脚本

xsync集群分发脚本

涉及到写脚本，具体看尚硅谷视频   P28

分发bin目录下的

分发一下环境变量

出现问题，请求被禁止了

解决：sudo ./bin/xsync /etc/profile.d/my_env.sh 

已经配置完毕~