- Linux中
>>
表示为文档后追加文件内容 - 若无法写入,检查是否是权限的问题,可以切换为
root
账号执行操作。或写入自己环境中的配置文件
重载环境变量配置文件
将环境变量写入配置文件后,环境变量不会立即生效,需要重新加载配置文件,Linux中使用source
命令重新加载配置文件。
source /etc/profile
环境配置测试
执行java -version
和javac -version
有正确的输出即表示Java环境配置成功。
$ java -version
openjdk version “1.8.0_43”
OpenJDK Runtime Environment (build 1.8.0_43-b03)
OpenJDK 64-Bit Server VM (build 25.40-b25, mixed mode)
$ javac -version
javac 1.8.0_43
Hadoop安装与环境变量配置
固定IP
在集群中,最重要的就是主机与主机之间能够相互访问到。所以需要通过相应的标识来识别到对应的节点。在计算机中,可以通过域名和IP地址的方式识别到相应的服务器,在Hadoop集群的配置中也是如此。在同一网段下,进行IP设置,可以考虑采用静态IP的方式而不是DHCP动态IP,防止节点IP发生变化无法访问。
- 在使用云系统的情况下,请先自己购买云服务器的平台先设置VPC(Virtual Private Cloud)云虚拟局域网,然后在购买主机,保证购买的主机在同一个局域网,能够相互访问
- 本系统采用容器的方式组集群,借助容器的
VIP
虚拟IP的概念,可以不用考虑固定容器内部IP,而是通过容器名(类似于域名)的方式访问节点 - 虚拟机组集群用户可网上自行搜索资料,固定自己的IP
为方便访问子节点(IP不好记),可以考虑为自己的集群节点配置一个本地的host,这样可以直接用类似域名的方式直接访问集群节点。
Linux中将host主机名映射配置写在/etc/hosts
文件中,这样之后直接访问`
H
o
s
t
M
a
p
N
a
m
e
{HostMapName}
HostMapName就可以访问相应的节点。
sudo echo “${StaticIP} ${HostMapName}” >> /etc/hosts
设置SSH免密登录
Hadoop在启动时,只需要在主节点执行Hadoop执行脚本,Hadoop会自动根据配置启动主从节点的服务。但是Hadoop在启动服务时,主节点需要访问所有节点,然后从相应节点中启动守护进程,所以配置主节点到所有节点之间的免密登录(包括主节点到主节点自身之间的免密登录)。
生成SSH密钥
ssh-keygen -t rsa -b 4096 -f ~/.ssh/id_rsa -N “” -q
- -t:指定生成密钥的算法参数
- rsa:默认非对称加密算法,加解密速度慢,生成时间慢,安全性不如ed25519算法,但兼容性高,应用广泛
- ed25519:带椭圆曲线的非对称加密算法,加解密速度快,生成速度快,安全性更高
- ed25519-sk:
-sk
代表安全密钥 - dsa:安全性不高,基本不在使用,在部分的场景中已被遗弃
- ecdsa:带椭圆曲线的dsa算法
- ecdsa-sk
- -b:指定密钥长度
- -f:保存密钥的文件路径
- -N:提供一个新密码,
""
表示密码为空 - -q:静默模式,直接输出密钥对,不输出实现过程中产生的信息
- 通过设置
-f
,-N
,-q
参数,直接生成密钥,而不是交互式生成密钥,方便后期集群脚本的开发
设置免密登录
ssh-copy-id ${HostMapName}
使用ssh-copy-id
可以将公钥传输到指定的主机上。但是在使用ssh-copy-id
传输公钥时,需要输入相应的账户和密码,所以可以通过sshpass
来执行免密操作。
sshpass -p ${USER_PASSWORD} ssh-copy-id ${HostMapName}
Hadoop的下载
这里选择写本文时的最新版3.3.6进行下载
wget https://dlcdn.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz
解压到指定位置
tar -xzvf hadoop-3.3.6.tar.gz --strip-components 1 -C ${Software}/hadoop
环境变量配置
系统环境变量
自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。
深知大多数大数据工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年大数据全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上大数据开发知识点,真正体系化!
由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新
如果你觉得这些内容对你有帮助,可以添加VX:vip204888 (备注大数据获取)
程,基本涵盖了95%以上大数据开发知识点,真正体系化!**
由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新
如果你觉得这些内容对你有帮助,可以添加VX:vip204888 (备注大数据获取)
[外链图片转存中…(img-JTQNlA29-1712519727746)]