#修改时区
ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
#修改时间
#查看硬件的时间
hwclock --show
#设置硬件时间,正常修改时区就够了,如有需要,可以定一个固定的时间
hwclock --set --date '2024-02-...'
#设置系统时间和硬件时间同步
hwclock --hctosys
#保存时钟
clock -w
3.安装jdk环境
下载地址:https://www.oracle.com/downloads/graalvm-downloads.html
jdk8下载地址:https://www.oracle.com/java/technologies/downloads/#java8
#解压
tar -zxvf jdk-8u401-linux-x64.tar.gz
#新建放jdk的文件夹
mkdir -p /usr/java
mv jdk1.8.0_401 /usr/java/jdk
#编辑/etc/profile文件
vi /etc/profile
#添加环境变量
export JAVA\_HOME=/usr/java/jdk
export PATH=$JAVA\_HOME/bin:$PATH
#刷新环境变量
source /etc/profile
#验证
java -version
4.安装hadoop
下载地址:https://dlcdn.apache.org/hadoop/common
#解压
tar -zxvf hadoop-3.3.6.tar.gz
#移动hadoop到对应的文件夹
mv hadoop-3.3.6 /usr/hadoop
#编辑/etc/profile文件
vi /etc/profile
#添加环境变量
export HADOOP\_HOME=/usr/hadoop
export PATH=$HADOOP\_HOME/bin:$HADOOP\_HOME/sbin:$PATH
#刷新环境变量
source /etc/profile
#验证
hdfs version
5.ssh免密
#安装ssh
yum install ssh
#生成RSA密钥和公钥,-t表示type
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
#将公钥发给自己
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
#修改下authorized\_keys的权限,否则会无法免密登录
chmod 600 ~/.ssh/authorized_keys
#验证是否免密成功
ssh localhost
#退出免密的localhost(上一步只是验证,验证后退出下)
exit
6.hadoop配置hdfs
1)修改hadoop-env.sh文件,添加启动的java路径,分布式部署后,每个地方的java路径不一定相同
#编辑hadoop-env.sh文件
vi $HADOOP\_HOME/etc/hadoop/hadoop-env.sh
#取消对应注释并修改为对应java路径
export JAVA\_HOME=/usr/java/jdk
2)修改core-site.xml文件,添加启动的namenode节点和对应端口
#编辑core-site.xml文件
vi $HADOOP\_HOME/etc/hadoop/core-site.xml
#修改并添加namenode启动ip为localhost,端口为9000
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master01:9000</value>
</property>
</configuration>
3)修改hdfs-site.xml文件,添加副本数量、hdfs的web访问地址
#编辑hdfs-site.xml文件
vi $HADOOP\_HOME/etc/hadoop/hdfs-site.xml
#设置副本数量为1,并设置hdfs的web访问地址为localhost的50070端口
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.http.address</name>
<value>master01:50070</value>
</property>
</configuration>
7.格式化namenode并启动hdfs
1)修改文件权限,然后用对应用户master01来启动
#修改文件夹权限
chown -R master01 /usr/hadoop
#赋予文件夹读写执行权限
chmod -R 744 /usr/hadoop
2)格式化namenode
hdfs namenode -format
3)启动hdfs
start-dfs.sh
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!**
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新