2024年大数据最新hadoop(1) 搭建伪分布式，大数据开发开发新手入门教程

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

hwclock --show
#设置硬件时间，正常修改时区就够了，如有需要，可以定一个固定的时间
hwclock --set --date ‘2024-02-…’
#设置系统时间和硬件时间同步
hwclock --hctosys
#保存时钟
clock -w

###### 3.安装jdk环境


下载地址：https://www.oracle.com/downloads/graalvm-downloads.html  
 jdk8下载地址：https://www.oracle.com/java/technologies/downloads/#java8  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/07036510c1e340a6873d7a31eaaccf9f.png)

#解压
tar -zxvf jdk-8u401-linux-x64.tar.gz
#新建放jdk的文件夹
mkdir -p /usr/java
mv jdk1.8.0_401 /usr/java/jdk
#编辑/etc/profile文件
vi /etc/profile
#添加环境变量
export JAVA_HOME=/usr/java/jdk
export PATH=$JAVA\_HOME/bin:$PATH
#刷新环境变量
source /etc/profile
#验证
java -version

###### 4.安装hadoop


下载地址：https://dlcdn.apache.org/hadoop/common

#解压
tar -zxvf hadoop-3.3.6.tar.gz
#移动hadoop到对应的文件夹
mv hadoop-3.3.6 /usr/hadoop
#编辑/etc/profile文件
vi /etc/profile
#添加环境变量
export HADOOP_HOME=/usr/hadoop
export PATH=$HADOOP\_HOME/bin:$HADOOP_HOME/sbin:$PATH
#刷新环境变量
source /etc/profile
#验证
hdfs version

###### 5.ssh免密

#安装ssh
yum install ssh
#生成RSA密钥和公钥，-t表示type
ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa
#将公钥发给自己
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
#修改下authorized_keys的权限，否则会无法免密登录
chmod 600 ~/.ssh/authorized_keys
#验证是否免密成功
ssh localhost
#退出免密的localhost（上一步只是验证，验证后退出下）
exit

###### 6.hadoop配置hdfs


1）修改hadoop-env.sh文件，添加启动的java路径，分布式部署后，每个地方的java路径不一定相同

#编辑hadoop-env.sh文件
vi $HADOOP_HOME/etc/hadoop/hadoop-env.sh
#取消对应注释并修改为对应java路径
export JAVA_HOME=/usr/java/jdk

2）修改core-site.xml文件，添加启动的namenode节点和对应端口

#编辑core-site.xml文件
vi $HADOOP_HOME/etc/hadoop/core-site.xml
#修改并添加namenode启动ip为localhost，端口为9000


fs.defaultFS
hdfs://master01:9000

3）修改hdfs-site.xml文件，添加副本数量、hdfs的web访问地址

#编辑hdfs-site.xml文件
vi $HADOOP_HOME/etc/hadoop/hdfs-site.xml
#设置副本数量为1，并设置hdfs的web访问地址为localhost的50070端口


dfs.replication
1


dfs.http.address
master01:50070

###### 7.格式化namenode并启动hdfs


1）修改文件权限，然后用对应用户master01来启动

#修改文件夹权限
chown -R master01 /usr/hadoop
#赋予文件夹读写执行权限
chmod -R 744 /usr/hadoop

2）格式化namenode

hdfs namenode -format

3）启动hdfs

start-dfs.sh

4）查询是否启动（NameNode,DataNode,SecondaryNameNode）

jps

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！**

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取