CentOS7 Hadoop 伪分布式环境搭建以及Hadoop格式化(1)

最后

既已说到spring cloud alibaba，那对于整个微服务架构，如果想要进一步地向上提升自己，到底应该掌握哪些核心技能呢？

就个人而言，对于整个微服务架构，像RPC、Dubbo、Spring Boot、Spring Cloud Alibaba、Docker、kubernetes、Spring Cloud Netflix、Service Mesh等这些都是最最核心的知识，架构师必经之路！下图，是自绘的微服务架构路线体系大纲，如果有还不知道自己该掌握些啥技术的朋友，可根据小编手绘的大纲进行一个参考。

如果觉得图片不够清晰，也可来找小编分享原件的xmind文档！

且除此份微服务体系大纲外，我也有整理与其每个专题核心知识点对应的最强学习笔记：

• 出神入化——SpringCloudAlibaba.pdf

• SpringCloud微服务架构笔记（一）.pdf

• SpringCloud微服务架构笔记（二）.pdf

• SpringCloud微服务架构笔记（三）.pdf

• SpringCloud微服务架构笔记（四）.pdf

• Dubbo框架RPC实现原理.pdf

• Dubbo最新全面深度解读.pdf

• Spring Boot学习教程.pdf

• SpringBoo核心宝典.pdf

• 第一本Docker书-完整版.pdf

• 使用SpringCloud和Docker实战微服务.pdf

• K8S(kubernetes)学习指南.pdf

另外，如果不知道从何下手开始学习呢，小编这边也有对每个微服务的核心知识点手绘了其对应的知识架构体系大纲，不过全是导出的xmind文件，全部的源文件也都在此！

本文已被CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录

需要这份系统化的资料的朋友，可以点击这里获取

版本：hadoop-2.6.0-cdh5.5.5.tar.gz、oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm

找不到这俩资源的用我的安装包

链接：https://pan.baidu.com/s/14Smd27u8PFPWlujyUdxfBQ

提取码：h5oa

将hadoop和jdk安装包上传至虚拟机指定文件夹（/software）下

利用xftp在/usr目录下创建java文件夹

解压java压缩包到指定路径

rpm -ivh /software/oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm -C /usr/java

在根目录下创建hadoop文件夹，解压hadoop压缩包到指定路径

tar -zxvf /software/hadoop-2.6.0-cdh5.5.5.tar.gz -C /hadoop

配置java、Hadoop路径：

配置 /etc/profile文件：vi /etc/profile

按i进入编辑模式，移动光标至最下方，添加如下代码

export JAVA_HOME=/usr/java/jdk1.8.0_181-cloudera

export PATH=$JAV{A}_{H}OME/bin:$PATH:$HADOO{P}_{H}OME/bin:$HADOOP_HOME/sbin #添加java和hadoop环境变量

export CLASSPATH=.:$JAV{A}_{H}OME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export HADOOP_HOME=/hadoop/hadoop-2.6.0-cdh5.5.5

按esc退出编辑模式，输入   :wq  保存编辑（此处要输入英文冒号）

输入source /etc/profile   重启配置，使之生效

在线安装rsync

yum install rsync

安装ssh

yum install ssh

设置ssh免密

ssh localhost   #检查是否设置免密，如果提示需要你输入密码，则说明没有配置免密

ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

chmod 0600 ~/.ssh/authorized_keys

到这里就配置成功了，可以再输入ssh localhost检查一遍

配置Hadoop

cd /hadoop/hadoop-2.6.0-cdh5.5.5/etc/hadoop

修改 core-site.xml

添加：

fs.defaultFS

hdfs://localhost:9000

:wq    保存（注意，这里最好不要使用xftp编辑文件，可能会出现修改不成功的问题，建议还是使用xshell进行编辑）

修改hdfs-site.xml

Docker步步实践

目录文档：

①Docker简介

②基本概念

③安装Docker

④使用镜像：

⑤操作容器：

⑥访问仓库：

⑦数据管理：

⑧使用网络：

⑨高级网络配置：

⑩安全：

⑪底层实现：

⑫其他项目：

本文已被CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录

需要这份系统化的资料的朋友，可以点击这里获取

.(img-4MAddqUb-1715818601675)]

⑫其他项目：

[外链图片转存中…(img-Jo8zJUFq-1715818601675)]

本文已被CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录

需要这份系统化的资料的朋友，可以点击这里获取