五篇博文讲透大数据伪分布式环境搭建——Linux环境准备

前言

最清晰的简洁的伪分布式大数据环境搭建
失踪了差不多一周的时间，没有为大家更新博文，非常抱歉，这一周里博主也没有闲置，一方面为大数据比赛做准备，另一方面翻书查阅相关资料进行总结，现在也准备的差不多了，决定为铁汁们开始为期两个月的大数据集群环境搭建实战分享，希望能够帮助到有需要的铁汁，也希望帮助大家深层次的了解何为大数据大数据集群
大数据环境软件包下载链接: https://pan.baidu.com/s/1MrKJurWu-ZTfO-tVCfcF3g
提取码: fe7j
有需要的铁汁自取

1.Liunx 系统环境准备

目的

• 熟练安装 JDK
• 重点掌握配置 SSH 免密登录的方法

配置清单

• 任务 1：安装 JDK（jdk1.8+）
• 任务 2：配置 SSH 免密登录

安装步骤

1：安装 JDK

1. 准备软件

此处博主在 /root/software 目录下安装，可以使用如下命令进行查看目录下的文件：

cd /root/software/		# 进入目录
ll				# 罗列出当前文件或目录的详细信息，是ls -l的别名

2. 解压压缩包

tar -zxvf jdk-8u221-linux-x64.tar.gz 

• tar 命令：用于打包解压缩文件
• 使用格式：
  • 打包并压缩：tar -zcvf 打包压缩名 文件名 -C /目录
  • 解包并解压缩：tar -zxvf *.tar.gz 格式的打包压缩文件
• 常用选项：
  • z：gzip，通过 gzip 格式压缩或者解压缩
  • -C：指定需要解压的目录，若是未指定，则解压到当前目录
• 解压成功，进行验证：

图2

3. 配置环境变量

环境变量：就是在整个运行环境都可以使用的变量，而路径添加到 PATH 可以理解为在 Windows 平台下将程序添加到注册表，添加某个路径到 PATH 环境变量后，执行该路径下的文件就不需要输入完整的命令路径而只需要输入命令的文件名。

例如，JDK 的安装目录为 /root/software/jdk1.8.0_221，那么要查看 JDK 的版本，需要输入/root/software/jdk1.8.0_221/bin/java -version，但是如果将 /root/software/jdk1.8.0_221/bin/ 配置到 PATH 下，就只需要直接输入java -version。

所以如果我们需要经常运行的命令可以手动去配备环境变量，比如之后搭建集群时用到的 hadoop、hdfs等，我们可以将他们的路径全都放在 PATH 里面，这样操作运行比较方便。

Linux 环境变量和 Windows 的环境变量一样，分为系统环境变量和用户环境变量

​ 系统环境变量对所有用户有效

​ 用户环境变量只对当前用户有效

• 系统环境变量：对于添加给所有用户的环境变量，直接编辑： “/etc/bashrc"或者”/etc/profile"（首选）；
• 用户环境变量：对于添加给某一个用户的环境变量，可以编辑用户 /home 目录下的：" 用户名/.bashrc “或者"用户名/.bash_profile”。

（1）在此处我们配置系统环境变量，使用命令：

vim /etc/profile

（2）进入profile后，来到文本的最后加入以下两行内容：

export JAVA_HOME=/root/software/jdk1.8.0_221	# 配置Java的安装目录
export PATH=$PATH:$JAVA_HOME/bin		# 在原PATH的基础上加入JDK的bin目录

注：

• export 是把这三个变量导出为全局变量。
• 大小写必须严格区分。

如下图所示：

图3

添加完成，使用:wq保存退出。

（3）让配置文件立即生效，使用如下命令：

source /etc/profile

（4）检测 JDK 是否安装成功，使用命令查看 JDK 版本：

java -version

执行此命令后，若是出现 JDK 版本信息说明配置成功：

清晰明了的jdk安装希望能帮到有需要的铁汁么，如果安装中遇到任何问题或者报错无法解决，欢迎留言探讨

@Author：HaoXuan