Hadoop3.0初探-部署安装Hadoop

Hadoop3.0初探

为什么要搞这篇博客呢？

就是目前hadoop3.0 也出来很久了呢，想着自己本地搭建一套玩一下～

MacBook Pro (13-inch, 2020, Four Thunderbolt 3 ports)

2 GHz 四核Intel Core i5

16 GB 3733 MHz LPDDR4

存储：1T

然后我选择了开源的产品来搭建一套本地环境，为什么吗？ 开源无极限，哈哈哈…

参考CDH6.0 选择离线组件如下：https://archive.cloudera.com/cdh6/6.3.2/docs/

安装包下载

准备本地安装这一套东东，像jdk、MySQL在此不再描述了，MAC版本的很好装，全程next即可。

首先配置ssh免密登录

进入 ~/.ssh 目录下执行命令生成公钥、私钥，并将id_rsa.pub里的内容追加复制到目标主机authorized_keys文件中

注：免密登陆对用户有要求，登陆哪个用户就修改哪个用户下的公钥文件

# 生成公钥私钥
ssh-keygen -t rsa
# 配置目标主机免密
cat id_rsa.pub >> authorized_keys

# 测试是否可以免密登录
ssh hostname or localhost

上述三个命令操作一波即可，如果找不到～/.ssh 目录的话，就先执行第三行，访问一次即可自动创建。

Mac系统的话，操作完可能还是不行报错如下

(base) zhangchenguang@cgzhang.local:/Users/zhangchenguang/.ssh $ ssh zhangchenguang
ssh: Could not resolve hostname zhangchenguang: nodename nor servname provided, or not known

如何解决呢？原因很简单，本地没有开启远程登录

操作说明：start–系统偏好设置–共享–开启远程登录–end

部署Hadoop

安装前检查本地环境并安装jdk

前提是已部署安装jdk环境哦～ 至于怎么装，不想多bb了。

1、下载包 2、解压 3、配置环境变量 4、测试安装是否ok即可。

mac版本的安装jdk的方式very easy，一路next即可。

下载地址

https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html

可能还需要登录oracle账号呦，自己用邮箱注册一个就好了

安装成功校验

(base) zhangchenguang@cgzhang.local:/Users/zhangchenguang/.ssh $ Java -version
java version "1.8.0_261"
Java(TM) SE Runtime Environment (build 1.8.0_261-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.261-b12, mixed mode)

如上，jdk已安装完毕～

安装Hadoop

下载对应安装包

我来提供个最全的包下载地址，上去找就行了，哪个版本都有。地址：https://archive.apache.org/dist/

解压 && 并修改配置文件

参考官网配置即可，地址如下：

https://hadoop.apache.org/docs/r3.3.0/hadoop-project-dist/hadoop-common/SingleCluster.html#Pseudo-Distributed_Operation

• 解压并检查安装包是否正常

(base) zhangchenguang@cgzhang.local:/Users/zhangchenguang/software $ tar -xzvf hadoop-3.3.0.tar.gz -C ~/software
(base) zhangchenguang@cgzhang.local:/Users/zhangchenguang/software $ ll
total 0
drwxr-xr-x   9 zhangchenguang  staff   288B  7 21 09:00 apache-maven-3.5.4
drwxr-xr-x   4 zhangchenguang  staff   128B  7 22 16:51 gitee_git_workspace
drwxr-xr-x  15 zhangchenguang  staff   480B  7  7 03:50 hadoop-3.3.0
(base) zhangchenguang@cgzhang.local:/Users/zhangchenguang/software/hadoop-3.3.0 $ ./bin/hadoop version
Hadoop 3.3.0
Source code repository https://gitbox.apache.org/repos/asf/hadoop.git -r aa96f1871bfd858f9bac59cf2a81ec470da649af
Compiled by brahma on 2020-07-06T18:44Z
Compiled with protoc 3.7.1
From source with checksum 5dc29b802d6ccd77b262ef9d04d19c4
This command was run using /Users/zhangchenguang/software/hadoop-3.3.0/share/hadoop/common/hadoop-common-3.3.0.jar

• 修改对应配置文件 ($HADOOP_HOME/etc/hadoop)

  • hadoop-env.sh

  首行添加JAVA安装路径保存退出即可

  $ more ~/.bash_profile
  # maven
  export M2_HOME=/Users/zhangchenguang/software/apache-maven-3.5.4
  export PATH=$PATH:$M2_HOME/bin
  
  # java
  export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_261.jdk/Contents/Home
  export PATH=$PATH:$JAVA_HOME/bin
  
  # scala
  export SCALA_HOME=/Users/zhangchenguang/software/scala-2.12.12
  export PATH=$PATH:$SCALA_HOME/bin