在mac环境下上进行hadoop生态环境的伪分布式部署

最新推荐文章于 2023-10-17 17:47:47 发布

cx_mors

最新推荐文章于 2023-10-17 17:47:47 发布

阅读量232

点赞数

分类专栏： hadoop 文章标签： hadoop 分布式 mysql hive 大数据

本文链接：https://blog.csdn.net/cx_mors/article/details/118657307

版权

本文详细介绍了如何在Mac系统中搭建Hadoop的伪分布式环境，包括Java的安装配置、Hadoop的下载安装、SSH免密登录设置、Hadoop服务启动、WordCount测试、MySQL的安装以及Hive的安装和配置，最后通过Hive测试验证环境的正确性。

摘要由CSDN通过智能技术生成

1、文件下载

java1.8.0_291：https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html#license-lightbox

hadoop2.7.2：http://archive.apache.org/dist/hadoop/core/hadoop-2.7.2/hadoop-2.7.2.tar.gz

mysql8.0.25：https://cdn.mysql.com//Downloads/MySQL-8.0/mysql-8.0.25-macos11-x86_64.dmg

mysql-jdbc-connect：https://cdn.mysql.com//Downloads/Connector-J/mysql-connector-java-8.0.25.tar.gz

hive2.3.8：http://archive.apache.org/dist/hive/hive-2.3.8/apache-hive-2.3.8-bin.tar.gz

2、ssh免密登录设置

a) 终端输入生成私钥密钥

ssh-keygen-t rsa

在**~/.ssh路径下生成id_rsa** **（私钥）以及id_rsa.pub（公钥）**文件

tips：.ssh文件夹隐藏，可通过快捷键**command+shift+.**查看隐藏文件及文件夹，两次快捷键再次隐藏。

b)将公钥加入到用于认证的公钥文件夹中

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

c)打开mac远程连接，路径：系统偏好设置->共享->远程登录

在这里插入图片描述

d)终端输入不用输入密码出现lastlogin即为设置成功。

ssh localhost

3、安装java，并配置java路径

4、安装并配置hadoop

a)解压缩hadoop-2.7.2.tar.gz，复制hadoop-2.7.2到usr/local/文件夹下（可以是任一路径）

b)配置hadoop环境变量，终端输入

open ~/.bash_profile

追加写并保存文件

export HADOOP_HOME=/usr/local/hadoop-2.7.2

export PATH=$PATH:$HADOOP_HOME/bin

export HADOOP_COMMON_HOME=$HADOOP_HOME

c)终端输入，使其生效

source ~/.bash_profile

tips: 出现zsh: command not found:错误，所有命令都失效执行，临时执行export PATH=/usr/bin:/usr/sbin:/bin:/sbin:/usr/shared/bin，再执行

vim ~/.zshrc，追加写source ～/.bash_profile，执行source ~/.zshrc

d)四个配置文件修改,一个shell文件修改

路径

usr/local/hadoop-2.7.2/etc/hadoop/core-site.xml

usr/local/hadoop-2.7.2/etc/hadoop/hdfs-site.xml

usr/local/hadoop-2.7.2/etc/hadoop/mapred-site.xml

usr/local/hadoop-2.7.2/etc/hadoop/yarn-site.xml

usr/local/hadoop-2.7.2/etc/hadoop/hadoop-env.sh

core-site.xml

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:8020</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>file:/usr/local/hadoop-2.7.2/tmp</value>
  </property>
  <property>
        <name>hadoop.proxyuser.root.hosts</name>
        <value>*</value>
</property>
<property>
        <name>hadoop.proxyuser.root.groups</name>
        <value>*</value>
</property>
<property>