数仓小组作业（一）Mac 安装与配置JDK、SSH、MySql、Hadoop、Hive

 

一、安装与配置JDK

时间太久远了，直接放个参考链接

https://www.jianshu.com/p/a85658902f26

安装idk之后，配置环境变量，需要找到jdk的位置，输入如下命令： 

/usr/libexec/java_home

返回jdk的位置，先复制它

/Library/Java/JavaVirtualMachines/jdk1.8.0_251.jdk/Contents/Home 

复制到环境变量文件中。由于vim编辑器不好操作，推荐使用sublime来编辑配置文件：（前提是你已经安装了sublime）

ln  /Applications/Sublime\ Text.app/Contents/SharedSupport/bin/subl /usr/local/bin/subl

然后打开环境变量文件：

subl ~/.bash_profile

配置成这样：（sorry第二句我不知道必不必要）

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_251.jdk/Contents/Home
export CLASSPAHT=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 

二、安装与配置SSH

参考链接：

https://www.cnblogs.com/micrari/p/5716851.html

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
ssh localhost

成功结果： 

三、安装与配置MySql

参考链接：

https://www.cnblogs.com/lilyo/p/12904439.html

提示：不要用brew install mysql，会报错。 

1、官网下载安装包

https://dev.mysql.com/downloads/mysql/

下载第一个

2、 双击安装包，安装时注意选择第二个：“Use Legacy Password Encryption”

3、安装完就可以在“系统偏好设置”-“mysql”里看到

 

 4、打开终端，输入：

mysql -uroot -p

发现报错：

zsh: command not found: mysql 

这个时候运行下面两行命令：

cd /usr/local/bin
ln -fs /usr/local/mysql/bin/mysql mysql

 再次输入：

mysql -uroot -p

就连接上了。输入quit可以退出。

四、安装与配置Hadoop

参考链接：

https://blog.csdn.net/weixin_36995355/article/details/107880338

1、安装hadoop

brew install hadoop

2、环境变量配置

和第一步的jdk环境变量配置类似（sorry我也不知道这么多环境变量必不必要）

# Hadoop
export HADOOP_HOME=/usr/local/Cellar/hadoop/3.3.0/libexec
export HADOOP_COMMON_HOME=$HADOOP_HOME
export PATH=$JAVA_HOME/bin:$PATH:$HADOOP_HOME/bin:/usr/local/Cellar/scala/bin
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export JAVA_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native
export HADOOP_ROOT_LOGGER=DEBUG,console 

3、配置 hadoop-env.sh（它的位置在 /usr/local/Cellar/hadoop/3.3.0/libexec/etc/hadoop）

复制它，然后编辑hadoop-env.sh

cd /usr/local/Cellar/hadoop/3.3.0/libexec/etc/hadoop
vim hadoop-env.sh

这样，我们通过如下命令就可以用sublime打开hadoop-env.sh了：

subl hadoop-env.sh

 把第一步复制的jdk位置放到这里，保存。（HADOOP_HOME那个我不确定必不必要）

4、配置 core-site.xml （它的位置同样在 /usr/local/Cellar/hadoop/3.3.0/libexec/etc/hadoop）

subl core-site.xml

添加以下代码： 

<configuration>
 <property>
  <name>hadoop.tmp.dir</name> 
  <value>file:/usr/local/Cellar/hadoop/3.3.0/libexec/tmp</value>
 </property>
 <property>
  <name>fs.defaultFS</name>
  <value>hdfs://localhost:9000</value>
 </property>
</configuration>

5、配置 hdfs-site.xml（它的位置同样在 /usr/local/Cellar/hadoop/3.3.0/libexec/etc/hadoop）

subl hdfs-site.xml

添加以下代码：

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
 <property> 
     <name>dfs.namenode.name.dir</name>
     <value>file:/usr/local/Cellar/hadoop/3.3.0/libexec/tmp/dfs/name</value>
</property>
<property>
     <name>dfs.namenode.data.dir</name>
     <value>file:/usr/local/Cellar/hadoop/3.3.0/libexec/tmp/dfs/data</value>
</property>
</configuration>

6、配置 mapred-site.xml（它的位置同样在 /usr/local/Cellar/hadoop/3.3.0/libexec/etc/hadoop）

subl mapred-site.xml

添加以下代码：

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

6、配置 yarn-site.xml （它的位置同样在 /usr/local/Cellar/hadoop/3.3.0/libexec/etc/hadoop）

subl yarn-site.xml

添加以下代码：

<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.env-whitelist</name>
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>
</configuration>

7、格式化文件系统

cd ..
cd ..
bin/hdfs namenode -format

结果有一大串，不截图了。

8、启动 NameNode 和 DataNode

sbin/start-dfs.sh

结果如下：

验证NameNode 和 DataNode是否开启，用下面命令查看：

jps

可以看到有NameNode和DataNode。

此时可以打开 http://localhost:9870，看到页面：

 

9、 启动yarn

sbin/start-yarn.sh

返回如下：

此时可以打开 http://localhost:8088，看到页面： 

这样，hadoop就ok了～ 

五、安装与配置Hive

1、安装hive

brew install hive

2、配置hive-site.xml

cd /usr/local/Cellar/hive/3.1.2_2/libexec/conf

有的配置教程是复制现有的hive-default.xml.template成hive-site.xml，再在里面修改，但不是这样的，我们要新建hive-site.xml

touch hive-site.xml
subl hive-site.xml

添加如下内容

<configuration>
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://localhost/hive?createDatabaseIfNotExist=true&amp;useSSL=false&amp;serverTimezone=GMT</value>
  </property>

  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
  </property>

  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
  </property>

  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>12345678</value>
  </property>

  <property>
    <name>hive.exec.local.scratchdir</name>
    <value>/tmp/hive</value>
  </property>

  <property>
    <name>hive.querylog.location</name>
    <value>/tmp/hive</value>
  </property>

  <property>
    <name>hive.downloaded.resources.dir</name>
    <value>/tmp/hive</value>
  </property>

  <property>
    <name>hive.server2.logging.operation.log.location</name>
    <value>/tmp/hive</value>
  </property>
</configuration>

3、安装mysql-connector

https://cdn.mysql.com//archives/mysql-connector-java-8.0/mysql-connector-java-8.0.20.tar.gz

我把它安装到桌面的，先解压，把里面的jar文件提出来放在桌面

要把它复制到hive的lib文件，命令如下：

cd ~/desktop
cp mysql-connector-java-8.0.20.jar /usr/local/Cellar/hive/3.1.2_2/libexec/lib

4、初始化库

cd /usr/local/Cellar/hive/3.1.2_2/libexec
schematool -initSchema -dbType mysql

如果你第二次执行schematool -initSchema -dbType mysql，则需要在mysql中删掉hive，不然要报错：

5、启动hive

hive

启动成功！