一、安装与配置JDK
时间太久远了,直接放个参考链接
安装idk之后,配置环境变量,需要找到jdk的位置,输入如下命令:
/usr/libexec/java_home
返回jdk的位置,先复制它
/Library/Java/JavaVirtualMachines/jdk1.8.0_251.jdk/Contents/Home
复制到环境变量文件中。由于vim编辑器不好操作,推荐使用sublime来编辑配置文件:(前提是你已经安装了sublime)
ln /Applications/Sublime\ Text.app/Contents/SharedSupport/bin/subl /usr/local/bin/subl
然后打开环境变量文件:
subl ~/.bash_profile
配置成这样:(sorry第二句我不知道必不必要)
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_251.jdk/Contents/Home
export CLASSPAHT=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
二、安装与配置SSH
参考链接:
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
ssh localhost
成功结果:
三、安装与配置MySql
参考链接:
提示:不要用brew install mysql,会报错。
1、官网下载安装包
下载第一个
2、 双击安装包,安装时注意选择第二个:“Use Legacy Password Encryption”
3、安装完就可以在“系统偏好设置”-“mysql”里看到
4、打开终端,输入:
mysql -uroot -p
发现报错:
zsh: command not found: mysql
这个时候运行下面两行命令:
cd /usr/local/bin
ln -fs /usr/local/mysql/bin/mysql mysql
再次输入:
mysql -uroot -p
就连接上了。输入quit可以退出。
四、安装与配置Hadoop
参考链接:
https://blog.csdn.net/weixin_36995355/article/details/107880338
1、安装hadoop
brew install hadoop
2、环境变量配置
和第一步的jdk环境变量配置类似(sorry我也不知道这么多环境变量必不必要)
# Hadoop
export HADOOP_HOME=/usr/local/Cellar/hadoop/3.3.0/libexec
export HADOOP_COMMON_HOME=$HADOOP_HOME
export PATH=$JAVA_HOME/bin:$PATH:$HADOOP_HOME/bin:/usr/local/Cellar/scala/bin
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export JAVA_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native
export HADOOP_ROOT_LOGGER=DEBUG,console
3、配置 hadoop-env.sh(它的位置在 /usr/local/Cellar/hadoop/3.3.0/libexec/etc/hadoop)
复制它,然后编辑hadoop-env.sh
cd /usr/local/Cellar/hadoop/3.3.0/libexec/etc/hadoop
vim hadoop-env.sh
这样,我们通过如下命令就可以用sublime打开hadoop-env.sh了:
subl hadoop-env.sh
把第一步复制的jdk位置放到这里,保存。(HADOOP_HOME那个我不确定必不必要)
4、配置 core-site.xml (它的位置同样在 /usr/local/Cellar/hadoop/3.3.0/libexec/etc/hadoop)
subl core-site.xml
添加以下代码:
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/Cellar/hadoop/3.3.0/libexec/tmp</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
5、配置 hdfs-site.xml(它的位置同样在 /usr/local/Cellar/hadoop/3.3.0/libexec/etc/hadoop)
subl hdfs-site.xml
添加以下代码:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/Cellar/hadoop/3.3.0/libexec/tmp/dfs/name</value>
</property>
<property>
<name>dfs.namenode.data.dir</name>
<value>file:/usr/local/Cellar/hadoop/3.3.0/libexec/tmp/dfs/data</value>
</property>
</configuration>
6、配置 mapred-site.xml(它的位置同样在 /usr/local/Cellar/hadoop/3.3.0/libexec/etc/hadoop)
subl mapred-site.xml
添加以下代码:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
6、配置 yarn-site.xml (它的位置同样在 /usr/local/Cellar/hadoop/3.3.0/libexec/etc/hadoop)
subl yarn-site.xml
添加以下代码:
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.env-whitelist</name>
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>
</configuration>
7、格式化文件系统
cd ..
cd ..
bin/hdfs namenode -format
结果有一大串,不截图了。
8、启动 NameNode 和 DataNode
sbin/start-dfs.sh
结果如下:
验证NameNode 和 DataNode是否开启,用下面命令查看:
jps
可以看到有NameNode和DataNode。
此时可以打开 http://localhost:9870,看到页面:
9、 启动yarn
sbin/start-yarn.sh
返回如下:
此时可以打开 http://localhost:8088,看到页面:
这样,hadoop就ok了~
五、安装与配置Hive
1、安装hive
brew install hive
2、配置hive-site.xml
cd /usr/local/Cellar/hive/3.1.2_2/libexec/conf
有的配置教程是复制现有的hive-default.xml.template成hive-site.xml,再在里面修改,但不是这样的,我们要新建hive-site.xml
touch hive-site.xml
subl hive-site.xml
添加如下内容
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost/hive?createDatabaseIfNotExist=true&useSSL=false&serverTimezone=GMT</value>
</property><property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property><property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property><property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>12345678</value>
</property><property>
<name>hive.exec.local.scratchdir</name>
<value>/tmp/hive</value>
</property><property>
<name>hive.querylog.location</name>
<value>/tmp/hive</value>
</property><property>
<name>hive.downloaded.resources.dir</name>
<value>/tmp/hive</value>
</property><property>
<name>hive.server2.logging.operation.log.location</name>
<value>/tmp/hive</value>
</property>
</configuration>
3、安装mysql-connector
https://cdn.mysql.com//archives/mysql-connector-java-8.0/mysql-connector-java-8.0.20.tar.gz
我把它安装到桌面的,先解压,把里面的jar文件提出来放在桌面
要把它复制到hive的lib文件,命令如下:
cd ~/desktop
cp mysql-connector-java-8.0.20.jar /usr/local/Cellar/hive/3.1.2_2/libexec/lib
4、初始化库
cd /usr/local/Cellar/hive/3.1.2_2/libexec
schematool -initSchema -dbType mysql
如果你第二次执行schematool -initSchema -dbType mysql,则需要在mysql中删掉hive,不然要报错:
5、启动hive
hive
启动成功!