Mac Catalina安装配置hadoop hive hbase( 完整可用版)

网上看了很多文章都不完整,所以亲自写一遍。

brew 安装

brew reinstall hadoop hive hbase


hadoop配置与操作

进入主目录:

/usr/local/Cellar/hadoop/3.1.2

配置文件都在/usr/local/Cellar/hadoop/3.1.2/libexec/etc/hadoop

1.修改hadoop-env.sh中的JAVA_HOME

运行:

/usr/libexec/java_home

查看

2.core-site.xml

<configuration>

    <property>

        <name>hadoop.tmp.dir</name>

        <value>/usr/local/Cellar/hadoop/hdfs/tmp</value>

        <description>A base for other temporary directories</description>

    </property>

    <property>

        <name>fs.default.name</name>

        <value>hdfs://localhost:9000</value>

    </property>

</configuration>

3.hdfs-site.xml

变量dfs.replication指定了每个HDFS数据库的复制次数。 通常为3, 由于我们只有一台主机和一个伪分布式模式的DataNode,将此值修改为1

<configuration>

    <property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

</configuration>

4.格式化(进入主目录)

格式化hdfs操作只要第一次才使用,否则会造成数据全部丢失

./bin/hdfs namenode -format

启动

注意路径,一定要在安装的根目录下操作,否则会失败

/usr/local/Cellar/hadoop/3.1.2

启动关闭hadoop

./sbin/start-dfs.sh

./sbin/stop-dfs.sh

查看hadoop

http://localhost:9870/

启动关闭hadoop的资源管理(没怎么用过,启动过程没有)

./sbin/start-yarn.sh

./sbin/stop-yarn.sh

查看yarn

http://localhost:8088/cluster

 

启动/关闭Hadoop服务(等效上面两个,但没怎么用过)

./start-all.sh

./stop-all.sh

创建目录(未使用)

./bin/hdfs dfs -mkdir /user

这里的/user不是mac的/user,指的是hdfs的路径。

./bin/hdfs dfs -mkdir /user/input

 

hbase操作(非必须安装)

/usr/local/Cellar/hbase/1.3.4

一定要在安装目录下

./bin/start-hbase.sh

./bin/stop-hbase.sh

 

hive安装与使用(结合上面的hadoop)

安装

brew install hive

查看HIVE_HOME

/usr/local/Cellar/hive/3.1.2

配置,使用mysql做metastore

放mysql jdbc 连接包

mysql-connector-java-5.1.27.jar

放到$HIVE_HOME/libexec/lib/下

下载地址:

https://dev.mysql.com/downloads/connector/j/5.1.html

进入mysql

mysql -uroot -p

create database metastore;

修改配置文件

cd $HIVE_HOME/libexec/conf/

cp hive-default.xml.template hive-site.xml

vi hive-site.xml

修改如下:

 

数据库相关

<property>

    <name>javax.jdo.option.ConnectionUserName</name>

    <value>root</value>

</property>

<property>

    <name>javax.jdo.option.ConnectionPassword</name>

    <value>yourpassword123456</value>

</property>

<property>

    <name>javax.jdo.option.ConnectionURL</name>

    <value>jdbc:mysql://localhost/metastore</value>

</property>

<property>

    <name>javax.jdo.option.ConnectionDriverName</name>

    <value>com.mysql.jdbc.Driver</value>

</property>

hive文件目录

<property>

    <name>hive.exec.scratchdir</name>

    <value>/tmp/hive</value>

</property>

<property>

    <name>hive.exec.local.scratchdir</name>

    <value>/tmp/hive</value>

</property>

<property>

    <name>hive.downloaded.resources.dir</name>

    <value>/tmp/hive</value>

</property>

<property>

    <name>hive.querylog.location</name>

    <value>/tmp/hive</value>

</property>

<property>

    <name>hive.server2.logging.operation.log.location</name>

    <value>/tmp/hive</value>

</property>

<property>

    <name>hive.query.results.cache.directory</name>

    <value>/tmp/hive/_resultscache_</value>

</property>

 

初始化数据库

$HIVE_HOME/bin/schematool -dbType msyql -initSchema

启动Hive 的 Metastore Server服务进程(重要)

$HIVE_HOME/bin/hive --service metastore &

起动

hive

检查

hive>show tables;

安装配置中遇到问题,欢迎留言交流。

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值