Boys,Grils,Friends! My name is Jinsuo.Shi. 一个不正经的大数据开发工程师,目前从事在公司主要进行CDP平台的数据接入、数据的ETL、数据的融合与事件的展开工作。
个人大数据技术栈:DataX,Sqoop,Hadoop,Hive,Spark,Flink,Hbase,Kafka,Kettle,Azkaban,Airflow,Tableau…
个人在学习领域:Python,Pandas数据分析,PowerBI数据可视化,机器学习,算法等…
个人兴趣爱好:广泛阅读,旅游远行,运动健身,王者农药…
【被我的另一篇所引用,名称是:大数据系列—从为什么学,到平台搭建,到组件学习,到企业应用的全方位的分享(stage2),因此做了一些修改!】
1.安装mysql8
1.1 下载并解压mysql8的rpm安装包
mysql-8.0.21-1.el7.x86_64.rpm-bundle.tar
1.2 依次安装以下四个rpm包
rpm -ivh mysql-community-common-8.0.21-1.el7.x86_64.rpm
rpm -ivh mysql-community-libs-8.0.21-1.el7.x86_64.rpm
rpm -ivh mysql-community-client-8.0.21-1.el7.x86_64.rpm
rpm -ivh mysql-community-server-8.0.21-1.el7.x86_64.rpm
注意1:如果安装第二个rpm过程中,出现依赖检测失败,XX被替换,执行:
yum remove mysql-libs
注意2:如果安装过程中缺少东西,用yum install xxx下载即可
1.3 初始化mysql
mysqld --initlize --user=root
1.4 mysql存放数据目录授权
chown mysql:mysql /var/lib/mysql -R
1.5 启动服务
servie mysqld start
注意:如果启动失败,原因:/var/lib/mysql目录已存在,把其改名为mysql.bak即可
1.6 登录mysql
1.6.1 找到临时密码登录
cat /var/log/mysqld.log |grep password
1.6.2 修改密码
经过后续测试,设置免密登录不好使,mysql8好像不能用,统一使用临时密码登录,之后
修改密码:ALTER USER ‘root’@‘localhost’ IDENTIFIED BY ‘Root#123’;
1.6.3 到这里MySQL就安装OK了,下面暂时不用看
1.7 后续
-
在mysql上创建hive数据库
create database hive;
-
设置hive数据库可以远程访问
GRANT PRIVILEGES ON hive.* TO ‘root’@’%’;
2.安装hive(使用mysql存储元数据)
2.1 下载并解压安装文件
apache-hive-3.1.2-bin.tar.gz
2.2 配置环境变量
export HIVE_HOME=/usr/hive
export PATH= P A T H : PATH: PATH:HIVE_HOME/bin
2.3 在hive/conf下配置hive-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>hive.metastore.warehouse.dir</name>
<value>hdfs://alone:9000/hive/data</value>
</property>
<property>
<name>hive.exec.scratchdir</name>
<value>hdfs://alone:9000/hive/tmp</value>
</property>
<property>