既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
datadir=/usr/local/mysql/data
临时目录
tmpdir=/usr/local/mysql/tmp
用于错误消息的区域设置。默认值是en_US。服务器将参数转换为语言名,并将其与lc_messages_dir的值结合,以生成错误消息文件的位置。
lc_messages=zh_CN
错误消息所在的目录。服务器使用该值和lc_messages的值来生成错误消息文件的位置。
lc_messages_dir=/usr/local/mysql/share
默认的错误日志目的地。如果目标是控制台,则值为stderr。否则,目标是一个文件,log_error值是文件名。
log-error=/usr/local/mysql/log/alert.log
慢查询日志文件名。默认值是host_name-slow.log,但可以通过slow_query_log_file选项更改初始值。
slow_query_log_file=/usr/local/mysql/log/slow.log
通用查询日志文件的名称。默认值是host_name.log,但初始值可以通过general_log_file选项更改。
general_log_file=/usr/local/mysql/log/general.log
mysql的主机和客户机在同一host上的时候,使用unix domain socket做为通讯协议的载体文件
socket=/usr/local/mysql/run/mysql.sock
服务端字符集
character-set-server=utf8mb4
此变量控制写入错误日志的消息中的时间戳的时区,以及写入文件的一般查询日志和慢查询日志消息中的时间戳的时区。
log_timestamps=SYSTEM
操作系统中可用于mysqld的文件描述符的数量。
open_files_limit=61535
同时允许的最大客户端连接数。
max_connections=1000
mysql_stmt_send_long_data() C API函数发送的一个包或任何生成/中间字符串的最大大小,或任何参数的最大大小。默认是64MB。
max_allowed_packet=1G
如果设置为0,表名将按指定的方式存储,并且比较区分大小写。如果设置为1,表名将以小写形式存储在磁盘上,比较不区分大小写。如果设置为2,则表名按给定值存储,但以小写进行比较。此选项也适用于数据库名称和表别名。
lower_case_table_names=1
慢查询日志是否开启。取值为0(或OFF)表示关闭日志,取值为1(或ON)表示打开日志。默认值取决于是否给出——slow_query_log选项。日志输出的目标由log_output系统变量控制;如果该值为NONE,则即使启用了日志,也不会写入任何日志项。
slow_query_log=1
validate_password插件的加载方法
plugin-load-add=validate_password.so
validate-password在服务器启动时使用该选项来控制插件的激活
validate-password=FORCE_PLUS_PERMANENT
初始化后需记住localhost@root: 后面的内容,就是本机root用户的初始密码,需要记录下来。
将安装目录的所有权授予用户、属组 mysql:mysql
[root@hadoop1 ~]# chown -R mysql:mysql /usr/local/mysql
初始化数据库
[root@hadoop1 ~]# cd /usr/local/mysql
[root@hadoop1 mysql]# ./bin/mysqld --initialize --user=mysql --basedir=/usr/local/mysql/ --datadir=/usr/local/mysql/data/
再次将安装目录的所有权授予用户、属组 mysql:mysql
[root@hadoop1 mysql]# chown -R mysql:mysql /usr/local/mysql
将安装目录的 rwx 授予其所属用户mysql
[root@hadoop1 mysql]# chmod u+wrx -R /usr/local/mysql
如果忘记看了,则查看文件/usr/local/mysql/log/alert.log中
![](https://img-blog.csdnimg.cn/direct/ee5123443447443ab111508fc3f2f3c7.png)
启动mysql服务
启动mysql服务
service mysqld start
停止mysql服务
service mysqld stop
重启mysql服务
service mysqld restart
查看mysql服务是否启动
service mysqld status
登录mysql
登录Mysql
mysql -h[ip地址] -u[用户名] -p
mysql -uroot -p
密码是前面记录的初始密码
设置密码
– 设置密码验证安全级别
set global validate_password_policy=LOW;
– 设置密码验证最小长度
set global validate_password_length=6;
– 设置密码为123456(根据自己的想法设置)
alter user root@localhost identified by ‘123456’;
## Hive的部署
因为hive本身是一个单机的工具,所以只要在一台机器上部署就行了。
**1.配置hadoop,让hive代理hadoop,打开hadoop/etc/hadoop/core-site.xml。配置完成后通过scp命令分发给另外两台机器。**
#在中加上以下代码
<property>
<name>hadoop.proxyuser.hadoop.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.hadoop.groups</name>
<value>*</value>
</property>
**2.下载并解压Hive**
下载连接,[apache-hive-3.1.3-bin.tar.gz]( )
下载完成后上传到Linux服务器中,并用tar -zxvf命令解压
tar -zxvf apache-hive-3.1.3-bin.tar.gz
#改名为hive
mv apache-hive-3.1.3-bin hive
**3.下载mysql驱动包放入hive/lib目录下**
[下载地址]( ),下载完成后解压,只上传mysql-connector-j-8.3.0.jar即可。
![](https://img-blog.csdnimg.cn/direct/cd159af8ce2448b19a31c1e39369d06f.png)
**4.在Hive的conf目录内,将hive-env.sh.template文件复制并重命名为hive-env.sh文件,填入以下环境变量内容**
#复制
cp hive-env.sh.template hive-env.sh
#加入以下内容
export HADOOP_HOME=/data/root/env/environment/hadoop
export HIVE_CONF_DIR=/data/root/env/environment/hive/conf
export HIVE_AUX_JARS_PATH=/data/root/env/environment/hive/lib
**5.在Hive的conf目录内,将hive-default.xml.template文件复制并重命名为hive-site.xml文件,然后在<configuration></configuration>中增加连接数据库的配置**
cp hive-default.xml.template hive-site.xml
javax.jdo.option.ConnectionURL jdbc:mysql://localhost:3306/hive?characterEncoding=UTF-8 javax.jdo.option.ConnectionDriverName com.mysql.cj.jdbc.Driver javax.jdo.option.ConnectionUserName root javax.jdo.option.ConnectionPassword 123456#javax.jdo.option.ConnectionURL:元数据连接的数据库地址
#javax.jdo.option.ConnectionDriverName:元数据所用数据库的驱动
#javax.jdo.option.ConnectionUserName:元数据登录用户
#javax.jdo.option.ConnectionPassword:元数据登录密码
**6.进入mysql,创建hive数据库 ,授予权限给用户root**
CREATE DATABASE hive;
grant all on . to ‘root’@‘%’;
**7.初始化Hive,在hive/bin目录下执行以下命令**
./schematool -initSchema -dbType mysql
报错![](https://img-blog.csdnimg.cn/direct/dba06f4b33a047f1b21e2e75a64d58ff.png)
解决办法:进入hive-site.xml文件中的第3215行,删除第97列的符号“”
![](https://img-blog.csdnimg.cn/direct/2009f35069214b2ab5fae7a7d7c8730a.png)
初始化完成可以到mysql中查看hive数据库,发现数据库已经有了74个表
![](https://img-blog.csdnimg.cn/direct/487e03f3054648cd9b340f4fe9fb06d2.png)
进入/etc/profile文件,添加hive变量
![](https://img-blog.csdnimg.cn/direct/57bd43e4598b431a97e993bd564b4779.png)
添加完成后**使用source /etc/profile生效环境变量**
**8.启动hvie**
在hive目录下创建一个logs文件夹用来保持日志,创建temp文件夹
mkdir logs
mkdir temp
替换/hive/conf/hive-site.xml文件夹中的${system:java.io.tmpdir},用temp的绝对路径替换。
两个都要改。
![](https://img-blog.csdnimg.cn/direct/16d510d656d6480c8542db9fe1b989df.png)
启动元数据管理服务(如果metastore启动报错JAVA拒绝连接是因为没有打开Mysql服务)
#二选一即可
#后台执行方法
nohup bin/hive --service metastore >> logs/metastore.log 2>&1 &
#前台执行方法
hive --service metastore
通过jps可以查看到Runjar就是metastore进程
![](https://img-blog.csdnimg.cn/direct/e81477e98d0a4e7aaecdeee80ef18e95.png)
启动hive(启动之前确保hdfs和yarn已经开启,不然会报错)
hive
报错
![](https://img-blog.csdnimg.cn/direct/e765a916afbd42ccb0716d38d8622a60.png)
解决办法:退出安全模式
hdfs dfsadmin -safemode leave
查询数据库,如果查询成功说明安装完成
![](https://img-blog.csdnimg.cn/direct/ea425296cdaa429bb991aef636d3f441.png)
## Hive的操作
**1.简单的SQL语句,创建、插入、查询**
#创建表
CREATE TABLE test(id INT,name STRING);
#插入数据
INSERT INTO test VALUES(1, ‘SAM’),(2, ‘DIVE’),(3, ‘TOM’);
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
OM’);
[外链图片转存中…(img-xML8sNil-1715429224143)]
[外链图片转存中…(img-ggfA8bJl-1715429224143)]
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!