![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hive
文章平均质量分 51
JeitZz
这个作者很懒,什么都没留下…
展开
-
Hive表描述乱码
在进行查看hive表字段描述信息的时候发现乱码一,查看当前编码1.打开mysql查看当前编码mysql> \s看到当前编码格式2.接着输入下面语句查看mysql> show variables like "char%";二、我们修改my.cof配置文件在mysqld里面添加下面的属性[mysqld]init_connect='SET collation_connection = utf8_unicode_ci'init_connect='SET NAMES ut原创 2022-01-26 10:46:44 · 3637 阅读 · 0 评论 -
hive元数据连接失败
执行以下操作发现mysql数据不能被初始化schematool -dbType mysql -initSchema解决上述初始化mysql元数据库失败的情况,进入mysql执行下面操作mysql> SET GLOBAL binlog_format = 'STATEMENT';mysql> SET GLOBAL binlog_format = 'ROW';mysql> SET GLOBAL binlog_format = 'MIXED';...原创 2021-10-21 12:26:14 · 425 阅读 · 0 评论 -
大数据之hive调优
hive的调优优化的主要考虑方面:环境方面:服务器的配置、容器的配置、环境搭建具体软件配置参数:代码级别的优化优的主要原则: 20/80原则非常重要,简单的说80%的程序时间执行时间花费在20%的代码上,所以重点就先要 找到这关键的20%代码做重点优化.1.explain 和 explain extendedexplain : 只有对hql语句的解释。explain extended:对hql语句的解释,以及抽象表达式 树的生成。 当执行上面两个语句时.一般会分为多个stagestag原创 2021-05-17 22:26:04 · 374 阅读 · 0 评论 -
大数据之hive函数
函数系统内置函数(较多用的)hive> show funtions;日期函数:-- 时间戳转日期 select from_unixtime(1505456567); select from_unixtime(1505456567,'yyyyMMdd'); select from_unixtime(1505456567,'yyyy-MM-dd HH:mm:ss');-- 获取当前时间戳 select unix_timestamp();-- 日期转时间戳 select unix_原创 2021-05-10 22:51:01 · 124 阅读 · 0 评论 -
大数据之hive的查询
hive的Shell指令1. hive> set 2. hive -e “命令” 只执行一次3. hive -S -e "set" | grep cil.print4. hive -f /path/cat.sql5. hive> source /path/cat.sql6. hive> !pwd; 在hive内显示所在路径7. hive> dfs -ls /; 在hive内部执行hdfs命令分区和分桶:分区和分桶都是为了提高hiv原创 2021-05-06 21:12:49 · 393 阅读 · 0 评论 -
大数据之hive概述
hive简介Hive最早来源于FaceBook ,因为FaceBook网站每天产生海量的结构化日志数据,为了对这些数据进行管理,并且因为机器学习的需求,产生了Hive这门技术,并继续发展成为一个成功的Apache项目。hive的架构图示用户连接接口CLI:是指Shell命令行 JDBC/ODBC:是指Hive的JAVA实现,与传统数据库JDBC类似。 WebUI:是指可通过浏览器访问Hive。thriftserverhive的可选组件,此组件是一个软件框架服务,允许客户端使用包括Java、原创 2021-04-29 21:50:54 · 427 阅读 · 0 评论