![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hive
bboy枫亭
技术栈:
Java、Python、Scala、Shell
大数据开发
Linux
展开
-
centos安装mysql-server报错:No package mysql-server available. Error: Nothing to do
CentOS7 安装 mysql 报错:No package mysql-server available. Error: Nothing to do解决办法:两行命令搞定wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm rpm -ivh mysql-community-release-el7-5.noarch.rpm下面再执行安装命令 yum install mysql-server -y,是不是就可以了原创 2020-09-18 14:32:02 · 1476 阅读 · 0 评论 -
java.sql.SQLException: Incorrect string value: ‘\xE4\xB8\x8A\xE6\xB5\xB7‘ for column ‘xxx‘
解决:java.sql.SQLException: Incorrect string value: ‘\xE4\xB8\x8A\xE6\xB5\xB7’ for column ‘xxx’在这位兄台这里找到了解决办法:https://blog.csdn.net/xiaoshunzi111/article/details/52944827方法很全,具体步骤如下:使用MySQL,用Java程序往mysql中写数据,出现如下错误:Error: java.io.IOException: java.sql.S转载 2020-08-09 14:39:06 · 4345 阅读 · 0 评论 -
sqoop把hive数据导入mysql出现中文乱码
使用 sqoop 将 hive 数据导入 mysql 后出现乱码:进入数据库,输入 show variables like 'character%'; 回车我这里有两种解决办法,如下方法1:修改数据库配置文件(1)在下面这个位置添加几行配置vim /etc/my.cnfinit_connect='SET collation_connection = utf8_unicode_ci'init_connect='SET NAMES utf8'character-set-server=ut原创 2020-08-09 14:33:07 · 2689 阅读 · 2 评论 -
hive的order by操作
https://www.cnblogs.com/yjd_hycf_space/p/6801388.htmlhive中常见的高级查询包括:group by、Order by、join、distribute by、sort by、cluster by、Union all。今天我们来看看order by操作,Order by表示按照某些字段排序,语法如下:[java] view plain copyselect col,col2…from tableNamewhere conditionorder b转载 2020-07-29 13:47:23 · 626 阅读 · 0 评论 -
hive的group by与distinct的区别及性能测试比较
Hive去重统计相信使用Hive的人平时会经常用到去重统计之类的吧,但是好像平时很少关注这个去重的性能问题,但是当一个表的数据量非常大的时候,会发现一个简单的count(distinct order_no)这种语句跑的特别慢,和直接运行count(order_no)的时间差了很多,于是研究了一下。先说结论:能使用group by代替distinc就不要使用distinct,例子:实际论证order_snap为订单的快照表 总记录条数763191489,即将近8亿条记录,总大小:108.877GB,存转载 2020-07-29 11:16:30 · 910 阅读 · 0 评论