Hive
剑客Evan
本人对ML、DL、RS、NLP较为感兴趣!
展开
-
Linux下安装MySQL
安装MySQL原创 2020-07-26 12:12:05 · 88 阅读 · 0 评论 -
Hive中数据去重的办法
数据量小的时候无所谓,数据量大的情况下,由于COUNT DISTINCT操作需要用一个Reduce Task来完成,这一个Reduce需要处理的数据量太大,就会导致整个Job很难完成,一般COUNT DISTINCT使用先GROUP BY再COUNT的方式替换:方法一:select name,count(distinct(related_id)) from emp group by name;...原创 2020-03-21 11:34:39 · 941 阅读 · 0 评论 -
JVM堆内存溢出解决办法java.lang.OutOfMemoryError: Java heap space
在使用Hadoop运行任务时,很有可能因为硬件资源不够而造成堆内存溢出解决办法:在yarn-site.xml中加入如下代码:<property> <name>yarn.scheduler.maximum-allocation-mb</name> value>2048</value></property><pr...原创 2020-03-21 10:21:57 · 319 阅读 · 0 评论 -
Hive中的动态分区
Hive中的动态分区:创建表的时候,有两个字段进行数据插入的时候,传入了三个字段,根据最后一个字段deptno的值进行分区原创 2020-03-20 19:53:46 · 153 阅读 · 0 评论 -
Hql的执行顺序与书写顺序
书写顺序selectfromjoin onwhere group by order byhavinglimit执行顺序from -> join on -> where -> group by -> select -> having -> order by -> limit注:select之后都可以使用别名...原创 2020-03-20 15:44:26 · 693 阅读 · 0 评论 -
Sql语句的各种Join
原创 2020-03-20 12:48:48 · 93 阅读 · 0 评论 -
Linux下安装MySQL找不到/root/.mysql-secret
Linux下安装找不到随机密码解决办法出现问题:安装mysql-server之后发现找不到随机密码的所在位置,以及文件夹根本不存在。原因:之前安装过mysql,卸载文件不彻底.解决办法检查是否下载过rpm -qa | grep -i mysql(输入之后出现mysql名字,复制)检查在哪里which mysql先删除mysqlrpm -e ( mysql名字)...原创 2020-03-16 13:35:57 · 3157 阅读 · 3 评论 -
Linux下安装MySQL出错
第一种错误解决办法第二种错误解决办法原创 2020-03-16 11:06:38 · 132 阅读 · 0 评论 -
在SecureCRT上写Hive代码时,发现无法删除自己写过的错误的指令
解决办法:你使用的可能是不需要安装,直接解压就使用的软件。免安装版的SecureCRT 卸载或者用虚拟机直接操作或者换安装版的SecureCRT需要进行下载安装版重新安装!https://blog.csdn.net/qq_39052513/article/details/100272502下载地址...原创 2020-03-15 21:48:35 · 380 阅读 · 0 评论