![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
文章平均质量分 55
会spark的篮球少年
大数据分析,bi
展开
-
hive中order by,sort by, distribute by, cluster by作用以及用法
转载自:https://blog.csdn.net/zhanglh046/article/details/78572939?utm_medium=distribute.pc_relevant.none-task-blog-baidujs_title-2&spm=1001.2101.3001.4242一 ORDERBYORDERBY 跟传统数据库ORDERBY 一样,会对所有的数据进行排序,可能有很多个Map任务,但是只会由一个Reducer来进行排序,如果数据海量的话,会很影响性能,因为需要转载 2021-02-13 12:50:37 · 460 阅读 · 0 评论 -
hive报错Loading data to table dwm.app_spider_detail partition (city_name=null) FAILED: Hive Internal E
hive报错:Loading data to table dwm.app_spider_detail partition (city_name=null)FAILED: Hive Internal Error: java.util.ConcurrentModificationException(null)是因为我insert into partition select form where not exists 返回空数据,导致分区表分区字段为null,所以报错。只要写个容错,确保i...原创 2020-11-23 14:22:34 · 940 阅读 · 0 评论 -
<scala.version>2.12.12</scala.version>
spark3.0 read mysql 报错升级scala到最新版就好了!<scala.version>2.12.12</scala.version>原创 2020-10-28 16:38:35 · 497 阅读 · 0 评论 -
AARRR增长黑客模型
第一个A是获取客户的意思.第二个A是激活客户,第一个R是提高客户留存.第二个R是增加客户销售转化,第三个R是客户口碑传播从一到四就是一个漏斗...原创 2018-09-16 12:53:39 · 1643 阅读 · 0 评论 -
pyspark学习笔记,欢迎朋友们留言交流探讨!
直接上代码:粘贴格式很乱,可以直接点击我的印象笔记:https://app.yinxiang.com/shard/s60/nl/11100943/831e454b-b206-4b3f-93fb-00aa1e357172 1.建立spark appfrom pyspark.sql import SparkSessionbuilder = SparkSession.bu...原创 2018-09-16 17:56:31 · 566 阅读 · 0 评论 -
pysaprk很多show()报错
pysaprk很多show()报错都是因为数据量很大,无法返回到驱动导致,只要在sql价格limit,或者df价格过滤就好了原创 2018-10-10 15:08:07 · 1127 阅读 · 1 评论 -
group by cumsum sql ,pandas,saprk,tableau
Editgroup by cumsum sql ,pandas,saprk,tableau直接干不就完了,造数据: drop table if exists group_by_cumsum; create table if not exists group_by_cumsum(create_time datetime,city VarChar(20),sales...原创 2018-11-25 12:19:22 · 461 阅读 · 0 评论 -
Spark SQL数据类型
Spark SQL数据类型数字类型 ByteType:代表一个字节的整数。范围是-128到127 ShortType:代表两个字节的整数。范围是-32768到32767 IntegerType:代表4个字节的整数。范围是-2147483648到2147483647 LongType:代表8个字节的整数。范围是-9223372036854775808到922337203685477...原创 2018-12-03 16:03:38 · 7841 阅读 · 0 评论 -
Hive WITH clause example with the SELECT statement
Hive WITH clause example with the SELECT statementWITH t1 as (SELECT 1), t2 as (SELECT 2),t3 as (SELECT 3)SELECT * from t1 UNION ALLSELECT * from t2UNION ALL SELECT * from t3;Hive WITH Cla...原创 2019-07-10 20:14:42 · 143 阅读 · 0 评论