笔记
没有合适的昵称
个人工作学习笔记
展开
-
hive 列转行or行转列
多列转多行给定一个表temp,字段是 user_id,clo1,col2…col12 12各字段代表12个月电费,求最终结果展现:user_id,month,moneywith temp as ( select 1 as user_id,2 as col1,3 as col2,4 as col3,5 as col4)select a.user_id,b.month,b.money from temp a lateral view explode(map('1',col1,'2',col2,原创 2020-12-29 09:07:14 · 317 阅读 · 2 评论 -
The auxService:spark_shuffle does not exist
ERROR YarnAllocator: Failed to launch executor 8 on container container_e16_1596454596856_117925_01_000009org.apache.spark.SparkException: Exception while starting container container_e16_1596454596856_117925_01_000009 on host bj-yz-2fm1-d15-148-6-bigd.in原创 2020-09-10 20:33:05 · 2169 阅读 · 1 评论 -
大数据各组件理论性总结---spark和hadoop(将持续更新)
Hadoop和spark的起源Hadoop起源1998年9月4日,Google公司在美国硅谷成立。正如大家所知,它是一家做搜索引擎起家的公司无独有偶,一位名叫Doug Cutting的美国工程师,也迷上了搜索引擎。他做了一个用于文本搜索的函数库(姑且理解为软件的功能组件),命名为LuceneLucene是用JAVA写成的,目标是为各种中小型应用软件加入全文检索功能。因为好用而且开源(代码公...原创 2020-05-05 14:38:53 · 3038 阅读 · 0 评论 -
collect_set 踩坑点
collect_set之后再collect_set是不能将里面的字段给展开的原创 2020-04-28 09:00:53 · 2512 阅读 · 0 评论
分享