自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(8)
  • 收藏
  • 关注

原创 python接口数据自动化入库(二)python脚本开发

python实现API接口数据自动入库

2024-01-03 14:24:01 453 1

原创 python接口数据自动化入库(一)linux服务器上python执行环境配置

使用shell和python脚本实现接口数据的自动化入库

2024-01-02 12:31:58 425

原创 如何搭建spring环境

idea里面的spring环境搭建

2022-06-09 15:08:36 2214 1

原创 sparkSQL之拆分Map为多列

发现问题今天给同事处理标签的时候,需要统计核实一下tags里面所有tags分类量级。这是hive库里面数据的格式。数据标签里面的tags里面是标签名,权重值。解决思路step1.给Map炸开成两列 这样就可以把所有的标签名拿出来了step2.拿出所有的key值和did_md5的值step3.针对key值进行聚合和统计写sql代码得到结果总结(复习)lateral view outer explode(tags)kv as k,vtags里面有几个就炸几行...

2022-03-02 18:34:32 2008

原创 java.lang.NoClassDefFoundError: scala/runtime/LambdaDeserialize报错

今天提交任务,前面读取任务都十分的顺利只是跑到这个部分的时候,就开始疯狂报错反复提交了好几遍总觉得哪里有点问题java.lang.NoClassDefFoundError: scala/runtime/LambdaDeserialize

2022-03-02 16:32:52 3095

原创 spark调优之excutor-core和内存的合理配置

spark调优之excutor-core和内存的合理配置

2021-12-14 18:40:27 1671

原创 HQL之行转列与列转行

HQL之行转列与列转行行转列与列转行的概述行转列什么是行转列行转列函数CONCATCONCAT_WSCOLLECT_SET(a)COLLECT_LIST(a)例子数据需求实现列转行什么是列转行列转行函数lateral viewexplodesplit例子需求创建数据建表并导入数据按照需求查询数据查询结果行转列与列转行的概述行转列函数和列转行函数本质上是聚合和拆分的两种类型的函数,我们将这些整理起来放在一起,一类成为行转列,一类称为列转行。行转列什么是行转列把一行中不同列的数据放在同一列当中 (co

2021-05-12 21:16:21 1796

原创 牛客网SQL思路解析1-21

文章目录牛客网刷题思路解析第1题 查找最晚入职员工的所有信息第2题 查找入职员工时间排名倒数第三的员工所有信息第3题 查找各个部门当前领导当前薪水详情以及其对应部门编号dept_no第4题 查找所有已经分配部门的员工的last_name和first_name第5题 查找所有员工的last_name和first_name以及对应部门编号dept_no第6题 查找薪水涨幅超过15次的员工号emp_no以及其对应的涨幅次数t第7题 找出所有员工当前具体的薪水salary情况第8题 获取所有非manager的员工e

2021-05-08 19:38:13 156

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除