自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(13)
  • 收藏
  • 关注

原创 【用户画像(四)】封装基类分析类标签计算(销售额,支付方式)

代码重构是指对现有代码进行修改和优化,以改善代码的质量、可读性、可维护性和可扩展性,而不改变代码的功能。它可以帮助开发人员更好地理解和维护代码,减少代码中的。,提高代码的可重用性和可扩展性,从而使代码更加健壮和可靠。重构的目的是使代码更加简洁、易于理解和修改,以提高软件开发的效率和质量。计算最后一次消费时间距离当前时间的天数。最终得到两个df, 然后合并就行了。计算每个人常用的支付方式。

2023-08-19 11:47:00 122

原创 【用户画像(三)】匹配类标签计算(年龄,性别,职位)-附计算流程

使用对象名.属性的方法调用一些东西很方便.使用基类方式重写年龄, 性别标签计算。面向对象方式创建对象。

2023-08-19 11:46:29 235

原创 【用户画像(二)】Python操作ES(支持sql)及ES整合

就是在Python中通过SparkSession对象读取ElasticSearch中的内容, 然后将数据转为DataFrame.进行数据的操作.整合Hive是什么意思?(想想两个数据库之间能干什么,不就是导来导去) 其实就是将Hive中的表数据导入到ElasticSearch中。但是局限于原生的ElasticSearch的命令基本都是Restful风格的代码, 学习的难度未免会有所增加.创建表后,直接在使用es插件查询ES中的表是查询不到的.(需要往表中插入数据才能在ES中看到索引[表]的出现)

2023-08-19 11:45:49 850

原创 【用户画像(一)】技术选型及ElasticSearch与后台启动命令

画像项目介绍画像项目介绍项目分类What用户画像 就是给用户打上海量的标签, 根据用户的目标, 行为和观点差异将用户区分成不同的类型, 从每种类型中提出出关键的信息(标签的名字) 形成人物原型, 实际就是用户信息的标签化。WhyHowWhere画像标签体系一级标签:行业-电商二级标签:子行业-仓储三级标签:标签大类-位置四级标签:标签的一个类别-省市区 对应一个计算任务五级标签:四级标签对应的具体值,每个五级标签会有一个标签规则就是标签计算的依据标签分类标签分层。

2023-08-19 11:45:09 745

原创 【SQL刷题本(四)】好友数最多的人及连续3行记录的value大于某个值

刷题(不定时发布之前的存货

2023-08-04 08:28:15 65 1

原创 【SQL刷题本(三)】lag函数的使用

工作中很常用的一些分析场景, 刷题也相当于锻炼业务了

2023-08-04 08:27:00 211 1

原创 【SQL刷题本(二)】窗口函数

没什么好说的,接着刷题

2023-08-04 08:26:09 93 1

原创 【数仓查漏补缺(二)】Hive原理及调优回顾

Hive的一些原理,留个记录省的忘了

2023-08-04 08:25:38 60 1

原创 【数仓查漏补缺(一)】HiveSql回顾

Hive数仓回顾, 主要是HQL

2023-08-04 08:24:41 92 1

原创 【SQL刷题本(一)】SQL连接查询及子查询

sql刷题速通

2023-08-04 08:21:13 54 1

原创 Kafka

Kafka的组件及环境搭建,以及启动和验真

2023-07-22 23:00:07 30

原创 数仓搭建全程总结

24张表中,有20张表是拉链表,订单评价表和登录记录表是增量表(增量导入),区域字典表、时间维度表是全量覆盖导入。订单事实表,循环与拉链导入(因为拉链表是dwd层,所以要用sqoop抽取到ODS层,再到DWD层。3种导入方式:拉链导入(增量及更新) ,全量覆盖导入, 增量导入(instance1,2,3。这里由于涉及到计算,可能会有重复的计算,甚至小括号过多,容易写错,最终考虑使用CTE表达式。获取各种主题的日统计宽表,销售,商品,用户宽表。降维,形成宽表-三张(订单,店铺,商品。

2023-06-09 19:30:32 384 1

原创 【Hive】DDL语句详解-知无不言

学会了Hive的一些操作,发现Hive建过表,后续的数据并不是向MySQL是通过自己手写进行插入的,而是将TXT文件解析成为数据表的操作。其实是HDFS将文件映射成Hive表,然后然后通过写类SQL的语句来操作该文件,底层会被解析成为MR程序。

2023-06-08 23:03:30 199

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除