- 博客(13)
- 收藏
- 关注
RSS订阅原创 【用户画像(四)】封装基类分析类标签计算(销售额,支付方式)
代码重构是指对现有代码进行修改和优化，以改善代码的质量、可读性、可维护性和可扩展性，而不改变代码的功能。它可以帮助开发人员更好地理解和维护代码，减少代码中的。，提高代码的可重用性和可扩展性，从而使代码更加健壮和可靠。重构的目的是使代码更加简洁、易于理解和修改，以提高软件开发的效率和质量。计算最后一次消费时间距离当前时间的天数。最终得到两个df, 然后合并就行了。计算每个人常用的支付方式。
2023-08-19 11:47:00
122
原创 【用户画像(三)】匹配类标签计算(年龄,性别,职位)-附计算流程
使用对象名.属性的方法调用一些东西很方便.使用基类方式重写年龄, 性别标签计算。面向对象方式创建对象。
2023-08-19 11:46:29
236
原创 【用户画像(二)】Python操作ES(支持sql)及ES整合
就是在Python中通过SparkSession对象读取ElasticSearch中的内容, 然后将数据转为DataFrame.进行数据的操作.整合Hive是什么意思?(想想两个数据库之间能干什么,不就是导来导去) 其实就是将Hive中的表数据导入到ElasticSearch中。但是局限于原生的ElasticSearch的命令基本都是Restful风格的代码, 学习的难度未免会有所增加.创建表后,直接在使用es插件查询ES中的表是查询不到的.(需要往表中插入数据才能在ES中看到索引[表]的出现)
2023-08-19 11:45:49
855
原创 【用户画像(一)】技术选型及ElasticSearch与后台启动命令
画像项目介绍画像项目介绍项目分类What用户画像 就是给用户打上海量的标签, 根据用户的目标, 行为和观点差异将用户区分成不同的类型, 从每种类型中提出出关键的信息(标签的名字) 形成人物原型, 实际就是用户信息的标签化。WhyHowWhere画像标签体系一级标签：行业-电商二级标签：子行业-仓储三级标签：标签大类-位置四级标签：标签的一个类别-省市区 对应一个计算任务五级标签：四级标签对应的具体值，每个五级标签会有一个标签规则就是标签计算的依据标签分类标签分层。
2023-08-19 11:45:09
747
原创 数仓搭建全程总结
24张表中,有20张表是拉链表,订单评价表和登录记录表是增量表(增量导入),区域字典表、时间维度表是全量覆盖导入。订单事实表,循环与拉链导入(因为拉链表是dwd层,所以要用sqoop抽取到ODS层,再到DWD层。3种导入方式:拉链导入(增量及更新) ,全量覆盖导入, 增量导入(instance1,2,3。这里由于涉及到计算,可能会有重复的计算,甚至小括号过多,容易写错,最终考虑使用CTE表达式。获取各种主题的日统计宽表,销售,商品,用户宽表。降维,形成宽表-三张(订单,店铺,商品。
2023-06-09 19:30:32
384
1
原创 【Hive】DDL语句详解-知无不言
学会了Hive的一些操作，发现Hive建过表，后续的数据并不是向MySQL是通过自己手写进行插入的，而是将TXT文件解析成为数据表的操作。其实是HDFS将文件映射成Hive表，然后然后通过写类SQL的语句来操作该文件，底层会被解析成为MR程序。
2023-06-08 23:03:30
199
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人