- 博客(643)
- 资源 (13)
- 收藏
- 关注
RSS订阅
原创 用户行为分析之用户行为路径计算模型
前提什么是用户行为路径？ 1用户路径分析，顾名思义，用户在APP或网站中的访问行为路径。为了衡量网站优化的效果或营销推广的效果，以及了解用户行为偏好，时常要对访问路径的转换数据进行分析。以电商为例，买家从登录网站／APP到支付成功要经过首页浏览、搜索商品、加入购物车、提交订单、支付订单等过程。而在用户真实的选购过程是一个交缠反复的过程，例如提交订单后，用户可能会返回首页继续搜索商品，也可能去取消订单，每一个路径背后都有不同的动机。与其他分析模型配合进行深入分析后，能为找到快速用户动机，从而引领用户走向
2021-08-02 08:19:10
1221
2
原创 【Hive SQL 新算法】求任意时间段连续登录N天用户数/用户明细/最长连续登陆天数/用户留存率问题总结
注：本计算方法原创来源于：https://blog.csdn.net/hweinifengkuang/article/details/92832309建测试表CREATE TABLE `user_login_table`( `user_id` int COMMENT '用户ID', `login_date` date COMMENT '登录日期') 插入1000条测试数据数据见文末写SQL-- 第二段 根据登陆时间减去排列顺序 得出用户连续登陆的分组SELECT user
2021-07-31 15:51:31
1658
原创 shell 脚本小技巧【持续更新中】
文章目录shell 脚本中，使用vim打开文件非编辑模式下，光标放在数字上，使用 Ctrl+a 组合，可以使数字+1
2021-07-17 19:02:59
1071
原创 Droris（强制）删除某一个分区数据
如果不加FORCE，删除分区则是临时删除，并不会立马释放存储空间，如果需要立即释放这些分区所占用的磁盘空间，那就要执行DROP PARTITION FORCE，此时系统不会检查分区中是否有未完成的事务，分区会被直接删除，且无法恢复。
2025-04-09 19:30:16
249
原创 hive udtf 函数：输入一个字符串，将这个字符串按照特殊的逻辑处理之后，输出4个字段
【代码】hive udtf 函数：输入一个字符串，将这个字符串按照特殊的逻辑处理之后，输出4个字段。
2024-08-06 13:55:26
519
原创 hive udf去掉map中的一个或者多个key
实现一个hive udf，可以将Map中的某一个或者多个key去掉，这里要继承GenericUDF 这个抽象类，然后Override evaluate这个函数即可，可以把执行这个udf前初始化的一些内容放在initialize方法内，比如参数的判断，函数的返回值类型等等。
2024-08-02 20:04:16
453
1
原创 Scala面向对象编程（高级部分）
从面向对象来看，接口并不属于面向对象的范畴，Scala是纯面向对象的语言，在Scala中，没有接口, 也没有implements关键字。Scala语言中，采用trait（特质，特征）来代替接口的概念，也就是说，多个类具有相同的特征（特征）时，就可以将这个特质（特征）独立出来，采用关键字trait声明。
2023-09-06 10:50:00
1096
原创 非计算机科班如何丝滑转码？
非计算机科班的人想要顺利转码成为计算机相关岗位的从业者，需要制定学习计划，学习基础知识，进行项目实践，提升技术能力，并保持对行业动态的关注。计算机岗位的发展前景广阔，对于转码者来说是一个很好的就业选择。
2023-08-11 19:57:16
372
1
原创 shell中，将文件内容按照“,“切割，切割后的第一列做分组键，并将第三列加和，然后按照第三列的和倒序排序打印出来
即将Linux中的文件解析，实现。
2023-08-10 20:08:14
209
原创 shell中按照特定字符分割字符串，并且在切分后的每段内容后加上特定字符(串)，然后再用特定字符拼接起来
【代码】shell中按照特定字符分割字符串，并且在切分后的每段内容后加上特定字符(串)，然后再用特定字符拼接起来。
2023-07-29 12:39:56
1175
原创 windows中使用imgkit时报错No wkhtmltoimage executable found: “command not found“
首先看官网：https://wkhtmltopdf.org/
2023-05-22 14:37:57
1537
转载 hive行转列过程中使用LATERAL VIEW遇到空MAP或者空数组的情况
【代码】hive行转列过程中使用LATERAL VIEW遇到空MAP或者空数组的情况。
2023-05-19 10:34:11
361
原创 【问题记录】hiveserver2 提交SQL任务慢原因排查
同样一个SQL，在hive cli执行，提交了SQL之后立马就会提交到Yarn上，但是通过hiveserver2 提交，就会经过很长一段时间才会提交到Yarn上，甚至有时候直接报错time out。
2023-05-15 11:16:45
689
原创 checkpoint Kafka Offset commit failed问题记录
checkpoint Kafka Offset commit failed
2023-05-08 10:03:32
1449
2
转载 Word打字很卡顿 Office打字时反应慢 延迟 Excel输入迟钝 PPT卡死的终极解决办法大全（24种方法）
下面就来分享一下处理 Word 文档卡顿 Excel 表格缓慢的一些方法。
2022-11-05 20:33:25
8768
原创 Excel里实现 sum(case when xxx then xxx else xxx end)的用法
【代码】Excel里实现 sum(case when xxx then xxx else xxx end)的用法。
2022-09-08 10:02:41
1578
原创 正则表达式 不以特定 字符开头的行 或者 不包含特定 字符串的行
比如匹配不以a开头的结果作为定位符时, 表示字符串的开始, 表示字符串的结束,不以Lua 或者 Java开头的行：
2022-07-12 10:31:15
4572
1
原创 【Linux】文件，每行内容按“\t“切割，筛选出内容包含“；“ 的 或者 切割后字段数小于16的 行
答案：cat file.txt | awk -F "\t" '{if(NF<16 || index($0,";")) print $0}'这里用到了awk工具。主要用到了以下知识点：-F参数：指定分隔符，可指定一个或多个awk中的内置变量常用字符串函数awk的if语句...
2022-04-21 10:05:40
1436
原创 Blink 任务运行报错
Blink 任务总是报错java.lang.Exception: Exception while creating StreamOperatorStateContext. at org.apache.flink.streaming.api.operators.StreamTaskStateInitializerImpl.streamOperatorStateContext(StreamTaskStateInitializerImpl.java:216) at org.apache.flink.stre
2022-04-20 14:06:23
833
3
转载 CentOS 7.X yum install没有可用软件包
已加载插件：fastestmirror, langpacksLoading mirror speeds from cached hostfilebase: mirrors.aliyun.comextras: mirrors.aliyun.comupdates: mirrors.dgut.edu.cn没有可用软件包 htop。错误：无须任何处理遇见这种情况，先执行：sudo yum install epel-release然后再试试yum install 其他安装包...
2022-04-15 16:11:34
1147
原创 StarRocks 如何获取profile
1通过 set is_report_success=true 可以打开profile的上报。2在MySQL客户端中执⾏你的sql语句：3打开浏览器，社区版⽤⼾在 http//:FE_IP:FE_HTTP_PORT/query 可以看到当前的查询和Profile信息：进⼊然后复制profile信息...
2022-04-12 13:47:43
1099
原创 hive中的爆炸函数在presto中的写法
hive中的爆炸函数写法：SELECT student, scoreFROM testsLATERAL VIEW explode(scores) t AS score;爆炸函数在presto中的写法：SELECT student, scoreFROM testsCROSS JOIN UNNEST(scores) AS t (score);
2022-03-25 14:25:44
3544
原创 Windows10 从wsl1与升级到wsl2
wsl2支持docker安装，但是我本地wsl安装的是版本1查看wsl版本：打开power shell 执行 wsl --list -v接下来就升级一下wsl的版本。
2022-03-23 18:54:40
4078
原创 在使用flinkcdc同步多个表时遇到报错:A slave with the same server_uuid/server_id as this slave has connected to the
报错信息：flink version：flink-1.13.5cdc version：2.1.1 在使用flinkcdc同步多个表时遇到报错：org.apache.flink.runtime.JobException: Recovery is suppressed by FixedDelayRestartBackoffTimeStrategy(maxNumberRestartAttempts=3, backoffTimeMS=10000)at org.apache.flink.runtime.e
2022-02-17 14:01:02
6451
4
原创 Flink中的JobListener官方文档
ExecutionEnvironment 与 StreamExecutionEnvironment 均有 registerJobListener 方法，可以传进一个 JobListener，在作业提交以及完成的时候调用对应方法。当然，这需要你提交作业的客户端程序一直存在，直到作业完成并且对应函数被调用。https://nightlies.apache.org/flink/flink-docs-master/api/java/org/apache/flink/api/java/ExecutionEnviro
2022-01-10 19:39:07
2236
转载 Python 命令行之旅
本文来自：https://github.com/HelloGitHub-Team/Article文章目录Python 命令行之旅：初探 argparse前言介绍快速开始设置解析器定义参数解析命令行业务逻辑代码梳理小结Python 命令行之旅：深入 argparse（一）前言参数动作参数类别可选参数参数类型参数默认值位置参数可选值互斥参数可变参数列表小结Python 命令行之旅：深入 argparse（二）前言帮助自动生成帮助自定义帮助参数组选项参数前缀共享解析器嵌套解析器自定义动作小节Python 命令行
2021-12-31 20:09:05
528
9
转载 解决 python json.dumps() 中文乱码问题
python 输出一串中文字符，在控制台上（控制台使用UTF-8编码）通过print 可以正常显示，但是写入到文件中之后，中文字符都输出成ascii编码了。英文字符能正常显示可读字符。原因：json.dumps 序列化时默认使用的ascii编码，想输出真正的中文需要指定ensure_ascii=False：更深入分析，是应为dJSON object 不是单纯的unicode实现，而是包含了混合的unicode编码以及已经用utf-8编码之后的字符串。可行的方式如下：import osimport o
2021-12-21 20:17:51
1994
5
原创 flinksql的await
本文来自社区String initialValues = "INSERT INTO kafka\n" + "SELECT CAST(price AS DECIMAL(10, 2)), currency, " + " CAST(d AS DATE), CAST(t AS TIME(0)), CAST(ts AS TIMESTAMP(3))\n" + "FROM (VALUES (2.02,'Eur
2021-12-21 19:25:11
766
4
原创 hive beeline 链接impala
beeline -d "com.cloudera.impala.jdbc41.Driver" \-u "jdbc:impala://xxxx:21050/;AuthMech=1;KrbRealm=.COM.LOCAL;KrbHostFQDN=xxx;KrbServiceName=impala"
2021-12-20 19:33:03
1280
原创 房贷提前还款计算器
招商银行提供的房贷提前还款计算器，不过再其他银行贷款同样适用：https://www.cmbchina.com/CmbWebPubInfo/Cal_Loan_Per.aspx?chnl=dkjsq：计算结果：
2021-12-18 13:55:22
2086
原创 【算法】求n个字符的任意组合
题目如：有字符a, b, c, d求它们的任意种组合：得到结果：a,b,c,d,ab,ac,ad,bc,bd,cd,bcd,acd,abd,abc,abcdpython实现：import math# 分组列group = ['a', 'b', 'c', 'd']le = len(group)all_num = int(math.pow(2, le)-1)print('一共有 %d 种分组' % all_num)for i in range(1, all_num+1): t
2021-12-10 21:15:29
930
原创 python中求 两个set、list、dict 的合并，交集，差集
1. 两个set的合并>>> a = {1,2,3}>>> b = {3,4,5}>>> c = a | b>>> print(c){1, 2, 3, 4, 5}
2021-12-09 10:14:58
8542
转载 一个开源免费的画流程图的工具
一款简洁强大的绘图工具。免费开源可以自行部署也可以在线使用，功能上直追 Microsoft Visio。支持流程图、序列图、网络拓扑图、甘特图、思维导图、模型图等，还能导出多种格式类型比如 png、svg、PDF、HTML 和 VSDX 格式（Microsoft Visio 图形格式）。github地址：https://github.com/jgraph/drawio...
2021-12-03 19:47:15
573
转载 xlwt设置单元格格式
# coding:utf-8import patterns as patternsimport xlwtimport timei = 0book = xlwt.Workbook(encoding='utf-8')sheet = book.add_sheet('sheet1', cell_overwrite_ok=True)# 如果出现报错：Exception: Attempt to overwrite cell: sheetname='sheet1' rowx=0 colx=0# 需要加上：
2021-12-03 16:52:29
806
hadoop-2.7.2.zip
2020-09-16
pentaho-aggdesigner-algorithm-5.1.5-jhyde.jar
2020-08-19
sqoop-1.4.6.2.3.99.0-195.jar..zip
2020-08-14
javax.jms-1.1.jar.7z
2020-08-14
十大数据分析模型详解_白皮书.pdf
2020-06-24
mongodb-win32-x86_64-enterprise-windows-64-4.2.1-signed.msi
2020-06-05
Apache Flink结合Apache Kafka实现端到端的一致性语义.pdf
2019-05-16
数据仓库数据分层结构
2019-03-02
HBase权威指南
2019-03-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人