- 博客(291)
- 收藏
- 关注
RSS订阅原创 json.dumps： dict ——＞ str
STEP2 : 参数提取，给我全部整成斜杠了，我去。STEP3 : 构建时间变量参数。STEP4 : 正确示范。
2024-04-24 19:28:13
236
原创 红包参与领取、活跃用户等相关9题
（为什么会出现“已领取红包，但未登录的情况”，因为在现实的数据中，数据上报无法做到十分准确，这种其实是BUG数据。备注：日志流水表，每一行为领取1次红包。无特殊说明，一般不考虑领取红包但当日未登录的情况。备注：一个用户1天只出现1次，出现即表示当日登陆。
2024-02-19 17:33:22
401
1
原创 格式化日期表头
原理：函数内部使用datetime.strptime()将日期表头字符串转换为日期对象，然后使用date_obj.strftime()将日期对象格式化为指定格式的字符串。
2024-01-24 14:21:16
350
原创 metabase filter
除“字段过滤器”之外的所有变量类型都会自动导致在此问题上放置过滤器小部件；然后，您可以选择在您的问题上显示过滤器小部件，但即使不这样做，您现在也可以在将此问题添加到仪表板时将字段过滤器变量映射到仪表板过滤器。为变量提供“字段过滤器”类型允许您将问题链接到仪表板过滤器小部件或在 SQL 问题上使用更多类型的过滤器小部件。字段过滤器变量插入的 SQL 类似于在现有列上添加过滤器时由 GUI 查询生成器生成的 SQL。本机查询中的变量允许您使用过滤器小部件或通过 URL 动态替换查询中的值。
2023-12-19 12:29:41
147
原创 对于技术人员实力的判断
俗话说“文无第一，武无第二”，技术就是一种“文”的能力，很多时候我们很难直观看出一个技术人员的实力，但不管是公司招聘的面试，还是公司内部的晋升面评，都需要在较短时间内快速判断一个技术人员的实力。得益于工作岗位的关系，我在考核技术人员的实力时积累了较丰富的经验（包括踩坑的经验）。首先是招聘，前后面试了几百个人吧，技术范围包括服务器、android、iOS、前端，既包括初出茅庐的应届生，也包括腾讯的 T4 大牛；
2023-12-07 17:44:18
126
原创 pymysql.err.InternalError: (1054, “Unknown column ‘nan‘ in ‘field list‘“
记录在本地环境通过，然后在云环境，解决问题的过程；
2023-12-06 19:14:23
458
原创 ProgrammingError: nan can not be used with MySQL
【代码】ProgrammingError: nan can not be used with MySQL。
2023-11-30 16:25:04
896
原创 DataFrame.empty 与 DataFrame is None 的区别是？
总结来说，DataFrame.empty用于检查DataFrame对象是否为空，而DataFrame is None用于检查DataFrame对象是否为None对象。在上述示例中，由于DataFrame对象df被显式设置为None，因此df is None为True，输出结果为"DataFrame为None"。在上述示例中，由于DataFrame对象df不包含任何数据，因此df.empty为True，输出结果为"DataFrame为空"。请注意，empty 与 None 是不同的概念，这个要注意。
2023-11-17 11:05:40
408
原创 傻傻分不清 “json.dump()、 json.dumps()、 json.loads() 、 json.load()“的区别？
json.dump()：将Python对象序列化为JSON格式的数据并将其写入文件。它接受两个参数：要序列化的Python对象和要写入的文件对象。示例用法：json.dump(obj, file)。json.dumps()：将Python对象序列化为JSON格式的字符串。它接受一个参数：要序列化的Python对象。示例用法：json.dumps(obj)。json.load()：从文件中读取JSON格式的数据并将其反序列化为Python对象。它接受一个参数：要读取的文件对象。
2023-11-09 15:19:23
381
原创 【实用】得到三个动态时间点作为分界点
因为周报需要对比上周,所以现在有一个需求，动态生成上周周一的时间点，类似 ‘2023-10-23 00:00:00’ 并将值赋予给time2变量,将time2 减去7天，得到的时间点赋值给time1，将time2 减去7天，得到的时间点赋值给time3，得到三个动态时间点作为分界点；
2023-11-03 15:53:13
75
原创 ConnectionError: HTTPSConnectionPool
连接不上url ，chatcpt 第一步就告诉我了，折腾了大半个下午，惭愧！
2023-11-02 18:24:25
1162
原创 手机型号抓取
方式②：原始数据中，每个页面的数据存储在一个列表中，然后页面中的每条数据以字典单元形式盛放在列表中，因此，策略是可以先通过aList.extend(bList)方法，把所有的需要的n个页面中的列表中的字典（每条记录）总体组装在一个总列表中 --》 然后再转成一个总的df。方式①：每个页面的数据处理成df, 然后再合并df , pd.concat()/ df.append() 循环合并。Code处理结果：DataFrame 及 流程。个人感觉方式②的效果会更高效一些！
2023-10-31 09:56:41
75
原创 使用Python计算数据集中不同维度下的方差和 JS 散度
本文介绍了如何使用 Python 和 Pandas 库计算数据集中不同维度下的方差和 JS 散度。这些指标可以用于评估各维度变化的波动大小，从而实现异常维度挖掘和数据分析等目的。在数据挖掘领域中，我们经常需要衡量不同维度之间的差异或相似度。为了实现这一目标，通常需要使用各种方法来计算两个样本之间的差异。本文将介绍如何使用 Python 和 Pandas 库来计算数据集中不同维度下的方差和 JS 散度，以评估各维度变化的波动大小。最后，我们得到了各维度下的方差和 JS 散度指标。
2023-05-30 19:01:15
768
原创 Python 连接 MySQL 数据库
首先，在使用 pandas.read_sql() 时，需要在 SQL 查询语句中包含所有必要的过滤条件、排序方式等信息，以确保返回的结果集合是正确的，而不是整个表或视图中的所有数据。除了使用 pymysql 库连接 MySQL 数据库之外，我们还可以使用 SQLAlchemy 的 create_engine 函数创建 MySQL 数据库连接引擎，并使用 Pandas 库中的 read_sql 函数直接将查询结果转化为 Pandas dataframe 对象。希望本文对您有所帮助！
2023-05-17 20:09:30
18264
5
原创 Python数据离散化指南：手写if-elif语句与pandas中cut()方法的实现
第二种方法是使用 pandas 库的 cut() 方法将输入值 x 映射到不同的标签中，并返回标签。两种方法各有优缺点。第一种方法是使用条件语句来显式地检查输入值 x 是否在每个区间内，并返回相应的标签。这种方法适用于自定义的分段方式，要求手动设置每个阈值和对应的标签。当我们进行数据分析时，有时候需要对数值型数据进行离散化，将其划分为不同的标签或类别。其中 tran_amount_label 是新添加的一列，它显示了每个交易额所属的标签和类别。在本文中，我们将介绍两种常见的离散化方法，并提供实现代码。
2023-05-16 18:36:10
504
原创 metabase的地图展示方式及切换地图源
瓦片数据也是可以修改，如使用https://blog.csdn.net/banhusao3974/article/details/102053671。1、pin map，就是按经纬度在地图上打点，要求数据必须有经纬度：Latitude field及Longitude field。2、region map ，这个比较简单，按区域显示数据，有对应区域编号，比如city就可以，注意是编号要在地域数据中有。3、grid map，这个只按区域（瓦片，tile）显示汇总只，必须配置对应的汇总函数。
2023-03-22 15:22:32
450
原创 大数据常见术语
大数据常见术语一览主要内容包含以下（收藏，转发给你身边的朋友）雪花模型、星型模型和星座模型事实表维度表上钻与下钻维度退化数据湖UV与PV画像ETL机器学习大数据杀熟SKU与SPU即席查询数据湖数据中台ODS，DWD，DWS，DWT与ADST0与T+1用户画像用户画像又称用户角色，作为一种勾画目标用户、联系用户诉求与设计方向的有效工具，用户画像在各领域得到了广泛的应用。我们在实际操作的过程中往往会以最为浅显和贴近生活的话语将用户的属性、行为与期待的数据转化联结起来。作为实际
2023-03-01 10:37:03
3727
原创 数据库必知词汇：即席查询(Ad Hoc)
它们之间的差别在于，通常的查询在系统设计和实施时是已知的，所有我们可以在系统实施时通过建立索引、分区等技术来优化这些查询，使这些查询的效率很高。而即席查询是用户在使用时临时生产的，是一种松散类型的命令/查询，其值取决于某个变量，每次执行命令时，结果都不同，这取决于变量的值。临时查询是短期的，并且是在运行时创建的。在一个数据仓库系统中，即席查询使用的越多，对数据仓库的要求就越高，对数据模型的对称性的要求也越高。即席查询与普通应用查询最大的不同是普通的应用查询是定制开发的，而即席查询是由用户自定义查询条件的。
2023-03-01 10:32:09
703
原创 我用python封装了个实现对MySQL建库、建表并实现增删改查操作的类
我用python封装了个实现对MySQL建库、建表并实现增删改查操作的类。
2023-02-25 21:45:18
183
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人