- 博客(10)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 在Pyspark dataframe中按groupby后的计数、求和进行过滤
是函数的别名，您可以使用任何需要的标识符，但它通常写为。按这个dataframe的名称列分组。有一个像这样的pyspark。
2023-04-24 16:09:05
1405
原创 Python判断DataFrame或者其中某一项的值是否为空，提取某列唯一值
data=data[data['日期'].apply(lambda x:True if x in ['2021-01','2021-02'] else False )]原文链接：https://blog.csdn.net/May_Beee/article/details/120845804。3.剔除掉Dataframe类型数据某列中为空的数据，为空的列剔除掉其整行数据。#只保留日期列中为 2021-01，2021-02 的行数据。转化为：判断某项值不为空的方法，不为空则继续执行的if语句。
2023-04-24 07:54:11
2577
原创 pyspark:dataframe使用pandas_udf做groupby
数据介绍：供应商发布课程表，供应商发布了很多课程，发布的每个课程都有发布时间，在数据库中是timestamp类型，数据表中表项为org_id, course_id, publish_date,现要获取供应商发布课程的最新时间作为该供应商的最新活跃时间。数据介绍：一张企业表，企业下有很多职位，不同的企业可能有相同的职位，基于每个企业下的每个职位，统计了该职位某个热搜词被检索的次数，现需要根据职位类别统计各个热搜词被检索的总次数。思路：单个主播的所有的直播课的分数全部加起来，除以所有直播课的共同的评分人数。
2023-04-23 23:24:06
478
原创 Python Pandas dataframe.first_valid_index()
Pandas dataframe.first_valid_index()函数返回数据框架中第一个非NA/null值的索引。在pandas Dataframe的情况下，将返回具有单个非NA/null值的索引。使用first_valid_index()函数来查找一个系列中的第一个非NA/null索引。使用first_valid_index()函数来查找数据帧中第一个非NA/null的索引。使用first_valid_index()函数查找数据帧中第一个非NA/null索引。注意，在第一行的第二列有非纳值。
2023-04-23 22:16:03
433
原创 PySpark-DataFrame条件筛选
注意filter里面本质上是筛选bool表达式，多个条件时不能用and，如果用了会报错如” test_exp_data.filter((test_exp_data['age']>24) and (test_exp_data['score']>90)).show()“test_exp_data.filter((test_exp_data['age']>24) & (test_exp_data['score']>90)).show() # 多个条件中的每个条件注意用()括起来，链接注意用& 而不是and。
2023-04-23 21:02:28
447
原创 获取 PySpark 数据帧的行数和列数
在本文中，我们将讨论如何获取 PySpark 数据帧的行数和列数。为了找到行数和列数，我们将分别使用带有 len()函数的 count()和 columns()。版权属于：月萌API www.moonapi.com，转载请注明出处。
2023-04-23 21:00:23
859
1
转载 机器学习数据划分笔记（train_test_split）
比如我们有数据集[1,2,3,4,5,6,7,8,9],我们确定test_size=3,那问题是我们应该取哪三个数作为test set呢，这时候就应该使用random_state来确定我们的划分规则，假设我们取random_state=1，它按一定的规则去取出我们的数据，当我们random_state=2时，它又换成另一种规则去取我们的数据，random_state的取值范围为0-2^32。随机数的产生取决于种子，随机数和种子之间的关系遵从以下两个规则：种子不同，产生不同的随机数；
2023-02-08 15:00:29
1055
转载 机器学习可视化调参 sklearn cv_results_使用与解析 网格搜索 python
机器学习可视化调参 sklearn cv_results_使用与解析 网格搜索 python_Yummy_Ou的博客-CSDN博客_cv_results_
2023-02-08 09:55:22
133
转载 Python机器学习笔记（交叉验证与网格搜索GridSearchCV）
交叉验证的学习笔记，GridSearchCV可以保证在指定的参数范围内找到精度最高的参数，但是这也是网格搜索的缺陷所在，他要求遍历所有可能参数的组合，在面对大数据集和多参数的情况下，非常耗时GridSearchCV，它存在的意义就是自动调参，只要把参数输进去，就能给出最优化结果和参数。但是这个方法适合于小数据集，一旦数据的量级上去了，很难得到结果。
2023-02-07 15:41:20
1750
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人