- 博客(7)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 分组统计 - DataFrame.groupby() 所见的各种用法 - Python代码
所见 1 ：日常用法所见 2 ：解决groupby.sum() 后层级索引levels上移的问题所见 3 ：解决groupby.apply() 后层级索引levels上移的问题所见 4 ：groupby函数的分组结果保存成DataFrame
2019-01-31 17:59:54
11062
原创 Power BI 数据分析可视化软件入门教程
入 门l Power BI 的引导学习Ø 什么是Power BI？Power BI是软件服务、应用和连接器的集合，它们协同工作以将相关数据来源转换为连贯的视觉逼真的交互式见解。Power BI 简单且快速，能够从 Excel 电子表格或本地数据库创建快速见解。同时Power BI也是可靠的、企业级的，可进行丰富的建模和实时分析，及自定义开发。 因此它既是你的个人...
2019-01-29 18:43:57
19732
4
原创 DataFrame字符串之分割split()、清洗drop()、合并concat()、重新建立索引reset_index() - （Python）
数据建模之前，我们从数据部门拿到数据，但是这些数据的格式往往并不是我们可以直接使用的，比如下面表中的数据（左：原数据格式）。原数据格式id自成一列，这个很好，但是标签和标签的置信度（这个id属于这个标签的可能性） 都在一个单元格里，仅用空格分隔开来，这对数据处理的过程中很不方便。我们需要将数据转化成右图格式（右：所需数据格式），这有利于我们用id和其他表格中的数据匹配。原数据格式： ...
2019-01-28 16:36:59
6963
原创 缺失值处理 - 获取一段时间内所有日期的列表 - （Python、MySQL）
有的时候做数据清洗的时候 ，如果表中数据在某一天没有记录，但是业务要求不能有缺失日期，那么就需要我们将这些缺失日期补上。这个前提就是我们先要有一张包含所有日期的列表（作为左表），供我们进行匹配（left join）进而补上缺失日期。Python代码：import datetimedef Date_interval_list(date_start = None,date_end...
2019-01-25 15:34:44
7044
原创 分组统计 - 不同时间颗粒度下，按照秒、分、时、日、周、月、季度、年 GROUP BY 分组统计 - （MySQL）
数据处理时，经常需要：统计不同时间粒度下的数据分布情况。例如，网站每天（or每小时）的访问量，周杰伦每年（or每季度 or每月）的收入等。首先有一个表叫：table_test，其中 time 列为最细的时间颗粒度，类型是datetime，income 列是收入（下图）。 代码：##################################################...
2019-01-24 16:51:33
5853
原创 特征计算 -获取本周，本月初，本月末，上月同日，本季，本年初，本年末的日期 - （Python、MySQL、Oracle）
数据预处理的过程中，往往需要计算当前日期往前推12个月（或者本周，本月，本季，本年）中间发生的事情，因此这里贴上相关处理的代码：Python代码：import datetimefrom datetime import timedeltanow = datetime.datetime.now()#天today = now#今天yesterday = now - timedel...
2019-01-21 16:26:13
3554
原创 异常值处理 - iterrows()对 DataFrame 进行遍历，并修改遍历中的异常值 - Python代码
先要有一个很简单的被命名为 data 的表：第三列是一个名曰周杰伦的人历年来每个月的月薪，其中2016年月薪10万，纵观他历年来的月薪基本不超过3万（显然他不是我的偶像胖伦），因此对于这个人来说月薪10万是有些异常的。有些人可能会说，这不简单？直接：【 data[monthly_pay] [data[monthly_pay] >= 10] = null 】就好了啊，可是你忘记了...
2019-01-18 15:05:09
16854
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人