儒冠多误身-CSDN博客

原创【Python数据处理专题】数据处理和分析的基本流程

儒冠多误身2019.04.20个人总结文章目录1. 目标确定2. 数据获取数据来源3. 数据清洗3.1 预处理3.1.1 读取3.1.2 观察3.1.3 关联3.2 缺失值3.2.1 缺失值统计3.2.2 缺失值填充3.3 重复值3.4 转换3.4.1 格式转换3.4.2 字符串转换3.4.2.1 拆分字符串3.4.2.2 诊断是否包含3.4.2.3 替换3.4.2.4 类别字符串转换...

2019-04-21 15:47:31 1792 1

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Ma...

2018-10-22 20:53:24 283

原创 003电商数据分析（代码篇）

基于图表能更好、且直观表述整个实现过程，请单击打开《003电商数据分析-实战篇》包含电商项目分析逻辑、数据清洗流程、分析实施代码。因csdn中制表及代码展示较为麻烦，所以我撰写并分享在了语雀上。部分展示效果如下图：...

2022-03-14 11:21:14 519

原创 002 电商数据分析项目（思路篇）

文章目录3.电商的数据分析思路3.1 常见思路3.2 思维导图3.电商的数据分析思路3.1 常见思路熟悉企业业务流程，设计指标体系，搭建BI看板，以完成指标体系的落地，从而：完成业务流程监控，快速发现异常、定位异常，再结合实际业务情况，给出可实施的方案。从物流部门的角度出发关键字：时效、妥投率、供应商评估关于企业物流方面，留在以后详述。从运营部门的角度出发我们知道了运营部的最终目标——与企业保持一致本人从运营可以影响的角度出发拆分为3大板块模

2022-03-10 16:11:38 484

原创 pandas读取csv文件指定字段为日期时间格式pd.read_csv()

pd.read_csv('demo.csv' ,parse_dates = ['col1'] # 待转换为**datetime64[ns]**格式的列→col1 ,infer_datetime_format=True # 将parse_dates指定的列转换为时间 )参考资料之一：pd.read_csv参数

2021-04-07 15:22:14 8001

原创行业资料搜索

By 儒冠多误身20190423 整理总结搜集行业资料科技媒体the vergetnujtcentrepreneurengadger36kr虎嗅创业邦黑马网门户类网页科技腾讯科技新浪科技搜狐科技硬件类雷锋网火花O2O类品途商业评论（pintu360.com）亿欧产品经理类人人都是产品尽力PMCAFF电商...

2019-04-23 17:35:55 191

原创【数据分析专题】-常见框架（模型）

By 儒冠多误身 2014/04/20 总结文章目录常用分析框架QQ模型用户行为理论5W2H分析法AARRR模型AARRR反推衡量产品RFM模型人-货-场模型常用分析框架框架的作用需求方：目前我们已经掌握了很多数据，是否还有某块重要的指标没有关注到新手：街道一个数据分析需求，不知道该从哪里入手老手：数据报告写好了，我是否还有什么没有考虑到QQ模型数量（绝对数）用...

2019-04-21 16:01:00 1247

原创数据分析-专业术语

专业术语GMV商品交易总额UVUnique Visitor独立访客数DNU每日新增注册数DAUDaily Active Users日活跃用户数量反映网站、互联网应用或网游的运营情况DOUDAU - DNU老用户当天活跃人数减去注册人数DNU/DAU当天注册人数/当天总活跃人数活跃度指数用户沉淀指数评估用...

2019-04-21 15:55:35 1005

原创【2019】数据来源

数据来源文章目录数据来源竞赛科研官方其他API坐标系转换数据收集数据来源竞赛kaggleDataCastle天池KDD，数据挖掘科研UCIRAWDADSNAP，斯坦福官方国家统计局北京市统计局世界银行公开数据国家农业部国家环保局data.govNYCOpenData纽约出租车上海市政府数据服务网其他P2P个人贷款网站数据集美国共享单...

2019-04-21 15:43:13 413

原创【2019】python3基础

2019python3基础文章目录基础1. 变量类型字符串`%`格式化字符串format格式化标识符print输出apply,map,applymap表达式Numpy1 随机数Pandas1 表格样式2 Series3 DataFrame4 数值计算、统计基础5 文本数据-`.str.`6 合并7 连接8 去重9 分组统计分组计算分组转换10 透视表11 数据读取12 虚拟变量时间模块`pd...

2019-04-21 15:39:27 517

原创【Python数据处理专题】-pandas库

pandas文章目录其它Series属性创建修改删除过滤描述统计DataFrameIOTimeSeries基础索引对象重新索引reindex多重索引丢弃drop（）索引、选取和过滤索引的重复性算数运算applyapplymap元素级应用排序排名描述统计相关性，协方差去重缺失值处理排序-去重map replace数据抽样samplingmap关联pd.mergepd.concatnp.conc...

2019-04-21 15:38:10 320

原创【Python数据处理】-Numpy库

numpy文章目录Numpy矩阵数组ndarray数组的创建ndarray数组的维度变换属性ndarray的元素类型ndarra数组的类型变换ndarray数组向列表的转换运算Numpy一元函数*unary ufunc*Numpy二元函数 *binary ufunc*矢量化三元表达式 *```np.where(arr1,第二个参数，第三个参数)```*随机数组统计函数IONumpy便捷文件存...

2019-04-21 15:35:10 806

原创【Python数据分析专题】-数据探索分析

数据探索文章目录1. 查询query2. 统计分析2.1 描述统计2.1.1均值、中位数描述2.1.2 分布描述2.1.3 MAD2.1.4 偏度、峰度1 集中趋势2 离中趋势3 数据分布分布函数的生成抽样2.2 点估计与置信区间2.3 概率分布2.4 检验2.5 卡方检验2.6 ANOVA2.7 AB测试2.8 态分布按数据类型选分析方式3. 估计3.1 点估计3.2 中心极限定理3.3 ...

2019-04-21 15:31:54 550

原创【Python数据处理专题】-时间序列

时间序列文章目录pandas时间序列时间序列基础DatetimeIndex对Series的操作对DataFrame的操作重采样resample方法的参数截取生成日期范围日期偏移量移动（超前或滞后）数据datetime模块转换字符串与 datetime.datetime相互转换datetime.datetime-->strstr --> datetime.datetimedate...

2019-04-21 15:28:50 715

原创【Python数据处理专题】-加载IO

文章目录其他pd.read_table()pd.read_csv()查看文件布局读取参数逐块读取输出文件指定分隔符输出手工处理手工读取手工输出分隔符文件pd.read_excel()读取表写入表写入多张表pd.read_json()JSON字符串转换成Python形式Python对象（不一定是DataFrame、Series）转换成JSON格式JSON格式转换成DataFrame特定格式的JSON...

2019-04-21 15:14:32 338

原创实例二：上海房屋2017年成交信息分析

文章目录1 数据处理1.1 预处理：观察1.2 缺失值处理1.2.1 【物业费】列的处理1.2.2 【總價】列的处理1.2.3 【物业类型】列的处理1.2.4 【户型】【建筑年代】列处理1.3离散化1.4 行列取舍——整理完毕2 数据分析2.1 数据特征分析2.1.1集中趋势、离散趋势2.1.2 相关性分析2.2 可视化分析设置表格样式import numpy as npimport ...

2019-03-08 16:40:20 1320

原创【儒冠多误身】个人数据处理基本流程【简述】

数据处理基本流程儒冠多误身——个人总结-20181206预处理读取观察数据维度.shape数据属性info()head()合并多表关联NaN–&amp;amp;gt;排序–&amp;amp;gt;去重缺失值处理df.dropna()缺失值诊断df.isnull()缺失值统计缺失值-舍弃行处理列处理NaN

2018-12-06 12:14:23 469

原创【儒冠多误身】Numpy库知识体系

Numpy个人知识体系儒冠多误身20181202文章目录Numpy个人知识体系一元函数 *unary ufunc*二元函数 *binary ufunc*矢量化三元表达式 *```np.where(arr1,第二个参数，第三个参数)```*统计函数创建从列表、元组创建使用numpy函数创建随机数组随机生成随机排列随机分布通用函数ufunc对ndarray中元素运算的函数一元函数 ...

2018-12-02 16:08:17 465

原创饮食结构

量原则减小包装盒、碗的尺寸只在餐桌边吃点心让诱人的食物，不太便利主食250-400克/天3种/天5种/周米面<150克/天粗粮，杂豆，薯类各50克/天红薯

2018-12-01 22:08:24 1073

原创 MySQL求每个用户当月是否消费过

SELECT userId,DATE_FORMAT(paidTime,"%Y%m-01")from learn.order_info_utfGROUP BY userId,DATE_FORMAT(paidTime,"%Y%m-01")使用left joinSELECT t1.m,count(t1.m),count(t2.m) FROM ( SELECT userId,DATE_FO...

2018-12-01 16:26:34 557

原创【儒冠多误身】MySQL个人学习笔记

文章目录MySQL个人学习笔记问题总结1. 报错2. 设置字符集3. 跳出执行入门语句增删改查创建表查看表结构增 insert改 update set where删 delete from where查 select查询模型建表数值型整型int系列的参数：(M) unsigned zerofill浮点型：float(M,D)，会有损精度定点数：decimal(M,D)字符串型Char(M)定长字...

2018-11-28 15:08:31 379

原创【ValueError: Duplicated level name: "Date", assigned to level 1, is already used for level 0.】临时解决方法

个人认为这是由于两级的索引名称重名导致的，传入groupby时重命名各级所以很难即可解决具体操作如下groupby([baba.index.year.rename('year'),baba.index.month.rename('month')])['rise'].count()此时我的jupyter 报错提示ValueError: Duplicated level name...

2018-11-16 22:02:40 1069

原创 001Numpy基础

import numpy as npndarray 多维数组Array数组创建函数# np.array()arr_1 = np.array([[1,2,3],[5,6,7]])type(arr_1)numpy.ndarrayarr_1.shape(2, 3)arr_1.dtypedtype('int32')arr_2 = np.array([[1,2,3],...

2018-10-27 19:57:48 195

原创创建和更改为Datetime、DatetimeIndex，时间序列

创建Datetime1. pd.date_range(start= '2018-05-01', end= '2018-12-31')2. pd.date_range(start='2018-05-01' ,periods = 100)# 产生100个Datetime3. pd.date_range(start='2018-05-01' ,periods = 100,freq = 'W')#每...

2018-10-22 22:35:13 14927

原创 Python pandas IO读取保存

Pandas IO读取文件read_csv，读取带分隔符的数据，默认逗号’,’read_table，读取带分隔符的数据，默认制表符’\t’read_fwf，读取没有分隔符的数据，固定列宽（想想Excel的分列功能）read_cliboard，读取剪贴板的数据1.文件路径pd.read_csv(‘f:/test/demo.csv’)，注意‘/’pd.read_csv(r’f\te...

2018-10-22 21:47:47 558

儒冠多误身的博客