python数据分析
文章平均质量分 88
Python是一种跨平台的计算机程序设计语言。是一种面向对象的动态类型语言。经常被用于开发、数据采集(爬虫)、数据处理、数据统计分析、数据挖掘、大数据处理等领域。他实现了与多种数据库及本地文件的连接,方便全流程的数据分析/挖掘处理。
Jalen data analysis
数据分析学者和从业人员
展开
-
matplotlib绘图的完善及美化
matplotlib的绘图原理及流程详解,参考公众号上一文:matplotlib的绘图原理及流程详解matplotlib绘图的完善及美化--0、导入基本库--import numpy as npimport pandas as pdimport matplotlib as mplimport matplotlib.pyplot as plt #最常用的绘图库mpl.rcParams["font.family"]="SimHei" #使用支持的黑体中文字体mpl.rcParams["axe转载 2020-10-20 11:49:58 · 5596 阅读 · 0 评论 -
Win10定时执行Python脚本发送QQ邮件
一、python代码# coding: utf-8import pandas as pdimport xlrdimport reimport datetimefrom mlxtend.frequent_patterns import apriorifrom mlxtend.frequent_patterns import association_rules# pip install pymysql# pip install sqlalchemyimport numpy as np..转载 2020-10-20 11:36:04 · 768 阅读 · 0 评论 -
基于RFM模型对某平台客户运营价值分析的项目案例
一、需求1.根据某*电商平台的某*店铺历史交易数据进行整体的统计分析,按月统计销售数量及交易金额的变化趋势,统计各省份的销售情况,及销售环比情况。2.根据某*电商平台的某*店铺历史交易数据进行历史客户价值分析。考虑用户对店铺的贡献,复购率、对品牌的忠诚等因素,为用户贴标签,客户更加精准地进行划分,从而实现针对性的营销运营,降低营销成本,同时提高营销效果。工具:mysql+python+tableau原创 2020-03-10 23:54:18 · 2836 阅读 · 1 评论 -
Python绘图库matplotlib数据可视化核心,不是绘图给你看,而是教你如何绘图
1、绘图前了解matplotlib的绘图原理。2、绘图前准备工作环境。2.1、安装。2.2、导入库。2.3、规避中文乱码及中文字体选择的问题。3、绘图前知道matplotlib的绘图流程详解。4、matplotlib的绘图的美化和完善详解。原创 2020-01-14 19:06:19 · 928 阅读 · 0 评论 -
Pandas分组与聚合
pandas分组与聚合Pandas语法:df [Condition1].groupby([Column1, Column2], as_index=False).agg({Column3: "mean", Column4:"sum"}).filter(Condition2)1、groupby分组我们可以通过groupby方法来对Series或DataFrame对象实现分组操作。该方...原创 2020-01-12 16:01:49 · 747 阅读 · 0 评论 -
Pandas的MultiIndex多层索引使用
目录MultiIndex多层索引1.创建方式1.1.第一种:多维数组1.2.第二种:MultiIndex1.3.创建案例:2.多层索引操作2.1.Series多层索引2.2.DataFrame多层索引2.3.交换索引2.4.索引排序2.5.索引堆叠2.6.取消堆叠2.7.设置索引2.8.重置索引MultiIndex多层索引MultiI...原创 2020-01-09 16:27:13 · 5173 阅读 · 0 评论 -
Pandas数据处理---数据的读写、数据清洗、数据过滤、数据转换(映射、替换、字符串矢量级运算)、数据合并详细总结
该文从Pandas的数据的读写、数据清洗、数据过滤、数据转换(映射、替换、字符串矢量级运算)、数据合并等都进行了详细的总结和案例说明,是pandas的核心重点知识。目录一、数据读写处理文档1.1、pandas数据的加载+写入1.2、pandas写出数据到内存二、数据清洗2.1、缺失值处理发现缺失值丢弃缺失值填充缺失值2.2、重复值处理发现重复值删除重...原创 2020-01-05 12:24:04 · 5399 阅读 · 0 评论 -
pandas日期字段处理--pandas日期和字符串之间的相互转换,从日期字段中提取年月日、时分秒、周数、季度等
1、pandas导入数据(以导入csv文件为例)。2、将str类型/object类型转换为datetime类型,强制转换,跳过错误。3、将str类型/object类型转换为datetime类型,提取年月日时分秒。4、利用字符串截取原理,提取年月日时分秒。5、其他时间处理方法。原创 2020-01-06 23:58:02 · 31068 阅读 · 2 评论 -
pandas读取外部数据---(5)python(pandas)连接操作Oracle数据库
目录1、前言2、windows系统python(pycharm)安装cx_Oracle2.1、常见错误需要一个64位的的oci.dll3、Pandas读写操作Oracle数据库3.1、Pandas连接Oracle并使用sql语句查询数据3.2、使用Pandas连接Oracle并插入数据1、前言pandas不仅限于读取本地的离线文件,也可以在线读取数据库的数据...原创 2020-01-02 12:30:35 · 3513 阅读 · 0 评论 -
pandas读取外部数据---(4)使用Pandas读写操作txt文件
目录1、准备.txt的数据文件2、pandas.read_csv()语法:3、使用Pandas读取用英文逗号“,”分隔的.txt文件,sep=','可以省略4、使用Pandas读取其他分割符的.txt文件,sep='分隔符'写清楚5、使用Pandas读取.txt文件指定的行和列6、使用Pandas写入.txt文件1、准备.txt的数据文件其实pandas读写.t...原创 2019-12-31 20:50:37 · 13132 阅读 · 0 评论 -
pandas读取外部数据---(3)使用Pandas读写操作excel
1、准备工作,2、准备好excel数据表格,3、使用Pandas读取excel数据,4、Pandas读取指定(限定)行的excel数据,5、Pandas读取指定(限定)列的excel数据,6、Pandas读取同时指定行和列的excel数据,7、pandas处理Excel数据成为字典,8、pandas数据写入Excel文件,...原创 2019-12-30 23:39:49 · 6199 阅读 · 4 评论 -
pandas读取外部数据---(2)使用Pandas连接mysql、 读取及存储(写入)mysql数据
1、使用pandas连接mysql。2、使用Pandas连接mysql查询读取mysql数据。3、使用Pandas连接mysql 并插入数据。原创 2019-12-30 19:46:19 · 1210 阅读 · 0 评论 -
pandas读取外部数据---(1)使用pandas读取和写入csv文件
pandas.read_csv()语法及综合案例:1、使用pandas读取csv文件的全部数据:pd.read_csv("filepath",[encoding='编码'])2、使用pandas读取csv文件的指定列方法:usecols=[0,1,2,...]3、使用pandas读取csv文件的指定行方法:[skiprows=n],nrows=m4、使用pandas写入CSV文件df.to_csv(path_or_buf,[sep=’,’, na_rep=”, ....])原创 2019-12-30 17:52:03 · 7056 阅读 · 0 评论 -
Pandas的DataFrame基本使用详解
1、DataFrame类型。2、DataFrame创建方式。3、DataFrame相关属性。4、DataFrame相关操作。4.1.列操作。4.2.行操作。4.3.行列混合操作综合应用(重点)。4.4.DataFrame结构。4.5.DataFrame运算(重点)。4.6.DataFrame排序(重点)。4.7.DataFrame索引对象Index。4.8.DataFrame统计相关方法(重点)。4.9.unique 和value_counts。原创 2020-01-04 19:04:04 · 2630 阅读 · 0 评论 -
Pandas的Series基础知识总结
1、使用前导入相关模块。2、创建Series。3、Series相关属性及前/后N个数据获取。4、Series索引。5、Series切片。6、Series的CRUD。7、Series相关运算。原创 2020-01-04 11:08:01 · 1719 阅读 · 0 评论 -
Pandas的Series类型的介绍及常见的Series创建、索引、切片、修改的使用方法
2、Series的创建方式。# 使用列表,创建Series。# 自己指定index,和数据类型,创建Series。#通过字典创建Series(注意:字典中的键就是索引)。3、Series索引和值。3.1、通过索引获取单个元素的值。3.2、通过切片或索引获取多个元素的值。4.1、修改Series的values类型:Seriesname.astype(dtype)。4.2、修改Series的元素的值。原创 2019-12-30 15:53:24 · 3902 阅读 · 0 评论 -
Pandas介绍、安装及使用
目录1、Pandas介绍。2、Pandas数据类型(结构)。3、Pandas做数据分析的优点。4、Pandas的安装及引用。1、Pandas介绍。Pandas库基于Numpy库,提供了很多用于数据操作与分析的功能。 Numpy的特长并不是在于数据处理,而是在它能非常方便地实现科学计算 科学计算方面Numpy是优势,但在数据处理方面DataFrame就更胜一筹...原创 2019-12-29 21:20:18 · 3553 阅读 · 0 评论 -
Numpy介绍、安装、使用(包含numpy教程详解)
一、Numpy介绍Numpy官网:https://numpy.org/ 。NumPy(Numerical Python的简称),是科学计算基础的一个库,它提供了一个高性能的多维数组对象ndarray,以及大量的库函数和操作,可以帮助程序员轻松地进行数值计算,广泛应用于机器学习模型、图像处理和计算机图形学、数学任务等领域。提供了大量关于科学计算的相关功能,例如,线性变换,数据统计,随机数生成等...原创 2019-12-26 12:29:12 · 2090 阅读 · 0 评论 -
python正则表达式详细版
1、re.match()函数和re.search()函数实现字符串的正则匹配。2、re.sub()函数,用 检索和替换。3、re.compile()函数。4、re.compile()供 match() 和 search() 这两个函数的使用。5、findall()使用。6、re.finditer()使用。7、re.split()使用。8、'(?P...)'分组匹配。附件1、flags匹配模式规则表。附件2、pattern正则表达式匹配模式规则表。原创 2020-01-16 17:29:35 · 3892 阅读 · 0 评论 -
python的文件(file)操作
一、python(编程语言)中操作的文件类型1.文本文件:文本式文件,如.txt、.bat、csv2.二进制文件:MP3、excel、doc、...二、python的文件操作# (一)获取文件对象。# 函数:open(文件路径,操作文件的模式)# 返回值:得到一个文件对象# 文件路径:绝对路径和相对路径# 操...原创 2019-10-15 20:50:17 · 442 阅读 · 0 评论 -
python模块和包,常用模块math、random、random.sample(li,n)#不放回抽取n个随机样本
一、模块模块是一个包含所有你定义的函数和变量的文件,其后缀名是.py。模块可以被别的程序引入,以使用该模块中的函数等功能。这也是使用 python 标准库的方法。从物理的角度来说,一个模块就是一个.py文件,从逻辑的角度来说,就是模块的命名空间。模块的好处:(1)在同一个模块.py文件中一个名字不能同时出现,为了解决名字冲突的问题,所以建立不同的文件。(2)有利于项目按照功能分块开展。(3...原创 2019-10-15 16:41:13 · 1965 阅读 · 1 评论 -
python常用高阶函数,map()、functools.reduce()、filter()、sorted()
#python高阶函数#定高阶函数:实参是一个函数名,函数的返回值也是一个函数#函数本身也可以赋值给变量,变量也可以指向函数#传递的参数包括函数名def fun(x,y,f): return f(x),f(y)print(fun(-10,10,abs))#内置高阶函数map(func,iterator)函数接收两个参数,一个是函数,一个是迭代器(列表、元组、字典、集合、...原创 2019-10-14 21:37:36 · 521 阅读 · 0 评论 -
python面向对象编程思维,面向对象概念,类对象,类的方法,继承,方法重写 笔记
一、面向对象概念面向对象(Object Oriented,OO)是软件开发方法。对象是类的实例。面向(通过)类(定义)的(数据结构)实例。1.对象:对象是人们要进行研究的任何事物,从最简单的整数到复杂的飞机等均可看作对象,它不仅能表示具体的事物,还能表示抽象的规则、计划或事件。也称为通过类定义的数据结构实例。对象包括两个数据成员(类变量和实例变量)和方法。对象实现了数据(变量形态)和操作(...原创 2019-10-15 11:33:42 · 227 阅读 · 0 评论