![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
《利用Python进行数据分析》笔记+整理+案例
文章平均质量分 91
skywuuuu
这个作者很懒,什么都没留下…
展开
-
df.apply, df.duplicated和df各种drop再归纳
前言在近期的数据处理实战中,虽然自己已经算是系统入门过pandas,但用起来还是没有那么得心应手,指令df.applyDataFrame.apply(func, axis=0, raw=False, result_type=None, args=(), **kwds)功能对行或列使用函数介绍第一个参数func代表的是函数,可以理解为C/C++的函数指针。我们可以传入自己定义的函数来实现一些自己想要的功能(lambda函数和别的库的函数当然也可以)第二个参数axis代表行列,理解方式之前的博原创 2021-01-18 09:32:23 · 1530 阅读 · 1 评论 -
实战:运用pandas,正则表达式(re),xlrd,进行多个excel数据汇总,分类
实战:运用pandas,正则表达式(re),xlrd,进行多个excel数据汇总,分类前言实习中的第二次实战,相比于第一次处理数据,这一次我更清晰地划分了函数功能,使得开发过程比第一次更快速了(比上次快了半天),尽管还是花了一天半(捂脸)。第一次实战总结Input输入表格文件夹中的excel文件,格式如下: 蝇类监测记录表(笼诱法) 调查日期:2030 年 4 月 调查地点: YY 省(自治区、直辖市) XX原创 2021-01-04 16:32:51 · 2087 阅读 · 0 评论 -
使用爬虫(lxml)+requests收集厦门2016-2020每一天的历史天气信息
使用爬虫(lxml)+requests收集厦门2016-2020每一天的历史天气信息get_month_data函数作用:得到每个月的数据集合,并返回一个pd.DataFrame。其中使用了xpath的方式提取数据etree_html = etree.HTML(html.text)content = etree_html.xpath(Xpath) # content是一个list使用numpy对数据reshape将数据转换到DataFrame中get_month_html函数作用:原创 2020-12-25 17:57:11 · 154 阅读 · 0 评论 -
实战:从文件夹中庞大的excel(.xlsx)文件中提取并整合数据
从文件夹中庞大的excel(.xlsx)文件中提取并整合数据Input需要从文件夹树中提取有格式的单个数据格并汇总。例如:2017-2020x市蚊虫数据/2018/7月/abcds方法统计.xlsxOutput每年中每个月的数据例如:年月xx县统计结果yy县统计结果201713.54.5201725.53.5…………思路得到所有文件的绝对路径file_collection = []for dir, subDir, files原创 2020-12-25 11:20:14 · 1453 阅读 · 3 评论 -
4.3 字符串的操作
4.3 字符串的操作字符串对象方法一些内置方法splitPython split() 通过指定分隔符对字符串进行切片,如果参数 num 有指定值,则分隔 num+1 个子字符串,默认值为-1,代表切割全部。val = 'a,b, guido'val.split(',')['a', 'b', ' guido']stripPython strip() 方法用于移除字符串头尾指定的字符(默认为空格或换行符)或字符序列。注意:该方法只能删除开头或是结尾的字符,不能删除中间部分的字符。p原创 2020-11-10 15:57:19 · 649 阅读 · 3 评论 -
4.2 数据转换(全)
4.2数据转换import numpy as npimport pandas as pd移除重复数据data = pd.DataFrame({'k1': ['one','two']*3+['two'], 'k2': [1,1,2,3,3,4,4]})data k1 k2 0 one 1 1原创 2020-11-06 10:58:30 · 660 阅读 · 0 评论 -
4.1 pandas处理缺失数据实例
4. 数据清洗和准备: 如何处理缺失数据、重复数据、操作字符串import pandas as pdimport numpy as np4.1 处理缺失数据对于数值数据,pandas用浮点值**NaN(Not a Number)**表示,例如:string_data = pd.Series(['Sky','John',np.nan,'Linda'])string_data0 Sky1 John2 NaN3 Lindadtype: object原创 2020-11-03 19:21:26 · 215 阅读 · 0 评论 -
3.1 读写文本格式数据(常用+重要)
3. 数据加载、存储与文件格式读取文本文件加载数据库的数据web APIimport pandas as pdimport numpy as np3.1 读写文本格式数据各种将表格数据转换成DataFrame对象的函数,read_csv和read_table最常用!!!函数说明read_csv从文件、URL、文件型对象中加载带分隔符的数据。默认分隔符为逗号read_table从文件、URL、文件型对象中加载带分隔符的数据。默认分隔符为**’\t’**原创 2020-10-28 10:29:44 · 8066 阅读 · 0 评论 -
2.3 pandas:汇总和计算描述统计(统计上的方法)
2.3 汇总和计算描述统计import numpy as npimport pandas as pddf = pd.DataFrame([[1.4, np.nan], [7.1,-4.5], [np.nan, np.nan], [0.75,-1.3]], index=list('abcd'), columns=['one原创 2020-10-24 15:52:11 · 896 阅读 · 0 评论 -
2.2 pandas 基本功能
2.2 基本功能import numpy as npimport pandas as pdfrom pandas import Series, DataFrame2.2.1 重新索引obj = pd.Series([4.5, 7.2, -5.3, 3.6], index = ['d','b','a','c'])objd 4.5b 7.2a -5.3c 3.6dtype: float64reindex根据索引重新排序有缺失值补NaNobj2 =原创 2020-10-24 15:18:47 · 592 阅读 · 0 评论 -
2.1. pandas数据结构介绍
2.1 pandas数据结构介绍import pandas as pdfrom pandas import Series, DataFrameimport numpy as np2.1.1 Series(数据+数据标签(即索引))Series是⼀种类似于⼀维数组的对象(有点像dictionary),它由⼀组数据(各种NumPy数据类型)以及⼀组与之相关的**数据标签(即索引)**组成。obj = pd.Series([4, 7, -5, 3])obj0 41 72原创 2020-10-24 15:17:40 · 192 阅读 · 0 评论 -
《利用Python进行数据分析》笔记+整理+案例 NumPy(第一部分)
1. numpy(0)引入import numpy as npimport numpy as nparray = np.array([[1,2,3], [2,3,4]])print(array)print('number of dimention: ', array.ndim) #查看维度print('shape: ', array.shape) #查看形状print('size: ', array.size) ...原创 2020-10-19 15:50:49 · 3435 阅读 · 0 评论 -
《利用Python进行数据分析》笔记+整理+案例
《利用Python进行数据分析》笔记+整理+案例第一部分:数据结构,函数,文件1. Tupletup = 4, 5, 6tup(4, 5, 6)nested_tup = (4,5),(6,7)nested_tup((4, 5), (6, 7))(1) 将list转换成tupletuple([4,5,6])(4, 5, 6)(2) 将string转换成tupletup = tuple('string')tup('s', 't', 'r', 'i', 'n', '原创 2020-10-15 16:53:19 · 3159 阅读 · 0 评论 -
《利用Python进行数据分析》笔记+整理+案例 NumPy(第二部分)
《利用Python进行数据分析》笔记+整理+案例 NumPy(第二部分)(3)利用ndarray进行数据处理(a)例子points = np.arange(-5,5,0.01)xs, ys = np.meshgrid(points,points)z = np.sqrt(xs**2+ys**2)import matplotlib.pyplot as pltplt.title("Image of $\sqrt{x^2+y^2}$")plt.imshow(z,cmap=plt.cm.gr原创 2020-10-19 15:51:24 · 451 阅读 · 0 评论