python知识总结
文章平均质量分 58
张同学啦
学渣一枚
展开
-
DataFrame数据分析
目录基本统计分组分析分布分析交叉分析结构分析相关分析正文基本统计常用统计函数表函数说明count()非空元素计算min()最小值max()最大值idxmin()最小值的位置idxmax()最大值的位置quantile(0.1)10%分位数sum()求和mean()均值median()中位数mode()众数var()方差std()标准差mad()平均绝对偏差d原创 2021-06-23 16:00:33 · 577 阅读 · 0 评论 -
DataFrame数据处理
目录数据预处理数据查询数据修改数据排序数据合并正文数据预处理数据分析的第一步是提高数据质量。数据清洗要做的就是处理缺失数据以及清除无意义的信息。这是数据价值链中最关键的步骤。垃圾数据,即使是通过最好的分析,也将产生错误的结果,并误导业务本身。从现实世界中获取的数据往往是脏数据有重复有缺失有异常重复值处理>>>import pandas as pd>>>data=pd.DataFrame({'k1':['one']*3+['two']*原创 2021-06-07 21:56:29 · 1211 阅读 · 0 评论 -
Pandas数据结构
目录pandas的数据结构SeriesDataFrame正文Pandas的数据结构Pandas中引入了两种新的数据结构----Series、DataFrame和Panel。Series:一维数组,Series类型由一组数据及与之相关的数据索引组成。DataFrame:二维的表格型数据结构。可以将DataFrame理解为Series的容器。Panel:可以视为Excel的多表单SheetSeries用于存储一行或一列的数据,以及与之相关的索引的集合。Series([数据1原创 2021-06-07 15:24:12 · 303 阅读 · 0 评论 -
Python数据处理、数据分析、数据可视化扩展库
numpy:科学计算包,支持N维数组运算、处理大型矩阵、成熟的广播函数库、矢量运算。线性代数、傅里叶变换、随机数生成,并可与C++/Fortran语言无缝结合。pip install numpypandas(Python Data Analysis Library)是基于numpy的数据分析模块,提供了大量标准数据模型和高效操作大型数据集所需要的工具,可以说pandas 是使得Python能够高效且强大的数据分析环境的重要因素之一。pip install pandasmatplotlib模块依赖于.原创 2021-06-06 12:14:11 · 159 阅读 · 0 评论 -
网页数据的获取----数据的存储
目录文本文件Excel文件CSV文件正文文本文件Python程序一般通过内置的open()函数打开一个txt文本文件创建一个file对象,open()函数常用的参数有文件名、文件的打开方式和编码方式,语法如下:f=open(filename,mode,encoding)其中f表示打开文件对象;filename表示文件名;mode表示文件的访问模式,常见的访问模式有"r"、“w”、“a”,"r"表示只读模式,"w"表示写入模式,"a"表示追加模式;encoding表示文本文件的编码方式,原创 2021-06-04 23:51:18 · 869 阅读 · 4 评论 -
网页数据的获取----案例
目录文本数据获取表格数据获取正文文本数据获取【例】获取人民日报网页版2020年03月25日星期三01版文章《武汉以外地区解除离鄂通道管控》文本内容,网页网址:http://paper.people.com.cn/rmrb/html/2020-03/25/nw.D110000renmrb_20200325_8-01.htm【分析】查看网页源代码,文章标题由h3、h1、h2、h4标题标签组成,文章内容由p标签组成,嵌套在< DIV id=ozoom style=“zoom:100%;原创 2021-06-03 22:38:46 · 574 阅读 · 0 评论 -
网页数据的获取----相关的Python库
目录网页数据获取的相关库request库beautifulsoup4库正文网页数据获取的相关库Python语言提供了许多与URL和网页处理相关的库,使得Python非常适合网页链接和网页处理。常用的与URL和网页处理相关的库有requests、beautifulsoup4库。requests库能够获取网页的源代码,即网页的html文档。beautifulsoup4库,也称beautifulSoup库或bs4库,也是python语言获取网络数据常用的第三方库,是解析,遍历html文档标原创 2021-06-02 22:50:46 · 3691 阅读 · 0 评论 -
网页数据的获取----网页的基本结构
分析网页结构是获取网络数据的前提,网页一般用超文本标记语言(Hyper Text Markup Language,简称:HTML)创建。HTML是描述网页的一种语言,使用标记标签来描述网页,其扩展名为.htmlHTML标签HTML是用来描述网页的一种语言。HTML不是一种编程语言,而是一种标记语言;标记语言是一套标记标签(markup tag)HTML使用标记标签来描述网页HTML文档包含了HTML标签及文本内容HTML文档也叫做web页面实例解析<!DOCTYPE html.原创 2021-06-02 10:51:57 · 1282 阅读 · 0 评论 -
Python组合数据类型 之 字典类型
目录字典类型创建字典查找操作修改或添加字典元素删除字典元素遍历操作字典类型字典是包含若干"键:值"元素的无序可变序列。定义字典时,每个元素的键和值用冒号分隔,元素之间用逗号分隔,所有的元素放在一对大括号"{}"中。具体格式为:{<键1:值1>,<键2:值2>,…,<键n:值n>}字典中的"键"不允许重复,而"值"是可以重复的。创建字典使用=将一个字典赋值给一个变量>>>a_dict={'server':'db.div原创 2021-06-01 13:11:32 · 191 阅读 · 0 评论 -
Python组合数据类型 之 元组
元组类型元组是包含多个元素的类型,元素之间用逗号分割。例如:t1=123,456,"hello"元组可以是空的:t2=()元组包含一个元素时:t3=123,元组外侧可以使用括号,也可以不使用元组中元素可以是不同类型一个元组也可以作为另一个元组的元素,此时,作为元素的元组需要增加括号,从而避免歧义,如:t4=123,45,("hello","world")元组中各元素存在先后关系,可以通过索引访问元组中元素。>>>t4[0]123原创 2021-06-01 12:05:16 · 503 阅读 · 0 评论 -
Python组合数据类型 之 列表
目录列表类型列表操作列表相关方法列表相关方法实例嵌套列表列表类型列表(list)是有序的元素集合;列表的所有元素放在一对方括号[]中,相邻元素之间使用逗号分隔;同一个列表中元素的数据类型可以各不相同;[10,20,30,40][‘spam’,2.0,5,[10,20]][{3},{5:6},(1,2,3)]列表元素可以通过索引访问单个元素;使用"="直接将一个列表赋值给变量即可创建列表对象。列表操作针对列表有一些基本操作,这些操作与字符串操作类似列表操作原创 2021-06-01 11:45:44 · 639 阅读 · 0 评论 -
Python函数篇
目录定义函数无参函数有参函数函数的返回值位置参数和默认参数可变参数关键字参数正文定义函数函数定义的语法格式如下:def 函数名(参数列表): "函数文档字符串(即函数说明)" 函数体 [return 返回值列表](1) 函数定义以def保留字开头,后接函数名称和圆括号()。(2) 参数列表放在括号中,可以有零个、一个或多个参数。函数定义里的参数,我们称为形式参数,简称为形参。(3) 函数内容以冒号起始,函数体格式必须缩进。(4) 当需要返回值时,用return语原创 2021-06-01 08:11:57 · 170 阅读 · 0 评论 -
Python循环结构
for语句的结构形式为:for<循环变量> in <遍历结构>: <语句块>其中,遍历结构可以是字符串,列表,元组或range(函数)等for animal in ["dog","cat","mouse"]: print("{0} is an animal".format(animal))#运行结果:#dog is an animal#cat is an animal#mouse is an animalfor in和range结合使用,.原创 2021-05-31 18:26:27 · 516 阅读 · 0 评论 -
Python赋值语句,分支语句
赋值语句:使用等号给变量赋值f=1.8*float(val[0:-1])+32同步赋值语句:同时给多个变量赋值(先运算右侧N个表达式,然后同时将表达式结果赋给左侧)<变量1>,…,<变量N>=<表达式1>,…,<表达式N>x,y=y,x #x和y互换分支语句:控制程序运行,根据判断条件选择程序执行路径。基本过程如下:if<条件1成立>: <表达式组1>elif<条件2成立>: <表达式.原创 2021-05-31 15:22:15 · 269 阅读 · 0 评论 -
Python常用内置函数
函数功能简要说明abs(x)返回数字x的绝对值或复数x的模float(x)把整数或字符串x转换成浮点数并返回eval(s)计算并返回字符串s中表达式的值help(obj)返回对象obj的帮助信息range([start,]end[step])返回range对象,其中包含左闭右开区间[start,end)内以step为步长的整数round(x[,小数位数]对x进行四舍五入,若不指定小数位数,则返回整数input([提示])显示提示,接受键盘...原创 2021-05-31 14:56:25 · 109 阅读 · 0 评论 -
Python运算符与表达式
运算符功能说明+算术加法,列表、元组、字符串合并与连接,正号–算术减法,集合差集,相反数*算数乘法,序列重复/真除法//求整商,但如果操作数中有实数的话,结果为实数形式的整数%求余数,字符串格式化**冥计算<、<=、>、>=、==、!=(值)大小比较,集合的包含关系比较=、+=、*=赋值运算符,复合赋值运算符or逻辑或and逻辑与not逻辑非35/5 #=>...原创 2021-05-31 13:03:41 · 156 阅读 · 0 评论 -
Python中字符串类型的10+种操作
(1)索引:返回字符串中单个字符<字符串>[M],如val[-1]原创 2021-05-31 01:40:12 · 570 阅读 · 0 评论 -
Python的六个标准数据类型
Python的六个标准数据类型原创 2021-05-30 17:52:18 · 218 阅读 · 0 评论 -
Python中的变量命名规则
变量名必须以字母或下划线开头,但以下划线开头的变量在Python中有特殊含义;变量名中不能有空格以及标点符号(括号,引号等等);不能使用关键字作变量名;不建议使用系统内置的模块名,类型名或函数名以及已导入的模块名及其成员名作变量名,这将会改变其类型和含义;变量名对英文字母的大小写敏感,例如student和Student是不同的变量。注意在Python中,不需要事先声明变量名及其类型,直接赋值即可创建各种类型的对象变量,这一点适用于Python任意类型的对象。>>>x=.原创 2021-05-30 17:14:33 · 2257 阅读 · 0 评论 -
Python的两种注释(单行注释,多行注释)
以符号#开始,表示本行#之后的内容为注释。包含在一对三引号’’’…’’’或"""…"""之间且不属于任何语句的内容将被解释器认为是注释。注释:用于提高代码可读性的辅助性文字,不被执行如果对你有帮助,给个免费的赞支持一下呗!...原创 2021-05-30 16:20:46 · 2610 阅读 · 0 评论 -
程序框架---缩进(Python)
类定义,函数定义,选择结构,循环结构,with块,行尾的冒号表示缩进的开始。python程序是依靠代码块的缩进来体现代码之间的逻辑关系的,缩进结束就表示一个代码块结束了。同一级别代码块的缩进量必须相同。一般而言,以4个空格或一个TAB为基本缩进单位。缩进作用:用以在Python中标明代码的层次关系缩进是Python语言中表明程序框架的唯一手段如果对你有帮助,给个免费的赞支持一下呗!...原创 2021-05-30 16:05:10 · 1250 阅读 · 0 评论 -
Python安装与环境
(一)Python安装:到Python主页下载并安装Python基本开发和运行环境,网址:www.python.org/downloads/根据操作系统不同选择不同版本(32位,64位)下载相应的Python 3.X系列版本程序选中Add Python 3.X to PATH默认编程环境:IDLE其他常用开发环境:Eclipse+PyDevpyCharmwingIDEEricPythonWinAnaconda3(内含Jupyter和Spyder):https://www.ana原创 2021-05-30 14:36:48 · 510 阅读 · 0 评论