python-玩转数据-python基础
文章平均质量分 64
人猿宇宙
大数据\项目管理
展开
-
Python-玩转数据-I/O操作小结
一、说明在大量数据的今天,存储的数据量的增长已经远远超过了随机存储内存(RAM)的能力,通常处理的数据不超过GB的大小,对Python以及其科学计算库,例如NumPy, pandas和PyTables来说是很合适的。这样规模的数据集合也可以在内存中进行分析(归因于目前比较快的CPU和GPU),但是即使是在内存中处理,也需要将数据从磁盘上读入,结果再写回磁盘,这都是需要I/O操作的。二、将对象写入磁盘三、读写文本文件四、SQL数据库五、读写NumPy数组...原创 2022-03-13 18:00:09 · 2458 阅读 · 0 评论 -
Python-玩转数据-时间处理专题
1.当前时间import datetime#取当前时间print(datetime.datetime.now())结果格式:2022, 3, 7, 19, 33, 49, 100000import timenow = time.strftime('%Y-%m-%d %H:%M:%S')print(now)结果格式:'2022-03-07 19:32:13'2. 获取年、月、日import datetime#获取年份print(datetime.datetime.now()原创 2022-03-07 21:58:34 · 124 阅读 · 0 评论 -
Python-玩转数据-Pandas练习
1、了解你的数据模拟测试数据导入数据处理库pandasimport pandas as pd利用pandas库读取csv文件赋值给容器chipochipo = pd.read_csv("工作簿1.csv",encoding='gbk')读取文件前3行数据,并打印出数据print(chipo.head(3))查看数据集中有多少个列并打印print(chipo.shape[1])查看数据集中有多少行并打印print(chipo.shape[0])x = np.array([[1原创 2022-02-28 19:13:22 · 2333 阅读 · 1 评论 -
Python-玩转数据-pprint与print区别
一、print 与 pprint 区别我们python编程时一般用print()将数据打印出来,但还有个打印模块是pprint()。print()和pprint()都是python的打印模块,功能基本一样,唯一的区别就是pprint()模块打印出来的数据结构更加完整,每行为一个数据结构,为分行打印,更加方便阅读打印输出结果。适合长数据打印。二、代码举例import pprintdata = ("字符", [1, 2, 3,'test', 4, 5,'列表'], "This is a string原创 2022-02-18 19:14:16 · 813 阅读 · 0 评论 -
Python-玩转数据-pycharm使用
Python-玩转数据-pycharm使用pycharm是进行python程序开发一个很不错的IDE。1、pycharm的下载安装上节已经介绍,略过。2、pycharm的设置第一次使用pycharm需要一些设置,这个根据个人需要调整。从file下的setting进入设置,如下图所示:然后我们进入到设置界面,首先我们可以设置界面的风格和工具栏字体大小,如示设置写代码时的字体风格,选择合适的字体和大小以及间隔,有利于编程。接下来我们需要指定我们的编码形式,这样有利于我们的代码编译书写毕原创 2022-01-24 23:07:33 · 651 阅读 · 0 评论 -
Python-玩转数据-Python CGI编程
Python-玩转数据-Python CGI编程(一)、前言:在做数据采集运用爬虫编程时,我们需要一定的网络知识,本篇介绍CGI编程,以为后续进行铺垫。(二)、概念介绍:CGI(Common Gateway Interface)通用网关接口,它是一段程序,运行在服务器上如:HTTP服务器,提供同客户端HTML页面的接口。网页浏览为了更好的了解CGI是如何工作的,我们可以从在网页上点击一个链接或URL的流程:1、使用你的浏览器访问URL并连接到HTTP web 服务器。2、Web服务器接收到原创 2022-01-23 17:51:27 · 286 阅读 · 0 评论 -
Python-玩转数据-移除列表中重复的元素
Python-玩转数据-移除列表中重复的元素Python 列表:列表是一种数据项构成的有限序列,即按照一定的线性顺序排列而成的数据项的集合,在这种数据结构上进行的基本操作包括对元素的的查找、插入和删除。实例list_1 = [1, 2, 1, 4, 6]print(list(set(list_1)))执行以上代码输出结果为:[1, 2, 4, 6]在以上实例中,我们首先将列表转换为集合,然后再次将其转换为列表。集合中不能有重复元素,因此 set() 会删除重复的元素。删除两个列表中重复原创 2022-01-23 16:39:54 · 863 阅读 · 0 评论 -
Python-玩转数据-pip
Python-玩转数据-pippip 是 Python 包管理工具,该工具提供了对 Python 包的查找、下载、安装、卸载的功能。软件包也可以在 https://pypi.org/ 中找到。目前最新的 Python 版本已经预装了 pip。注意:Python 2.7.9 + 或 Python 3.4+ 以上版本都自带 pip 工具。如果没有安装可以参考:Python pip 安装与使用。查看是否已经安装 pip 可以使用以下命令:pip --version下载安装包使用以下命令:pip原创 2022-01-23 16:36:14 · 589 阅读 · 0 评论 -
Python-玩转数据-urllib
Python-玩转数据-urllibPython urllib 库用于操作网页 URL,并对网页的内容进行抓取处理。urllib 包 包含以下几个模块:模块功能阐述urllib.request打开和读取 URLurllib.error包含 urllib.request 抛出的异常urllib.parse解析 URLurllib.robotparser解析 robots.txt 文件1、urllib.requesturllib.request 定义了原创 2022-01-23 14:11:54 · 180 阅读 · 0 评论 -
Python-玩转数据-MongoDB
Python-玩转数据-MongoDBMongoDB 是目前最流行的 NoSQL 数据库之一,使用的数据类型 BSON(类似 JSON)。1、PyMongoPython 要连接 MongoDB 需要 MongoDB 驱动,这里我们使用 PyMongo 驱动来连接。(1)、安装 pymongo:$ python3 -m pip3 install pymongo也可以指定安装的版本:$ python3 -m pip3 install pymongo==3.5.1(2)、更新 pymongo原创 2022-01-23 12:03:45 · 200 阅读 · 0 评论 -
Python-玩转数据-python内置函数
python3.6版本中的68个内置函数,按顺序逐个进行解析。为了方便记忆,将这些内置函数进行了如下分类。目录1、数学运算(7个)2、类型转换(24个)3、序列操作(8个)4、对象操作(7个)5、反射操作(8个)6、变量操作(2个)7、文件操作(1个)8、编译执行(4个)9、装饰器(3个)1、数学运算(7个)abs:求数值的绝对值>>> abs(-2)2divmod:返回两个数值的商和余数>>> divmod(5,2)(2, 1)>> di原创 2022-01-22 22:00:14 · 152 阅读 · 0 评论 -
Python-玩转数据-python日期和时间
Python-玩转数据-python日期和时间Python 提供了一个 time 和 calendar 模块可以用于格式化日期和时间。时间间隔是以秒为单位的浮点小数。每个时间戳都以自从 1970 年 1 月 1 日午夜(历元)经过了多长时间来表示。Python 的 time 模块下有很多函数可以转换常见日期格式。如函数 time.time() 用于获取当前时间戳, 如下实例:#!/usr/bin/python3import time # 引入time模块ticks = time.time原创 2022-01-22 17:57:25 · 307 阅读 · 0 评论 -
Python-玩转数据-JSON 数据解析
Python-玩转数据-JSON 数据解析Python3 中可以使用 json 模块来对 JSON 数据进行编解码,它包含了两个函数:json.dumps(): 对数据进行编码。json.loads(): 对数据进行解码。在 json 的编解码过程中,Python 的原始类型与 json 类型会相互转换,具体的转化对照如下:Python 编码为 JSON 类型转换对应表:PythonJSONdictobjectlisttuple arraystrstring原创 2022-01-22 16:51:43 · 133 阅读 · 0 评论 -
Python-玩转数据-XML 解析
Python-玩转数据-XML 解析常见的 XML 编程接口有 DOM 和 SAX,这两种接口处理 XML 文件的方式不同,当然使用场合也不同。一、Python 有三种方法解析 XML,SAX,DOM,以及 ElementTree:1.SAX (simple API for XML )Python 标准库包含 SAX 解析器,SAX 用事件驱动模型,通过在解析 XML 的过程中触发一个个的事件并调用用户定义的回调函数来处理 XML 文件。2.DOM(Document Object Model)将原创 2022-01-22 14:52:06 · 118 阅读 · 0 评论 -
Python-玩转数据-多线程
Python-玩转数据-多线程Python中使用线程有两种方式:函数或者用类来包装线程对象。函数式调用 _thread 模块中的start_new_thread()函数来产生新线程。语法如下:_thread.start_new_thread ( function, args[, kwargs] )参数说明:function - 线程函数。args - 传递给线程函数的参数,他必须是个tuple类型。kwargs - 可选参数。#!/usr/bin/python3import _thre原创 2022-01-22 13:23:55 · 208 阅读 · 0 评论 -
Python-玩转数据-SMTP发送邮件
Python-玩转数据-SMTP发送邮件1、SMTP协议SMTP(Simple Mail Transfer Protocol)即简单邮件传输协议,它是一组用于由源地址到目的地址传送邮件的规则,由它来控制信件的中转方式。2、smtplib库python的smtplib提供了一种很方便的途径发送电子邮件。它对smtp协议进行了简单的封装。Python创建 SMTP 对象语法如下:import smtplibsmtpObj = smtplib.SMTP( [host [, port [, loca原创 2022-01-21 20:56:26 · 541 阅读 · 0 评论 -
Python-玩转数据-python网络编程
Python-玩转数据-python网络编程低级别的网络服务支持基本的 Socket,它提供了标准的 BSD Sockets API,可以访问底层操作系统Socket接口的全部方法。高级别的网络服务模块 SocketServer, 它提供了服务器中心类,可以简化网络服务器的开发。什么是 Socket?Socket又称"套接字",应用程序通常通过"套接字"向网络发出请求或者应答网络请求,使主机间或者一台计算机上的进程间可以通讯。socket()函数Python 中,我们用 socket() 函数来原创 2022-01-21 18:17:02 · 91 阅读 · 0 评论 -
Python-玩转数据- MySQL 数据库连接 PyMySQL 驱动
Python-玩转数据- MySQL 数据库连接 PyMySQL 驱动PyMySQL 是在 Python3.x 版本中用于连接 MySQL 服务器的一个库,Python2 中则使用 mysqldb。1、PyMySQL 安装PyMySQL 下载地址:https://github.com/PyMySQL/PyMySQL。安装最新版的 PyMySQL$ pip3 install PyMySQL如果你的系统不支持 pip 命令,可以使用以下方式安装:1、使用 git 命令下载安装包安装(你也可以手动原创 2022-01-21 16:42:51 · 132 阅读 · 0 评论 -
Python-玩转数据- MySQL - mysql-connector 驱动
Python-玩转数据- MySQL - mysql-connector 驱动驱动安装mysql-connector 是 MySQL 官方提供的驱动器,我们可以使用 pip 命令来安装 mysql-connector:python -m pip install mysql-connector使用以下代码测试 mysql-connector 是否安装成功:import mysql.connector执行以上代码,如果没有产生错误,表明安装成功。创建数据库连接可以使用以下代码来连接数据库:原创 2022-01-21 14:06:20 · 921 阅读 · 0 评论 -
python-玩转数据-python正则表达式
python-玩转数据-python正则表达式正则表达式是一个特殊的字符序列,它能帮助你方便的检查一个字符串是否与某种模式匹配。re 模块使 Python 语言拥有全部的正则表达式功能。re.match()函数表达式说明re.match(pattern, string, flags=0)pattern 匹配的正则表达式,string要匹配的字符串,flags 标志位,用于控制正则表达式的匹配方式,如:是否区分大小写,多行匹配等等。参见:正则表达式修饰符 - 可选标志匹配成功re原创 2022-01-20 22:26:22 · 159 阅读 · 0 评论 -
python-玩转数据-python基础
python-玩转数据-python基础说明:Python 是一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言。1、Python3 环境搭建Python3 下载官网:https://www.python.org/Python英文文档下载地址:https://www.python.org/doc/安装教程:https://www.runoob.com/python3/python3-install.html2、集成开发环境(IDE:Integrated Development Env原创 2022-01-18 22:04:05 · 865 阅读 · 0 评论 -
python-玩转数据-Centos7安装python3
python-玩转数据-Centos7安装python3从EPEL仓库安装最新的EPEL 7仓库提供了Python3(python 3.4)的安装源,如果你使用CentOS7或更新的版本的系统你也可以按照下面的步骤很轻松的从EPEL仓库安装。安装最新版本的EPEL$ sudo yum install epel-release用yum安装python 3.4:$ sudo yum install python34注意:上面的安装方法并未安装pip和setuptools,如果你要安装这两个原创 2022-01-05 16:05:17 · 254 阅读 · 0 评论 -
python-pandas重采样与滑动窗口
python-pandas重采样与滑动窗口为提高数据的可读性,我们常常在数据分析时用到重采样与滑动窗口,让数据尽力接近于真实值。代码#时间重采样,降采样,升采样rng = pd.date_range('1/1/2011',periods=90,freq='D')ts = pd.Series(np.random.randn(len(rng)),index=rng)ts.resample('M').sum()ts.resample('3D').sum()day3Ts = ts.resample(原创 2021-12-13 18:58:03 · 2626 阅读 · 0 评论 -
python基础-pandas生成时间序列
python基础-pandas生成时间序列pandas中的date_range()函数用来生成一个日期序列,在需要构造一个日期序列的时候非常方便。代码import pandas as pdimport numpy as npimport datetime as dt#创建2016年7越1号开始,以天为单位,十天的时间序列,指定频率(D\M\H),及倍数,或写起止日rng = pd.date_range('2016/07/01',periods=10,freq ='3D')print(rng)原创 2021-12-13 18:44:24 · 4877 阅读 · 0 评论 -
python基础-seaborn的heatmap函数画热度图
python基础-seaborn的heatmap函数画热度图作为目前最常见的一种可视化手段,热图因其丰富的色彩变化和生动饱满的信息表达被广泛应用于各种大数据分析场景.代码#heatmap的应用import matplotlib.pyplot as pltimport numpy as npnp.random.seed(0)import seaborn as snssns.set()#热度图#生成随机矩阵数据uniform_data = np.random.rand(3,3)print原创 2021-12-13 12:36:58 · 2386 阅读 · 0 评论 -
python基础-seaborn的FacetGrid函数构造网格
python基础-seaborn的FacetGrid函数要在数据集的子集中分别可视化变量的分布或多个变量之间的关系时,该类非常有用。一个FacetGrid可以与多达三个维度可以得出:row,col,和hue。前两个与得到的轴阵列有明显的对应关系; 将色调变量视为沿深度轴的第三个维度,其中不同的级别用不同的颜色绘制。通过使用FacetGrid数据框初始化对象以及将形成网格的行,列或色调维度的变量名称来使用该类。这些变量应该是分类的或离散的,然后变量的每个级别的数据将用于沿该轴的小平面。例如,假设我们想原创 2021-12-12 12:13:32 · 1281 阅读 · 0 评论 -
python基础-seaborn画图工具
系python基础seabornSeaborn是基于matplotlib的图形可视化python包。它提供了一种高度交互式界面,便于用户能够做出各种有吸引力的统计图表。Seaborn是在matplotlib的基础上进行了更高级的API封装,从而使得作图更加容易,在大多数情况下使用seaborn能做出很具有吸引力的图,而使用matplotlib就能制作具有更多特色的图。应该把Seaborn视为matplotlib的补充,而不是替代物。同时它能高度兼容numpy与pandas数据结构以及scipy与stat原创 2021-12-10 13:31:34 · 370 阅读 · 0 评论 -
python基础-matplotlib画图工具
python基础-matplotlib画图工具Matplotlib 是一个 Python 的 2D绘图库,它以各种硬拷贝格式和跨平台的交互式环境生成出版质量级别的图形。matplotlib官网:https://www.matplotlib.org.cn/代码#读入数据,初步处理import pandas as pdimport numpy as npimport matplotlib.pyplot as pltfrom numpy import arangeunrate = pd.read原创 2021-12-09 18:57:58 · 288 阅读 · 0 评论 -
python基础-Pandas数据处理
python基础-Pandas数据处理pandas 是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型,提供了高效地操作大型数据集所需的工具。pandas提供了大量能使我们快速便捷地处理数据的函数和方法。你很快就会发现,它是使Python成为强大而高效的数据分析环境的重要因素之一。代码import numpy as np#数据读取和显示import pandas as pdfood_info = pd.read_csv ("foo原创 2021-12-07 18:51:11 · 846 阅读 · 0 评论 -
python基础-numpy科学计算
系python基础-numpy科学计算NumPy(Numerical Python) 是 Python 语言的一个扩展程序库,支持大量的维度数组与矩阵运算,此外也针对数组运算提供大量的数学函数库。NumPy 官网 http://www.numpy.org/NumPy 源代码:https://github.com/numpy/numpy代码import numpy#numpy读取文件import numpy as npworld_alclhol = numpy.genfromtxt("st原创 2021-12-06 21:20:00 · 115 阅读 · 0 评论 -
python基础-开发环境安装
python基础-开发环境安装python下载:https://www.python.org/1、进行python相应版本下载2、根据提示安装3、windows版本环境变量设置,系统环境变量path里看是否有python.exe的路径4、命令行输入python检测Anaconda(已经包含python)下载:https://www.anaconda.com/products/individual1、直接下载2、根据提示安装3、自动完成函数包和python.exe的配置4、如果还有特别需要原创 2021-12-02 15:56:23 · 1362 阅读 · 0 评论