![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python库
文章平均质量分 93
weixin_41940785
这个作者很懒,什么都没留下…
展开
-
功能强大的python包(十一):threading (多线程)
1.threading简介threading库是python的线程模型,利用threading库我们可以轻松实现多线程任务。2.进程与线程简介通过上图,我们可以直观的总结出进程、线程及其之间的关系与特点:进程是资源分配的最小单元,一个程序至少包含一个进程线程是程序执行的最小单元,一个进程至少包含一个线程每个进程都有自己独占的地址空间、内存、数据栈等;由于进程间的资源独立,所以进程间通信(IPC)是多进程的关键问题同一进程下的所有线程都共享该进程的独占资源,由于线程间的资源共享,所有数据同步原创 2021-11-03 09:22:14 · 2747 阅读 · 0 评论 -
功能强大的python包(十):selenium(浏览器机器人)
1.selenium简介Selenium是一个用程序操作浏览器的工具,利用它可以实现浏览器自动化、自动化测试、辅助爬虫等。我们使用浏览器时的所有操作都是基于鼠标和键盘进行交互的,selenium就是用程序的形式来代替我们的键鼠操作,实现自动化的操作。利用scrapy编写爬虫时,我们可以使用selenium来驱动浏览器加载页面,获取JavaScrapt渲染后的页面HTML代码,而无须考虑网页的加载形式、接口是否加密等一系列复杂的问题。2.selenium总览浏览器驱动通过指定操作的浏览器驱动,我原创 2021-08-11 09:39:57 · 458 阅读 · 0 评论 -
功能强大的python包(九):matplotlib(数据可视化)
1.Matplotlib简介Matplotlib是一个python绘图库,它以硬拷贝格式和跨平台的交互式环境生成出版物质量的图形。利用它可以以非常少的代码量方便地绘制出我们常用的一些图表。Matplotlib可以绘制折线图、散点图、柱状图等几十种图表,满足科学研究的需要,是数据分析、可视化的不二之选。2.Matplotlib总览Matplotlib的体量远不止上图所述,它能够绘制多达几十种的图表,但我们最常用的图表就是上述七种:折线图、散点图、条形图、直方图、饼图、三维图、箱体图;而且绝大多数人原创 2021-08-05 16:27:03 · 326 阅读 · 0 评论 -
功能强大的python包(八):Scrapy (网络爬虫)
1.Scrapy简介Scrapy是用python开发的一个应用程序框架,用于对网站进行爬取和提取结构化数据,这些结构化的数据可用于数据挖掘、信息处理或历史存档等。Scrapy一站式解决了Requests库和BeautifulSoup库两个库所做的工作;并且完善了爬虫调度流程,简化了数据爬取任务。2.网络爬虫爬虫基本流程:发起请求:通过HTTP库向目标站点发起请求,等待目标站点服务器响应。获取响应:若服务器正常响应,会返回一个Response,该Response即为获取得页面内容,Resp原创 2021-08-02 11:25:10 · 326 阅读 · 0 评论 -
功能强大的python包(八):BeautifulSoup(HTML解析)
1.BeautifulSoup简介BeautifulSoup是一个可以从HTML或XML文件中提取数据的python库;它能够通过转换器实现惯用的文档导航、查找、修改文档的方式。BeautifulSoup是一个基于re开发的解析库,可以提供一些强大的解析功能;使用BeautifulSoup能够提高提取数据的效率与爬虫开发效率。2.网络爬虫爬虫基本流程:发起请求:通过HTTP库向目标站点发起请求,等待目标站点服务器响应。获取响应:若服务器正常响应,会返回一个Response,该Respon原创 2021-07-30 08:27:00 · 524 阅读 · 0 评论 -
功能强大的python包(六):Requests(网络爬虫)
1.Requests简介Requests是基于urllib,使用Apache2 Licensed许可证开发的HTTP库。其在python内置模块的基础上进行了高度封装,使得Requests能够轻松完成浏览器相关的任何操作。Requests能够模拟浏览器的请求,比起上一代的urllib库,Requests实现爬虫更加便捷迅速。2.爬虫原理爬虫基本流程:发起请求:通过HTTP库向目标站点发起请求,等待目标站点服务器响应。获取响应:若服务器正常响应,会返回一个Response,该Respons原创 2021-07-28 09:16:16 · 456 阅读 · 0 评论 -
功能强大的python包(五):sklearn(机器学习)
1. sklearn简介sklearn是基于python语言的机器学习工具包,是目前做机器学习项目当之无愧的第一工具。sklearn自带了大量的数据集,可供我们练习各种机器学习算法。sklearn集成了数据预处理、数据特征选择、数据特征降维、分类\回归\聚类模型、模型评估等非常全面算法。2.sklearn数据类型机器学习最终处理的数据都是数字,只不过这些数据可能以不同的形态被呈现出来,如矩阵、文字、图片、视频、音频等。3.sklearn总览文章目录数据集sklearn.datasets数据原创 2021-07-26 09:40:32 · 1857 阅读 · 2 评论 -
功能强大的python包(四):OpenCV
1. OpenCV简介OpenCV是一个基于BSD许可(开源)发行的跨平台计算机视觉和机器学习软件库,可以运行在Linux、Windows、Android和Mac OS操作系统上(未来期待在Harmony OS上运行).它轻量级而且高效——由一系列 C 函数和少量 C++ 类构成,同时提供了Python、Ruby、MATLAB等语言的接口,实现了图像处理和计算机视觉方面的很多通用算法。2. Opencv模块模块功能Core核心模块,包含最基础的操作Imgproc图像处原创 2021-07-17 17:05:03 · 450 阅读 · 7 评论 -
功能强大的python包(三):Seaborn
1. Seaborn简介Seaborn是一个基于matplotlib且数据结构与Pandas统一的统计图制作库。Seaborn库旨在以数据可视化为中心来挖掘并理解数据。Seaborn提供的面向数据集制图函数主要是对行列索引和数组的操作,包含对整个数据集进行内部的语义映射与统计整合。可以毫不夸张的说,你想象力能及的图表,Seaborn都能绘制!2. 样例数据本文所有的可视乎图表都是基于Seaborn自带的餐厅顾客消费数据集tips而绘制的。tips数据集前两条数据如下:Notota原创 2021-07-12 23:30:09 · 460 阅读 · 0 评论 -
功能强大的python包(二):Pandas
功能强大的python包(二):Pandas1. Pandas简介Pandas是一个强大的分析结构化数据的工具集;它的使用基础是Numpy(提供高性能的矩阵运算)。Pandas是一种结构化数据工具集,可以用于数据挖掘、数据分析、数据清洗、数据可视化等。2. 数据类型Pandas库最重要的两种数据结构是Series、DataFrame。Series:一种类似于一维数组的对象, 是由一组Numpy数据及该数据对应的数字序列构成;可以通过该数字序列访问Numpy数据。DadaFrame:一种表格型原创 2021-07-10 20:12:20 · 160 阅读 · 3 评论 -
功能强大的python包(一):Numpy
功能强大的python包(一):Numpy1. Numpy简介Numpy是python的一种开源的数值计算扩展;Numpy可用来存储和处理大型矩阵;Numpy支持大量的维度数组与矩阵运算。2. 数据类型Numpy最基本最常用的数据类型是ndarray(n维数组),其中的很多方法也是针对ndarray对象而开发的;其与python自带数据类型list(列表)基本无差别;因此对于list对象的操作都可以运用到ndarray对象上。3. Numpy总览数据生成生成ndarray对象的方法汇原创 2021-07-09 17:45:27 · 156 阅读 · 4 评论