2021年03月_Python 集中营

12月 11月 10月 09月 08月 06月 04月 03月 02月

原创认识爬虫：如何使用 requests 模块模拟浏览器请求爬取网页信息？

requests 模块是对 urllib 的封装，它是一种伪装成浏览器对网页服务器发起请求从而获得响应的爬虫方式。不同于前面说到的下载整个网页的形式，requests 模块可以添加请求头、参数信息对具体的网页接口发起请求，是一种局部形式的爬虫技术。requests 模块通过向服务器发送 http 请求获取数据，同时支持 get、post 的协议请求方法。在爬虫过程中，可以通过查询参数、请求头等信息的控制获得我们需要的响应的信息，同时 post 方法更是支持上传等方式获取等精准的爬虫数据。1、GET 方法

2021-03-31 15:25:52 1747 1

原创认识爬虫：beautifulsoup4 库如何使用三种方式提取 html 网页元素？

通过前面网页下载器得到一个网页源代码的很长的字符串，接下来则是要通过网页解析器对网页源代码中的信息进行提取，beautifulsoup4 库作为第三方插件同时支持 html、xml 的解析。通过将网页下载器下载的 html 字符串解析成为一个 BeautifulSoup 的对象，最后从这个对象中根据网页源代码的 html 标签、属性等因素提取我们需要的内容。1、准备网页下载器获取的源代码 1# 首先获取到网页下载器已经下载到的网页源代码 2# 这里直接取官方的案例 3html_doc = """

2021-03-31 09:33:48 1283 2

原创认识爬虫：使用 urllib2 库与 cookielib 库读取网页内容的三种方法

在简单爬虫中，第二个步骤就是使用网页下载器对网页进行下载以及获取下载请求的状态等。urllib2 库主要用于读取网页内容以及请求状态、cookielib 库主要为了增加网页下载器处理 cookie 的能力。1、导入第三方扩展库1# 导入 urllib2 库、用于网页下载2import urllib23# 导入 cookielib 库、处理 cookie 信息4import cookielib2、urlopen() 函数实现网页下载 1def use_urlopen(url): 2 i

2021-03-29 21:18:38 207

原创认识爬虫：怎样管理爬虫过程中已使用和未使用的 URL 地址？

URL 管理器是爬虫过程中重要的一环，使用它来管理在爬虫过程中众多的 URL 地址以免造成重复获取爬虫地址、爬虫陷入死循环等情况的发生。比如，我们要根据 baidu.com 来进行爬虫，如果在爬虫的子页面中也包含 baidu.com 不做处理的话就会陷入循环，所以说，在爬虫过程中对 URL 进行很好的维护是非常重要的。1、创建 url 管理对象及属性定义 1# 导入队列 2from collections import deque 3 4# 定义 url 管理器类 5class url_que

2021-03-28 09:29:43 396

原创认识爬虫：为什么要使用爬虫，一个简单爬虫的实现过程是什么？

随着整个互联网的不断发展和数据的累积，传统的搜索引擎已经不能满足对数据的需求。而网络爬虫在网络数据领域是一项很重要的技术，通过对网络数据的提取、筛选、分析使数据变得更加有价值。网络爬虫又称之为网络蜘蛛，爬虫就像一只蜘蛛一样在这个万维网上寻找自己的猎物。这只蜘蛛按照我们实现预定义好的规则，为我们获取万维网上的信息。从严格的意义上来说，一个简单的爬虫应用主要包含五个部分：调度器、URL 管理器、网页下载器、网页解析器。调度器：负责调度其他各个部分之间的工作。URL 管理器：通过一定的方式来防止重复、循

2021-03-27 10:25:33 473

原创大话 Python：python 答疑解惑 -- 是选择自学还是接受培训，听听他怎么说？

如果要学习 python 是选择自学还是去培训机构学习，很多刚刚面向社会的朋友都在纠结！不论做什么事、做出什么选择，首先把自己的眼光从别人身上移开，看看自己的状态、处境、现状是什么样的，仔细分析自然能消除迷茫找到自己的天地。哈哈，这个格局开的有点大，我们还是说说到底是自学还是培训吧！1、自学有什么优势与劣势？仔细想想，自学的好处还真不少。比如：可以自由的安排学习时间，如果你凑巧还有点自律精神是相当好的；自己安排学习内容自由支配、对自身的问题进行针对性学习可以大大的提高学习的效率；自己找一个安静的地方去学

2021-03-26 10:33:05 267 2

原创大话 Python：python 进阶提升 -- 多线程、高并发，离我们真的那么远吗？

1、说点儿题外话记得刚毕业那会儿，老是喜欢研究各种其他的新的技术性的东西，可能今天还在 hadoop 的分布式明天又去准备了解 python 的机器学习。慢慢的了解过很多东西，除了 java 之外，对 scala、C#、python、shell 等都有粗浅的了解，但是真正让我写一个东西拿到生产环境或是作为一个正式的项目说实话有点难。其实，到了编程3年以后我觉得对技术的深度要比宽度更重要一些，所以，我现在主要写一些 java、python 相关的东西，其他的语言不准备碰了。2、每天都在接触多线程现在，很

2021-03-25 09:32:18 257 1

原创大话 Python：python 进阶提升 -- 如何理解垃圾回收机制及应用

在一般的高级编程语言中都提供了相应的垃圾回收机制，目的就是为了在合适的时候释放程序运行占用的内存资源，不用再像 C 语言中那样自己管理内存。合理的利用垃圾回收机制不仅能避免出现内存溢出等不必要的错误发生，也能适当的提升程序运行的性能。1、Python 的内存管理机制有什么？Python 中的内存管理机制主要有三种，一是引用计数、二是垃圾回收、三是内存池。这三种机制相辅相成完成了程序在运行过程中的内存管理。引用计数：简单来说，引用计数就是一种内存管理的方式、并且具有较高的效率，所谓引用计数就是对象在被引

2021-03-24 09:07:25 187 1

原创大话 Python：python 基础巩固 -- 异常处理

一般情况下，程序无法处理正常的逻辑执行过程时会发生异常。为了处理程序在运行过程中的异常和错误，python 同样定义了很多的标准异常以及异常处理机制用来处理程序运行过程中出现的异常。在 python 语言中，处理异常的关键字主要有：try、except、else、finally 以及 raise 关键字。try 关键字：主要是检测异常，如果发生异常情况时将程序处理交给 except 关键字。except 关键字：获取异常并进行处理。else 关键字：在执行完 try 关键字域中的代码块时，如果

2021-03-23 10:12:05 683 4

原创大话 Python：python 基础巩固 -- 文件 I/O 与 File 对象的应用

python 在操作文件 I/O 的时候，有两个非常重要的方面：一个是 open() 函数的掌握、另一个是 File 文件对象的相关函数的掌握。相比其他面向对象语言的文件流的用法是比较简便的，并且提供很多的文件打开模式算是比较优秀了。1、全局函数 open()open() 函数的可选参数还是比较多的，一般在读取文件时只使用文件路径、文件打开模式就可以完成大多数的使用场景。使用 open() 函数打开文件后返回的就是一个 File 文件对象，然后使用 File 对象的内部函数实现对文件的操作，需要注意的是

2021-03-22 10:43:30 169 1

原创大话 Python：python word 应用 -- 辞职函

使用 python-docx 库写一个 Word 文档的辞职函，关于 python-docx 的基础应用参考前面两节内容，主要包括标题、引导语、正文、署名部分辞职函内容，今天的内容有点干欢迎提问、交流。 1# -*- coding: UTF-8 -*- 2 3from docx import Document 4 5 6def run(): 7 # 创建 word 对象 8 doc_ = Document() 9 # 字体样式10 from docx.oxml.n

2021-03-21 14:02:29 190 2

原创大话 Python：python word 应用 -- 设置 word 文档的内容格式

接着前一节内容《大话 Python：python word 应用 – 做一个最简单的 word 文档》，这一节说一下对 word 文档内容的常规操作。如何设置字体大小、字体样式、字体颜色、段落格式等针对文档内容的操作。1、导入相关依赖1# 字体设置函数2from docx.oxml.ns import qn3# word 文档对象4from docx import Document5# 字体颜色对象6from docx.shared import RGBColor7# 缩进字符设置8fro

2021-03-20 08:37:26 986 5

原创大话 Python：python word 应用 -- 做一个最简单的 word 文档

和 python 操作 excel 的能力一样，python 也具有能够操作 word 文档的依赖库。docx 的库只能操作 .docx 的文件，有一个比较好的优点这个库它是可以跨平台使用的。先来从这个库的安装说起，然后做一个简单的 hello world 内容的文档。1、安装 python-docx 库由于各个镜像站上都没有拿到 python-2.7 的 python-docx 库，只好硬着头皮等着它慢慢的下载完，不过 3.x 的版本应该各个镜像站都更新的比较好。1pip install pyth

2021-03-19 15:43:38 298

原创大话 Python：python 基础巩固 -- 与众不同的循环语句 for 与 while

为什么会把再熟悉不过的循环语句拿出来说一下呢，我发现在 python 里面的循环语句的关键词竟然能配合 else 一起使用，作为一个 Java 程序猿，原谅我孤陋寡闻。但是，漂亮的编程不都是对每个基础点理解的淋漓尽致吗？同样的功能有的人一直用 if…else…for 实现，而有的人却选择其他更加完美的方法实现，这就是差距。闲话少扯，进入今天的正题！1、for 循环python 中的 for 循环可以遍历任何的序列，比如常见的 list 列表、str 字符串等等。最特别的地方就是搭配 else 关键词的使

2021-03-18 21:26:39 155 1

原创大话 Python：python 基础巩固 -- 内置排序函数 sort 与 sorted

在 python 语言的内置对象中存在两个比较常用的排序函数：sort、sorted，另外常用的科学计算库 numpy 中的也提供了很多的排序支持。本小节主要说明内置排序方法 sort、sorted 的使用场景，后续篇幅中会针对 numpy 的使用进行说明。1、sort() 函数的简单使用特点：sort() 函数只有在 list 列表的对象中才可以使用，直接该表列表本身的顺序不会生成新的列表对象，字符串按照 ASCII 码进行排序、中文按照 unicode 编码进行从小到大的排序。默认不使用可选参数

2021-03-17 20:34:55 527 1

原创大话 Python：python 基础巩固 -- 位运算的奥妙

位运算是直接对内存中的二进制位进行操作，因此，它的运算效率相比一般的数学运算是比较高的。一般情况下，位运算主要分为六种：与运算、或运算、异或运算、取反运算、左移运算、右移运算。在开始之前，先介绍一下将十进制转换成二进制的方法。为节约篇幅说明后面的内容，此处我们直接使用 python 内置的 bin() 函数将整数转换为二进制。注意：若操作系统为32位，则二进制根据位数补全32位即可，以下用低位说明问题，如 10 的二进制计算出为 1010，则补全32位应为 00000000000000000000000

2021-03-16 11:04:16 215 4

原创大话 Python：python 基础巩固 -- 盘点 python 的数据结构

总体来说，在 python 语言中数据类型可以按照数据类型是否是可变的分为两大类，一种是可变数据类型、另一种则是不可变的数据类型。数据类型是否可变指的是能否对数据对象进行直接修改而不是指是否能对对象重新赋值。在 python 的数据结构中，经常使用的有字符串、列表、元组、字典、集合，元组一般是不可以修改其中的数据元素的，而其中列表的使用频率相对较高，所以列表也是这里要讨论的重点，将其放到最后来说。1、数据结构 --> 元组 1if __name__ == '__main__': 2 #

2021-03-15 22:39:34 203

原创大话 Python：python 基础巩固 -- python 对象与 json 对象之间的恩怨情仇

众所周知，json 对象无疑是后端编程、前端数据渲染最常用的一种轻量级的数据交换格式，它更是一种独立于编程语言的文本格式。总体上来说，在 python 编程中对于 json 对象的操作主要有两种，一种是将 python 对象转换成 json 的数据格式、另一种则是将 json 对象转换成 python 对象的格式。在 python 的内置库中默认提供了叫 json 的库用来操作 json 数据格式，还有另外一种形式通过第三方提供的 json 相关的库来操作数据对象。1、使用内置的 json 库完成对数据

2021-03-14 13:59:41 156 1

原创大话 Python：python 基础巩固 -- 灵活运用正则表达式完成数据提取与筛选

在一般的后端语言中都有正则表达式的使用，个人觉得正则表达式的难点就是有比较多的元字符比较难记，所以建议大家收藏。而在 python 的编程中，特别是爬虫之后的数据筛选、清洗等操作都需要对字符串进行大量的操作，使用正则表达式无疑是最简便的一种字符串处理操作。1、正则表达式的元字符及组装形式首先，正则表达式就是由一个一个的元字符组合起来的一个字符串，然后以这个字符串作为格式去匹配任意的字符串最后生成新的数据文本。那么，先来看一下在 python 中像这样的元字符到底有哪些。 1.

2021-03-13 10:12:03 874 1

原创大话 Python：python 基础巩固 -- python 有多少种编码方式，如何检测编码方式并完成转码

1、ASCII 编码计算机最开始是由美国人发明使用的，当然 ASCII 编码也是由美国人发明的。所以它的产生主要是切合了美国的 English 语言，并且支持阿拉伯数字以及英文状态的标点符号。2、GB2312 编码由于 ASCII 编码只能支持英文的编码使用，我们的中文不能实现计算机信息交流，所以产生了 GB2312 编码用来完成信息交流，它是中华人民共和国国家标准简体中文字符集。3、Unicode 编码各个国家地区在定义了自己的编码规范之后，那么在多种编码语言的系统中就会出现乱码的情况。韩国有韩

2021-03-12 12:55:45 228

原创大话 Python：python 基础巩固 -- pip 配置国内镜像站

有很多小伙伴反映 python 的安装总是要到国外网站，每次安装 python 库都要等很长的时间，其实有很多优秀的企业或者是大学都会配备一些资源的镜像并且都是为大家开源的。镜像站就是在资源更新以后，将下载速度非常慢的资源下载到自己的服务器上供大家在后续的使用中方便下载，今天主要看一下 python 库的镜像站有哪些以及如何使用。1、python 库的国内镜像站https://pypi.tuna.tsinghua.edu.cn/simplehttp://mirrors.aliyun.com/p

2021-03-11 09:59:12 196 1

转载 Python3 * 和 ** 运算符

版权声明：本文为CSDN博主「极客点儿」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。原文链接：https://blog.csdn.net/yilovexing/article/details/80577510在 Python 中，* 和 ** 具有语法多义性，具体来说是有四类用法。算数运算*代表乘法**代表乘方>>> 2 * 510>>> 2 ** 532函数形参*args 和 **kwargs 主.

2021-03-09 16:53:29 351

原创盘点 HashMap 的实现原理及面试题

1、请你谈谈 HashMap 的工作原理如果被问到 HashMap 相关的问题，它的工作原理都会被作为面试的开场白，这个时候先装作若有所思的样子冷静一下。首先 HashMap 是基于 hashing 的原理，我们知道 HashMap 有两个常用的方法 put()、get()，将键值对传递给 put() 方法时，它调用键对象的 hashCode() 方法来计算 hashcode，然后找到 bucket 位置来储存值对象。当获取对象时，通过键对象的equals() 方法找到正确的键值对，然后返回值对象。一般

2021-03-09 11:55:46 506 3

原创程序员必须知道的数据结构：HashMap 与 LinkedHashMap

为什么要说 HashMap 与 LinkedHashMap？第一：这两种数据结构是 Java Coder 中经常使用的数据结构、第二：这两种结构是最合适的能说明链表与数组的结构关系。在开始之前首先必须清楚一个概念，什么是 hash 值？hash 值是指将一个二进制的值通过 hash 算法将其转换成一个固定长度的二进制的值。我们通常使用的 Map 结构是通过什么方式存储数据的？它是通过数组与链表结合的形式来进行数据存储的。在前面小节的说明中我们知道，线性表的查询速度是比较快的、链表的插入速度是比较快的。而

2021-03-06 20:27:55 467 4

原创程序员必须知道的数据结构：队列与栈

在数据结构中，队列与栈的产生主要是为了满足某些特殊的编程运算，数据结构最大的一个特点就是为算法提供基础，使用不用的数据结构甚至能直接影响算法的好坏，多数情况下，数据结构与算法是一种相辅相成的关系。栈：和我们上节说到的一样，栈也是一种线性的存储结构。但是它限制了只能在线性表的尾部进行数据插入和删除操作，根据一张图示来进行形象说明。栈的数据存放原则遵循先进后出的数据存放原则，因为它的数据出口只有一个，那就是栈顶，也就是上面所说的栈尾。如果一个栈里面没有数据元素的存放又被称之为空栈，这种数据结构比较常

2021-03-06 20:24:51 241 1

原创程序员必须知道的数据结构：线性表与链表

既然我们这一节要说的是线性表与链表的内容，那么肯定要对数据结构的概念有一个认识。首先，数据结构一般分为逻辑结构、物理结构，逻辑结构指的是数据对象元素之间的相互关系，物理结构一般指的是数据的存储结构。逻辑结构主要包括集合结构、线性结构、树形结构、图形结构，物理结构主要有链式存储和线性存储。在数据结构的分析过程中，逻辑结构和物理结构是一种相辅相成的关系。线性表的数据存储位置都是独立的、并且一个位置紧跟着下一个位置，在第 0 个位置上存储的数据是 a1、第一个位置上是 a2、以此类推，直到最后一个数据 an。

2021-03-06 20:21:38 226 3

原创终于讲清楚了：深入理解Java 应用程序中 final 关键字的各种使用场景

在 Java 语言众多的关键字中，final 关键字无疑是被提到最多的，也是在面试过程中经常被问到的知识点。今天，老王查找了很多材料，最后终于收集了关于 final 关键字比较全的知识点。首先，final 关键字可以修饰的对象有三个：一是修饰变量、二是修饰方法、三是修饰类，下面我们来看经过 final 关键字修饰的这三种对象会有着怎样的不同。1，final 关键字修饰变量在使用 final 关键字修饰变量时，又可以分为两种情况：一种是基本数据类型的变量、另一种是引用类型的变量。final 关键字在修饰基

2021-03-05 17:01:58 307 1

原创怎样在自己的 Web 中加入强大的日志系统系统？slf4j 的日志插件必须要知道！

对于程序猿来讲，一个应用程序的日志管理是极为重要的。因为，它可以帮助我们随时查看应用程序的运行状态、执行效果等信息，从而监控软件系统、或是根据日志信息解决一些重要的问题。但是在 Java 应用程序中又有着众多的日志框架或是工具组件，比如 Java 的 Jdk 自身提供的 logging、Apache 提供的 log4j、还有 logback 等日志框架。今天所提到的 slf4j，它并不是一个具体的日志解决方案，它的存在只是为了服务于各式各样的日志系统，用户可以根据自己的需求选择日志系统比如 log4j。s

2021-03-04 16:51:33 228 1

原创如果被问到 HTTP 协议，你真的能讲清楚吗？

前段时间，在和许久未见的老同学聊天时，突然被问到 http 协议到底是什么？脑海里面第一时间想起来的就是 request 请求、response 响应之类的词汇，但是这样讲他真的能知道是什么吗？我反问自己，于是找了相关的资料攻读一番。其实，大多数程序员经常都是在每天努力的搬砖，我相信，很少有人认真的研究过 http 协议到底是什么？用官方的话来形容 http 协议又被称之为超文本传输协议，是一种用于分布式、协作式和超媒体信息系统的应用层协议，它是网络互联的基础。我们通常知道 http 协议，说白了只是知

2021-03-03 09:52:16 184 4

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

课堂点名系统.zip+完整源码

批量PDF水印.zip+完整源码

自动关机小工具.zip

动态时钟.zip+完整源代码

春联生成器.zip+完整源代码

Excel数据合并拆分器.zip

Excel数据分组汇总器.zip

Excel数据处理器整合版.zip

数据文本转换器，可完成对文本文档（.txt）、CSV文档、Excel文档的格式转换！

PyQt自制的可最小化小闹钟，附完整源码！

PyQt5开发的猜数字游戏，附完整源码！

Python开发的二维码生成器，已打包成exe桌面应用！

使用Python语言开发的C盘垃圾清理工具！

空空如也