在猴站学算法

随着时代的快速发展，人们追求更加简单便捷的方式。微信客服每天都要回复并发送各种消息，尤其是当商品出现优惠时，需要及时把消息发送到群里。为了追求更加便捷的方式，在此基于Python编写了一个实现微信定时自动发送指定群消息。这里有两个文件，一个是主程序main.py，一个文本文件（txt）。txt是用来放入指定群聊名称，设置定时时间，编辑发送的消息内容。运行程序后，程序会自动监测当前时间，当时间正好为所设定的时间。程序就会弹出微信，给指定群发送消息并@所有人。

本贴将学习一个抓取商品历史价格的案例。 目前，各大电商平台存在着同一商品价格不一的现象。商品历史价格爬虫可以获取同一商品在各个平台的历史价格，并通过历史价格预测出近期可能的降价空间。

用解析器解析出数据后，接下来就是存储数据了。数据的存储有多种多样，其中最简单的一种是将数据直接保存为文本文件，如TXT、JSON、CSV等。这里就介绍将数据直接保存为文本文件。

前面，我们已经介绍了Xpath库和Beautiful Soup库（支持css选择器）来提取页面信息。它们有各自的优缺点，那可不可以取长补短呢？当然可以，parsel库就是结合Xpath和css选择器两种方式来提取网页信息。同时，Python爬虫有一个最流行的Scrapy框架，parsel就是它的底层支持。了解了它，后面学习Scrapy选择器的用法就非常方便了！！！

在一台计算机中，我们可以同时打开多个软件，例如同时浏览网页、听音乐、打字等，这是再正常不过的事情。但仔细想想，为什么计算机可以同时运行这么多软件呢?这就涉及计算机中的两个名词：多进程和多线程。同样，在编写爬虫程序的时候，为了提高爬取效率，我们可能会同时运行多个爬虫任务，其中同样涉及多进程和多线程。一、多线程的概念说起多线程，就不得不先说什么是线程。说起线程，又不得不先说什么是进程。进程可以理解为一个可以独立运行的程序单位，例如打开一个浏览器，就开启了一个浏览器进程；

简单来说, Beautiful Soup 是 Python的一个 HTML 或XML 的解析库, 我们用它可以方便地从网页中提取数据， 其官方解释如下：Beautiful Soup 提供一些简单的、Python 式的函数来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据， 因为简单， 所以无须很多代码就可以写出一个完整的应用程序。Beautiful Soup 自动将输入文档转换为Unicode 编码, 将输出文档转换为 utf-8编码。

前面，已经介绍过了urllib库和requests库（），已经可以爬取大多数网站的数据。但对于某些网站依然无能为力 ，因为这些网站强制使用HTTP/2.0协议访问，而urllib库和requests库只支持HTTP/1.1协议。那碰上这种情况应该怎么办呢？只需要使用支持HTTP/2.0协议的请求库不就好了。目前，应用比较广泛的是hyper和httpx。但httpx用起来更方便而且也更强大，requests库的功能它几乎都支持。那么，这里就详细来介绍httpx库吧！！！

前面，我们已经可以用requests库来获取网页的源代码，得到HTML代码。但我们真正想要的数据是包含在HTML代码之中的。要怎样才能从HTML代码中获取想要的信息呢？正则表达式是一个万能的方法！！！

前面,我们了解了urllib库的基本用法（其中，确实又不方便的地方。例如处理网页验证和Cookie时，需要写Opener类和Handler类来处理。另外实现POST、PUT等请求时的写法也不太方便。为了更加方便地实现这些操作，产生了更为强大的库----requests。有了它，Cookie、登录验证、代理设置更加方便。（request库是爬虫请求网页最为常用的库！！！因为它更加方便！！！哇，今天又是深爱Python的一天！！！

在提取网页信息时，最基础的方法是使用正则表达式，但过程比较烦琐且容易出错。对于网页节点来说，可以定义id、class或其他属性，而且节点之间还有层次关系，在网页中可以通过XPath或CSS选择器来定位一个或多个节点。那么，在解析页面时，利用XPath或CSS选择器提取某个节点，然后调用相应方法获取该节点的正文内容或者属性，就可以提取我们想要的任意信息了。在Python中，如何实现上述操作呢？

学习爬虫，其基本的操作便是模拟浏览器向服务器发出请求，那么我们需要从哪个地方做起呢?请求需要我们自己构造吗?我们需要关心请求这个数据结构怎么实现吗?需要了解 HTTP、TCP、IP层的网络传输通信吗?需要知道服务器如何响应以及响应的原理吗?可能你无从下手，不过不用担心，Python的强大之处就是提供了功能齐全的类库来帮助我们实现这些需求。最基础的 HTTP 库有 urllib、requests、httpx等。（由于篇幅限制，本帖只讲解urllib库，Request和httpx后续会陆续更新）

摘要:介绍常见的反爬手段和反反爬思路，内容详细具体，明晰解释每一步，非常适合小白和初学者学习！！！

简述爬虫的基本原理,回答爬虫能爬取什么样的数据，介绍URL的构成、请求的具体过程和响应的方式，爬虫小白、初学者必读篇。

本帖将详细演示爬取笔趣阁中的一本小说，将其下载到本地。内容详实，代码详解。对爬虫感兴趣的小伙伴们和新手小白都可进入学习！学会之后，可以爬取自己感兴趣的小说内容！！！

爬取美女图片，详细解释每一个步骤，满足各种下载需求，给出所有源代码，小白也能看懂！！！

基于格言网，爬取想要的内容。只用输入想爬取的部分，即可下载。内容详实，代码有详细注释，小白也能看懂！！！