python爬朋友圈数据_第2天｜10天搞定Python网络爬虫，爬段子，发朋友圈

刚刚在朋友圈发了我在糗事百科上爬取的段子，获得了好几十个赞，嘎嘎，给你看一下："创作一定要保持大脑刺激，才能写出不同的灵魂之光。老婆很赞同，为了让我写出好贴，给我带回来了锥子，锤子，还有龙息辣椒"。

哈哈哈...，一点都不好笑。他们点赞，全是因为我说：点赞的朋友，可以获得我编写的爬虫代码。

2.1 爬虫代码

用pip/pip3 install requests 安装爬虫库，并在代码中import requests。

输出结果(html代码)

是的，你没看错，这就是第1个爬虫程序；是的，你没看错，返回的结果是html代码。不要因为代码简单，你就怀疑自己的人生，因为requests是python实现的最简单易用的HTTP库，常用在网络爬虫中，响应的属性值，也就几个而已。

2.2 定位节点

数据是返回了，可一大堆代码，那可不是咱们想要的。我们要的只是段子，而不是毛毛虫。好，用chrome定位到想要的节点中。按下键盘F12，右键段子内容(两个)，选择【检查】，定位到代码中，你会发现，段子是放在

2.3 过滤数据

既然知道段子是包含在

。在Python内置库中，就有re模块，可以完美地实现正则表达式的功能。

输出结果

2.4 正则表达式

正则表达式是一个特殊的字符序列，它能帮助你方便的检查一个字符串是否与某种模式匹配。Python中，内置的re模块拥有全部的正则表达式功能。

1. re.match函数

从字符串的起始位置匹配一个模式，如果匹配不成功的话，就返回none，否则返回位置匹配数。

输出结果

(0,2)

2. re.search方法

扫描整个字符串并返回第一个成功的匹配。

输出结果

(3,5)

3. 检索和替换

re模块提供了re.sub用于替换字符串中的匹配项。

输出结果

老陈说编程，真的得帅，跟猪八戒一个样。

4. findall

在字符串中找到正则表达式所匹配的所有子串，并返回一个列表，如果没有找到匹配的，则返回空列表。

输出结果

['555']

5. 可选标志

在1~4点中，在使用方法时，如re.findall(pattern, string, flags=0)，都会有一个flag参数，它的可选如下标志。

re.I ：大小写不敏感；

re.L：做本地化识别(locale-aware)匹配；

re.M：多行匹配，影响 ^ 和 $；

re.S：使 . 匹配包括换行在内的所有字符；

re.U：根据Unicode字符集解析字符。这个标志影响 \w, \W, \b, \B。

例子可见开头爬虫代码中用到的re.S 。

6. 表达式模式

模式字符串使用特殊的语法来表示一个正则表达式：字母和数字表示他们自身。一个正则表达式模式中的字母和数字匹配同样的字符串。常见符号如下：

^：匹配字符串的开头;

$：匹配字符串的末尾;

. ：匹配任意字符;

[...]：[ab] 匹配 'a'或'b';

\d：匹配一个数字字符。等价于 [0-9];

\D：匹配一个非数字字符;

\s：匹配任何空白字符，包括空格、制表符、换页符;

\S：匹配任何非空白字符。

.*： 表示任意匹配除换行符(\n、\r)之外的任何单个或多个字符。

输出结果(列表)

好了，有关Pyhon网络爬虫用表达式过滤数据的内容，老陈讲完了，如果觉得对你有所帮助，希望老铁能转发点赞，让更多的人看到这篇文章。你的转发和点赞，就是对老陈继续创作和分享最大的鼓励。一个当了10年技术总监的老家伙，分享多年的编程经验。想学编程的朋友，可关注今日头条：老陈说编程。我将分享Python，前端(小程序)、App和嵌入式方面的干货。

关注我，没错的。