Python 爬取嗅事百科段子

教程https://edu.aliyun.com/course/1994?spm=5176.13944111.1409070.5.416828fchtN5cX

1. 准备

浏览器访问嗅事百科,确认地址和段子的 html 内容

# 地址:翻页i
# https://www.qiushibaike.com/text/page/1/

确定提取 正则表达式:

pat = '<div class="content">.*?<span>(.*?)</span>.*?</div>'

# 段子内容 --> 确定正则表达式:pat = '<div class="content">.*?<span>(.*?)</span>.*?</div>'

 <div class="content">
 <span>


 参加哥们老娘八十岁生日寿宴。<br>去的有点早，乡村酒席要等客齐了，才开始，就跟哥们一边看电视边闲聊。<br>我没话找话问哥们：你小时候，你老娘跟你说最多的是啥话？<br>他：当然是∽外面跪着去，晚上不许吃饭。<br>听他这样说，我笑笑道：小时候老娘也是经常这样对我说的。<br>我们正聊着，就听到老太太在房里大声说：狗剩外面跪着去，晚上不准吃饭。<br>哥们从沙发上直溜溜滑地板上跪着了。<br>这不是重点，重点是边上一起看电视的他家八十二岁的老爷子也笔直跪下了。。

 </span>

 </div>

2. 模拟浏览器代理

模拟 User-Agent 否则网站反爬 无法无法respose

uapools = [
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.15; rv:74.0) Gecko/20100101 Firefox/74.0",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_4) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.1 Safari/605.1.15"
]


def UA():
    opener = urllib.request.build_opener()
    thissua = random.choice(uapools)
    ua = ("User-Agent", thissua)
    opener.addheaders = [ua]
    urllib.request.install_opener(opener)
    print("当前UA:" + str(thissua))

3. 代码

# 翻页
# https://www.qiushibaike.com/text/page/1/

# 段子内容

# <div class="content">
# <span>
#
#
# 参加哥们老娘八十岁生日寿宴。<br>去的有点早，乡村酒席要等客齐了，才开始，就跟哥们一边看电视边闲聊。<br>我没话找话问哥们：你小时候，你老娘跟你说最多的是啥话？<br>他：当然是∽外面跪着去，晚上不许吃饭。<br>听他这样说，我笑笑道：小时候老娘也是经常这样对我说的。<br>我们正聊着，就听到老太太在房里大声说：狗剩外面跪着去，晚上不准吃饭。<br>哥们从沙发上直溜溜滑地板上跪着了。<br>这不是重点，重点是边上一起看电视的他家八十二岁的老爷子也笔直跪下了。。
#
# </span>
#
# </div>


import random
import re
import urllib
import urllib.request

# 爬取地址
url_base= "https://www.qiushibaike.com/text/page/"
# url_qiushi = "https://www.qiushibaike.com/"

# 正则匹配表达式
pat = '<div class="content">.*?<span>(.*?)</span>.*?</div>'

# 保存文件路径
filename = "content.txt"
# 爬取页数
pageCount = 20

# 模拟chrome /firefox/ sarfari 浏览器UA
uapools = [
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.15; rv:74.0) Gecko/20100101 Firefox/74.0",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_4) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.1 Safari/605.1.15"
]

# 模拟浏览器代理
def UA():
    opener = urllib.request.build_opener()
    thissua = random.choice(uapools)
    ua = ("User-Agent", thissua)
    opener.addheaders = [ua]
    urllib.request.install_opener(opener)
    print("当前UA:" + str(thissua))

# 内容追加到文件
def writeToFile(fileName,str,index):
    with open(fileName, 'a') as file_object:
        file_object.write("\n--------------["+index+"]-----------------------\n")
        file_object.write(str)
     



count = 1;
UA()
for i in range(1, pageCount):
    if i % 5 == 0:# 没翻页5次,换取一个UA
        UA()
    url_qiushi = url_base+str(i)
    print("url:"+url_qiushi)
    dataua = urllib.request.urlopen(url_qiushi).read().decode("utf-8", "ignore")
    result = re.compile(pat,re.S).findall(dataua)
    for j in range(0,len(result)):
        temp = str(result[j]).replace("\n","").replace('<br/>','\n')
        writeToFile(filename,temp,str(count))
        count = count +1

4. 效果

--------------[1]-----------------------
快要过生日了，老公早早就开始准备礼物，问我想要啥，我想着每年都是鲜花巧克力，费钱还不实用，我们已经过了浪漫的年纪了！挑礼物应该挑能保值的或者实用的！跟老公说了，老公表示明白，今天上午接到老公电话，让我在家别出门，有神秘礼物，还一个劲地说根据我要求买的，保证我喜欢！
我美呆了，一直在猜测是啥，黄金还是钻石？不管了，反正都喜欢！正想着，老公带着物流师傅来了，师傅背上还背了个大箱子，我有点懵，老公指挥师傅把箱子放下，边拆箱子边开心地说：媳妇你看，你的生日礼物！一台大冰箱！实用吧，可以放好多啤酒呢！以后…
--------------[2]-----------------------
自从上次最后一盆仙人掌，被我用开水误浇熟后，上司觉得很衰，再也不敢养花养草了，今年改养金蟾，每天泡茶用茶水浇，养的乌漆溜黑的，浑身流光，上司心情可好了。。。
今年去他办公室，烧水泡香飘飘奶茶，很好奇她的金蝉，觉得老喝茶对胃不好，好心的用泡好的奶茶喂了它一下。。。
就在刚才，领导问我他的金蟾是不是病了，浑身发白，怎么用茶水养，都是泛白。。。