实战爬虫抓取糗事百科段子(抓段子首页)

实战爬虫抓取糗事百科段子

  • 抓段子首页,部分比较长的段子抓不全
  • 抓段子所需要的正则比较简单
  • 难点在如何写的规范,让人一眼能够看出来
  • 注意在正则表达式规则前边加r,防止转义
  • 另外还需注意输出内容中多余字符的处理
  • 多页抓取注意设置延时,避免页面打开速度对抓取结果的影响
  • 数据保存采取追加的方式
# !/usr/bin/python
# Filename: 实战 糗事百科.py
# Data    : 2020/06/15
# Author  : --king--
# ctrl+alt+L自动加空格格式化


import requests
import re
import time


def parse_url(page_url, f):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'}
    html = requests.get(page_url, headers=headers)
    text = html.text
    # print(text)
    jokes = re.findall(r'''.+?<div.+?untagged.+?<a.+?<div.+?<span>(.+?)</span> # 抓取段子
    ''', text, re.VERBOSE | re.DOTALL)
    for joke in jokes:
    	# 用re.sub处理多出的字符
        joke = re.sub(r'<br>|<br/>|\n', '', joke)
        print(joke, '\n')
        f.write('{}\n'.format(joke))


def main():
    base_url = 'https://www.qiushibaike.com/text/page/{}/'
    with open('jok.csv', 'a', encoding='utf-8') as f:
        f.write('{}'.format('笑话大全\n'))
        for i in range(1, 11):
            page_url = base_url.format(i)
            parse_url(page_url, f)
            time.sleep(2)
            print(i)


if __name__ == '__main__':
    main()

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

kingx3

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值