python爬虫小练习之四:糗事百科第二次,多页爬取

遇到的问题是变量更新问题,python总能给我惊喜

糗事百科文字区,竟然只有13页

from bs4 import BeautifulSoup
import requests
import time 

url_num = 1 #记录是第几页,也是URL的参数


#问题来了,URL写在循环外面的话,在循环里面调用的时候竟然不会自己更新,
#也就是说,每次都是第一页,也就是说,一个str()把它搞成固定的字符串了?
#url = 'https://www.qiushibaike.com/text/page/%s/' % str(url_num)
headers = {
    'Cookie':'_xsrf=2|c2806390|1fe517b920b9fd6c9ebaa79f6473822e|1519272771; _qqq_uuid_="2|1:0|10:1519272771|10:_qqq_uuid_|56:YzQ5ZmFmOGNlNmYzZGU2MDE2NjQ4YWY5MTgwMTczNjA5MDZiMTc3Yg==|a3d26f5bab8a014ef0f92acc03cbb41a359e1784ba54de1df901b7f24a3916d8"',
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKi'
                 't/537.36 (KHTML, like Gecko) Chrome/49.0.2623.22'
                 '1 Safari/537.36 SE 2.X MetaSr 1.0'
}

num = 1 #记录笑话的条数
while url_num < 14: #一共就13页,写多了后面就又全是第一页,
    url = 'https://www.qiushibaike.com/text/page/%s/' % str(url_num)
    wb_data = requests.get(url, headers=headers)
    web = BeautifulSoup(wb_data.text, 'lxml')
    haha = web.select('div.content > span')
    #data = []
    #data.clear()   #一开始不知道是URL字符串的问题,
    print('第%d页--%s' % (url_num,url))
    for i in haha:
        #data.append(i.get_text().strip())#strip()函数,很好用!!!
        #
        print('%s.' % num,i.get_text().strip())
        num += 1
    #for i in data:
        #print(num,'.',i)
        #num+=1
    time.sleep(0.1)
    url_num = url_num + 1

正确的截图
这里写图片描述

若URL变量写在外面,循环内调用总是第一页
这里写图片描述

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值