遇到的问题是变量更新问题,python总能给我惊喜
糗事百科文字区,竟然只有13页
from bs4 import BeautifulSoup
import requests
import time
url_num = 1 #记录是第几页,也是URL的参数
#问题来了,URL写在循环外面的话,在循环里面调用的时候竟然不会自己更新,
#也就是说,每次都是第一页,也就是说,一个str()把它搞成固定的字符串了?
#url = 'https://www.qiushibaike.com/text/page/%s/' % str(url_num)
headers = {
'Cookie':'_xsrf=2|c2806390|1fe517b920b9fd6c9ebaa79f6473822e|1519272771; _qqq_uuid_="2|1:0|10:1519272771|10:_qqq_uuid_|56:YzQ5ZmFmOGNlNmYzZGU2MDE2NjQ4YWY5MTgwMTczNjA5MDZiMTc3Yg==|a3d26f5bab8a014ef0f92acc03cbb41a359e1784ba54de1df901b7f24a3916d8"',
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKi'
't/537.36 (KHTML, like Gecko) Chrome/49.0.2623.22'
'1 Safari/537.36 SE 2.X MetaSr 1.0'
}
num = 1 #记录笑话的条数
while url_num < 14: #一共就13页,写多了后面就又全是第一页,
url = 'https://www.qiushibaike.com/text/page/%s/' % str(url_num)
wb_data = requests.get(url, headers=headers)
web = BeautifulSoup(wb_data.text, 'lxml')
haha = web.select('div.content > span')
#data = []
#data.clear() #一开始不知道是URL字符串的问题,
print('第%d页--%s' % (url_num,url))
for i in haha:
#data.append(i.get_text().strip())#strip()函数,很好用!!!
#
print('%s.' % num,i.get_text().strip())
num += 1
#for i in data:
#print(num,'.',i)
#num+=1
time.sleep(0.1)
url_num = url_num + 1
正确的截图
若URL变量写在外面,循环内调用总是第一页