#本次爬取虎扑网(动态页面),当你用滚轮直接向下滑动就可以多看页面。从而进行多数据爬。
import requests
import time
from random import choice
try:
for i in range(3):
headers = {
'User-Agent':'Mozilla/5.0'
}
url = "https://www.hupu.com/home/v1/news?pageNo={}&pageSize=50".format(i) #此链接是通过在浏览器上打开虎扑网,点击F12查看进而得知。是属于静态页面爬取之后的练习
r = requests.get(url,headers = headers)
r.raise_for_status
r.encodign = r.apparent_encoding
print(r.text)
time.sleep(1)
except:
print("爬取失败")
爬虫学习的第一天(requests简单的框架--初阶4)
最新推荐文章于 2024-07-12 16:16:27 发布