中国大学排行榜网站的爬取
爬虫基本步骤拿到要爬取网站的url,user-agent,必要时爬取其他网站时按要求加上cookie,proxies(固定操作) headers = { "user-agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36", }获取网页响应信息 response = request
原创
2021-01-12 19:31:52 ·
1211 阅读 ·
4 评论