python爬虫
万家林
热爱大数据和AI的一名在职大数据开发工程师
展开
-
如何查看一个网站的robots协议?
问:如何查看一个网站的robots协议?答:在该网站首页网址后加入/robots.txt就可以查看该网站的robots协议。例:以淘宝网站为例。首先进入淘宝网站首页在网站后输入/robots.txt就可以查看了。...原创 2021-04-12 23:43:05 · 9943 阅读 · 0 评论 -
无法爬取淘宝商品页面
问题描述:无法爬取淘宝商品页面案例如下:import requestsimport redef getHTMLText(url): try: r = requests.get(url,timeout=30) r.raise_for_status() r.encoding = r.apparent_encoding return r.text except: return "" de原创 2020-11-30 22:30:22 · 5338 阅读 · 23 评论