![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
文章平均质量分 78
重装系统20块谢谢
你好
展开
-
爬虫抓取京东、苏宁、唯品会商品价格
以iphone8为例#京东做了反爬措施。直接抓取html内容不成功,所以要找到请求接口输入skuIds(商品代号),得到json字符串jd = "https://p.3.cn/prices/mgets?callback=jQuery6710688&type=1&area=1&pdtk=&pduid=1132198894&pdpin=&pin=nul...原创 2018-06-12 17:34:57 · 5023 阅读 · 7 评论 -
使用urllib和beautifulSoup实现爬虫抓取小说网站书名,解决BUG:NoneType object has no attribute 'find_all'
首先找一个网站,例如urlHTML='http://www.douban.com/tag/%E5%B0%8F%E8%AF%B4/?focus=book'接下来利用urllib库抓取数据,保存数据到一个变量中request_data=urllib.request.urlopen(urlHTML)用beautifulSoup解析网页语法,并保存结果,注意此处第二个参数不能使用单引号,否则会出现BUG ...原创 2018-06-10 15:21:52 · 13881 阅读 · 1 评论