![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
不会飞的仔
这个作者很懒,什么都没留下…
展开
-
京东-集成灶评论数据爬取(demjson,lxml和requests)
Python爬虫之京东评论数据爬取记一次爬取京东产品评论时攻克的难点:1、json数据解析时,容易出现decode报错2、京东PC端评论数据模块反爬特别严重,几乎是请求几次到几十次就会被封IP解决方法:1、采用python的demjson库解析json评论数据,同时在每次请求时加上time.sleep(n),避免请求过于频繁2、尝试多次,发现PC的评论数据反爬确实不是作者可以攻破的,作者尝试过time.sleep(),代理IP等,最终还是无效;最后采用请求移动端的接口,再加上time.sleep原创 2020-12-22 15:37:39 · 456 阅读 · 1 评论 -
Python爬虫 requests和create_engine
CSDN项目之爬虫小试项目背景说来也巧,闲来无事,在微信中水群正好看到某群友说想爬点LOL(英雄联盟)的比赛数据,索性就要来了网址链接。网址链接:PentaQ官网作为LPL粉丝,当然是先拿LPL模块做模板,闲话不多说,直接进入主题。项目整体思路:1、通过观察发现网站数据是按照赛区/赛季/赛事活动和游戏版本划分模块,换句话说,爬到某个版本中某个赛区某个赛季就可同理抓取其他版本/赛区/赛季的数据2、以2019 LPL Summer All Patches为例,进行Overview/Team Stat原创 2020-12-21 11:36:45 · 1650 阅读 · 4 评论