- 博客(2)
- 收藏
- 关注
RSS订阅原创 京东-集成灶评论数据爬取（demjson,lxml和requests）
Python爬虫之京东评论数据爬取记一次爬取京东产品评论时攻克的难点：1、json数据解析时，容易出现decode报错2、京东PC端评论数据模块反爬特别严重，几乎是请求几次到几十次就会被封IP解决方法：1、采用python的demjson库解析json评论数据，同时在每次请求时加上time.sleep(n),避免请求过于频繁2、尝试多次，发现PC的评论数据反爬确实不是作者可以攻破的，作者尝试过time.sleep()，代理IP等，最终还是无效；最后采用请求移动端的接口，再加上time.sleep
2020-12-22 15:37:39
456
1
原创 Python爬虫 requests和create_engine
CSDN项目之爬虫小试项目背景说来也巧，闲来无事，在微信中水群正好看到某群友说想爬点LOL（英雄联盟）的比赛数据，索性就要来了网址链接。网址链接：PentaQ官网作为LPL粉丝，当然是先拿LPL模块做模板，闲话不多说，直接进入主题。项目整体思路：1、通过观察发现网站数据是按照赛区/赛季/赛事活动和游戏版本划分模块，换句话说，爬到某个版本中某个赛区某个赛季就可同理抓取其他版本/赛区/赛季的数据2、以2019 LPL Summer All Patches为例，进行Overview/Team Stat
2020-12-21 11:36:45
1650
4
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人