![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
苏葛
这个作者很懒,什么都没留下…
展开
-
scrapy esponse.body 对乱码的处理
在用scrapy进行数据抓取的时候,经常用如下代码,将返回的数据解析成json,然后操作数据jsonContent = json.loads(response.body)但是有时候会遇到response.body的内容中有中文乱码的问题,导致json.loads解析失败。解决方案如下:1、chrome安装chartset插件,安装好之后如下图: 2、将请求的链接或接口地方...原创 2019-02-27 16:23:36 · 892 阅读 · 0 评论 -
利用scrapy抓取数据,批量插入mysql
具体抓取代码没什么好讲的,要注意的地方就是将抓取的数据插入数据库。每1000条数据提交一次数据库:pipelines.pydef process_item(self, item, spider): try: page_data = (item["scode"], item["name"], item["gender"], item["age"], item[...原创 2019-03-01 15:50:39 · 907 阅读 · 0 评论