网络爬虫
文章平均质量分 53
Griffy650
这个作者很懒,什么都没留下…
展开
-
出现“json.decoder.JSONDecodeError: Expecting ‘,‘ delimiter: line 1 column 267 (char 266)”报错的解决方法
爬虫报错记录昨天在爬虫的时候突然报错“json.decoder.JSONDecodeError: Expecting ',' delimiter: line 1 column 267 (char 266)”。还以为是获取内容有问题,问了老师,才知道问题出在:数据截取不对,json解析错误报错出错的代码详细分析:数据截取不对,也就是我在end=html.find('"}}')进行截取时,被截取数据前面还有这样的'"}}'字符,所以我并来没有将所需数据完整地截下,导致数据格式不对,于..原创 2021-09-22 10:24:19 · 17569 阅读 · 0 评论 -
Python 爬虫数据写入csv文件中文乱码解决以及天眼查爬虫数据写入csv
python爬虫数据写入csv文件中文乱码,用’utf-8‘在pycharm中打开文件没有问题,但是用excel打开却出现了问题,以下为解决方法。(最近在练习爬虫,这个博文是对自己学习的记录和分享,如果有问题,非常感谢各路大佬指出!!!)for r in result:r_lis=[] #方法二:将爬到的内容储存在csv文件中r_lis.append(r.text)with ope...原创 2021-09-20 11:13:29 · 3000 阅读 · 6 评论 -
python爬虫:百度图片爬虫代码
代码里的logid我也不确定有没有时效,如果有的话请大家自行替换,就在数据包标头那里,如图代码来了,来了,来了.......详细解说在这里:#Author:Griffy#Date:2021-09-25#Description:爬百度图片,只留下了堆糖的图,不想要过滤的把下面有一个filter删掉即可,还有if条件判断#Version:1.0 以后可能会更新一下,可能吧import requestsimport reimport PySimpleGUI as sgimp原创 2021-09-25 15:39:43 · 4006 阅读 · 2 评论 -
Python爬虫: 百度图片爬虫 (内附有“Forbid spider access”报错处理,翻页处理,正则表达式使用,百度图片objURL解密!有弹窗设计!爬好的图片直接下载到一个文件夹中!)
这是一个百度爬虫的练习,博主也是个爬虫小白,这是一个学习成果分享!如果有哪里出现问题的望大家及时反馈哦!下面我们一步步来看过程哈(注意:我把百度图片中以堆糖为源网页的图片保留了下来,其他的图片都过滤了,我在下面的代码中会说明如果不想滤掉其他的内容怎么做)爬虫的过程就是模拟我们人浏览网页的过程,我们在写代码之前,首先要搞明白网站结构,找出数据储存在哪里,是什么格式。我们下载图片需要的是图片的下载网址,所以明确的目标就是找到图片网址存在了什么地方。我们可以先随便输入一个词,进入页面,了解一下网站原创 2021-09-25 15:36:15 · 3491 阅读 · 0 评论