![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Python 爬虫笔记
文章平均质量分 91
这些是我在学习 python 爬虫的时候所学到的,或者我写的程序
白御空
想像真正的火箭一样,起飞
展开
-
将 JavaScript 中的 JSON 转为 Python 可读取
将 JavaScript 中的 JSON 转为 Python 可读取原创 2022-01-24 19:12:18 · 2063 阅读 · 21 评论 -
教你如何在 Pycharm 中制作自己的爬虫代码模板
教你如何在 Pycharm 中制作自己的爬虫代码模板原创 2021-12-28 00:37:37 · 3044 阅读 · 22 评论 -
execjs 运行结果和 nodejs 结果不一样的解决方法
execjs 运行结果和 nodejs 结果不一样的解决方法写作背景思路讲解第一步 执行 js 文件第二步 执行 js 命令时传参第三步 命令行执行命令第四步 获取结果概述语法参数返回值结尾写作背景上一篇博客 我写了百度翻译反爬的解决方法,后来使用的过程中出了问题,我用 nodejs 调试 js 文件的时候输出的结果和在浏览器命令行运行的结果一样,可是使用 execjs 调用的时候输出的结果是错的,如下图。使用 nodejs 运行结果。使用 execjs 调用的结果生成的结果 不一样!!!原创 2021-10-09 21:52:34 · 2000 阅读 · 4 评论 -
python 百度翻译爬虫(可翻译句子及文章)(偷偷说一句,保姆级教程哦)
python 百度翻译爬虫(可翻译句子及文章)创作背景思路讲解第一步 寻找接口声明:本文 仅限爬虫学习 ,不得 将本文代码商用 , 侵权删创作背景本菜鸡最近要整个 批量翻译词组和句子 ,准备调用 百度翻译 的接口,以前也搞过,用的 这个接口,但是只能 翻译单词 ,没法满足需求,所以就需要重新搞。其实以前我就对 这个接口 念念不忘,但是因为当时啥也不会(虽然现在也是),为了图省事儿就没搞,今天 必须拿下 !!!思路讲解参考 这个大佬的这篇文章第一步 寻找接口无非是 按 F12 打开开原创 2021-10-07 20:35:28 · 3022 阅读 · 22 评论 -
针对某眼电影加密字体的爬虫
针对猫眼电影加密字体的反爬虫创作背景问题再现解决办法处理 woff 文件撸代码结尾创作背景因为临近五一假期,涉及到外出游玩的事儿,本菜鸡就想去看一部好看的电影因为时间有限,只能看一部电影,导致我但迟迟无法决定看哪一部鉴于常在 某眼电影 上买票,所以就想去上边看看电影的数据,更好的比对一下性价比高的电影于是我就重拾手艺,给爷爬!!!问题再现如图所示本来在页面上显示的是数字 8.3 ,可到了源码中就成了加密字符怎么解决呢?这是个好问题解决办法首先我们得知道这是 用的什么方法 加原创 2021-04-30 23:55:09 · 302 阅读 · 8 评论 -
python爬虫爬取百度图片
python爬虫爬取百度图片背景开工咯代码实现注!!!结尾背景最近鄙人发现我的壁纸库存严重不足,于是一个 需求 就诞生了,我需要大量的图片,很好看的图片于是,我来到了万能的百度-------------------------------------------------------------------图片是他,是他,就是他,我们的好帮手,百度图片!下面,进入正题,鄙人将讲解爬取百度图片中的图片,和如何动态加载图片,并附上源码首先,我们输入要查找的内容,我以橘猫为例(因为我好喜欢橘猫啊!原创 2020-12-18 20:13:08 · 2098 阅读 · 7 评论 -
利用爬虫下载番剧进行追番
利用爬虫下载番剧进行追番创作背景代码逻辑代码实现出现的问题写在最后创作背景最近,本菜鸡找到了一个 网站(网站地址自行前往代码中寻找)???? ,用来追番呀,下载动漫,电影之类的,但有的动漫没有提供下载功能,所以只能 自己下载了呀???? (dddd)目前 demo 已经做出来了,本篇博文将上传具体代码但还没有封装完成,还有诸多想实现的功能还没有实现如多线程搜索(已实现)想 利用 redis,搞个多线程下载,(别问我为啥不用 scrapy,因为 我想自己实现????,即使我很菜)原创 2020-12-15 19:17:00 · 1406 阅读 · 1 评论 -
【推荐】好用的 XPath 插件
好用的 XPath 插件XPath Helper插件介绍Try XPath背景插件介绍个人感觉结尾本菜鸡在写爬虫的时候,经常使用 XPath 提取数据XPath Helper以前一直用的 chrome 进行 xpath,因为 chrome 有个很好用的 xpath 的插件,名叫 XPath helper长这个样子插件介绍在 左侧 输入 xpath 的匹配语句,匹配到的结果就在 右边 显示出来了有好多文章都有介绍,具体的就不再赘述Try XPath背景但我主要使用的浏原创 2020-11-22 21:58:52 · 4141 阅读 · 0 评论 -
菜鸡学 js 逆向感悟(针对小白,也请各位大佬指点一下)
文章目录菜鸡入门 js 逆向一点小经验菜鸡入门 js 逆向一点小经验本火箭最近因为要做个项目(不是我自己做,是让大佬带),大佬让我先多看一些论文。于是,小火箭我就去了学校购买的 某方数据知识服务平台 搜索论文,因为每次都点下载太麻烦,即使有批量下载我也觉得好麻烦。(我这是怎么了,都懒成这个样子了,????,又与大佬们拉开差距了)于是我就又想写个爬虫,输入关键词 ,然后自动下载指定目录,到时候只要输入关键词,再给出 保存路径 ,就无忧咯o( ̄▽ ̄)ブ说冲就冲第一步,还是轻车熟路地打开 F原创 2020-11-09 20:45:44 · 997 阅读 · 1 评论 -
戏剧性的绕过网页付费后复制
今天,本菜鸡为生计所迫,要写作文,于是我请来了万能的百度,并找好了一篇心动的文章,如图所示:本想直接复制粘贴完事儿睡觉,谁曾想,他竟然给我整了个弹窗看这万恶的资本主义,对我这个老白嫖党竟然如此的不友好,对此,我深恶痛绝但只愤恨也没有用呀,毕竟没本事绕过,本菜鸡不会高大上的 js 逆向。 /(ㄒoㄒ)/~~本来,我想现场学习一下 js 逆向,但好像没有什么好的文章能够快速入门,按照一些绕过其他网站的套路我试了试,但卡在一步就进行不下去了 /(ㄒoㄒ)/~~,还是太菜了????可是,就原创 2020-10-28 23:04:18 · 10122 阅读 · 10 评论 -
关于requests报错UnicodeEncodeError: ‘gbk‘ codec can‘t encode character的解决,保证和别人的不一样哦
昨天,本菜鸡想摘取(爬 的美名)一些资料,代码如下import requestsurl = 'https://blog.csdn.net/jkx521/article/details/100714226'headers = { 'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:80.0) Gecko/20100101 Firefox/80.0'}req = requests.get(url=url, headers=h原创 2020-10-25 12:04:25 · 2115 阅读 · 3 评论