python 爬虫
关注
分享
扫一扫
文章平均质量分 92
程序员bigsai
坚持分享学习，写了一本原创数据结构与算法pdf分享给大家。
展开
-
哪吒票房逼近40亿，用python爬取哪吒短评分析
前言暑期档电影惨淡，但随着哪吒爆红开拓了新局面。前言原创 2019-08-06 23:54:53 · 9806 阅读 · 32 评论
-
浅谈网络爬虫
浅谈网络爬虫 什么是网络爬虫？ 爬虫能干什么 搜索引擎 抢票、刷票等自动化软件 部分破解软件 金融等行业数据挖掘、分析数据来源 其他 爬虫很简单 语言的选择 两种语言的小demo 爬虫也不简单 ip、浏览器头(User-Agent)、和cookie限制 需登录的验证码限制、参数限制 JavaScript渲染/ajax加密 爬虫知识储备路线 1.基础语法： 2.正则和爬虫相关库，以及浏览器F12...原创 2019-06-11 21:58:11 · 13916 阅读 · 16 评论 -
再也不怕和老外交流了！我用python实现一个微信聊天翻译助手！
文章目录前言详细设计微信api有道api整体逻辑代码和运行结果结语前言在前面的一篇文章如何用python“优雅的”调用有道翻译中咱们清楚的写过如何一层一层的解开有道翻译的面纱，并且笔者说过那只是脑洞的开始。现在笔者又回来了。Teach you how to flirt gracefully with code。设计思路：前面有了调用翻译，我们可以和翻译接口和微信的api结合起来做一些有趣的...原创 2020-01-05 14:01:11 · 16059 阅读 · 18 评论 -
如何用python“优雅的”调用有道翻译
文章目录前言分析分析url分析参数01分析参数02加密分析模拟请求注意点请求代码执行结果结语前言其实在以前就盯上有道翻译了的，但是由于时间问题一直没有研究(我的骚操作还在后面，记得关注)，本文主要讲解如何用python调用有道翻译，讲解这个爬虫与有道翻译的js“斗争”的过程！当然，本文仅供交流学习使用，适合自己做一些小东西娱乐，禁止用于商业用途！转载请注明微信公众号：bigsai。项目gi...原创 2019-12-26 20:58:46 · 8367 阅读 · 5 评论 -
爬虫实现csdn文章一键(批量)更换阅读类型(全部可见、粉丝可见、vip可见)
文章目录 前言 分析 获取文章链接、id 分析markdown文本 代码编写 执行测试 说在后面的话 前言 在IT首屈一指的交流平台上，我们可以看得到csdn在最近的一些进步和变化：如blink，文章收益,等等方面。促进和提升文章价值，激发笔者写作分享！这无疑是一件好事。 但csdn依然还有很多不够完善或者需要优化的地方，如推荐算法、新出的收益无法一键更改文章阅读类型。这让一些大的...原创 2019-07-20 01:37:00 · 5321 阅读 · 8 评论 -
写文章没高质量配图？python爬虫绕过限制一键搜索下载图虫创意图片！
文章目录前言分析理想状态理想破灭前言在我们写文章(博客、公众号、自媒体)的时候，常常觉得自己的文章有些老土，这很大程度是因为配图没有选好。笔者也是遇到相同的情况，顺便解决其中一个案例，给大家一些技术上的参考和借鉴！并且，我们搜图片如果去百度，会遇到两种情况：非高清或者带水印。这都是我们所忌讳的东西。笔者此次通过图虫创意抓起高清小图，虽然不是大图，但是在火热的移动端阅读上是足够的！分析...原创 2019-08-30 23:39:34 · 8310 阅读 · 3 评论 -
第二弹！python爬虫批量下载高清大图
文章目录前言下载免费高清大图下载带水印的精选图代码与总结前言在上一篇写文章没高质量配图？python爬虫绕过限制一键搜索下载图虫创意图片！中，我们在未登录的情况下实现了图虫创意无水印高清小图的批量下载。虽然小图能够在一些移动端可能展示的还行，但是放到pc端展示图片太小效果真的是很一般！建议阅读本文查看上一篇文章，在具体实现不做太多介绍，只讲个分析思路。当然，本文可能技术要求不是特别高，但可以...原创 2019-10-06 12:19:52 · 58783 阅读 · 26 评论 -
CSDN登录机制分析(附上python、java代码)
大纲 前言 分析加密参数 uaToken webUmidToken 发送模拟请求 对比解决障碍 浏览器发送 postman模仿 小结 编写代码 前言 很久以前研究过csdn的模拟登录，记得那个时候的csdn登录还是一个`form``表单，然后参杂着一些参数。使用遍历input元素把表单各个参数拿下来。存下直接post即可登陆成功。 前几天再次看了下亲爱的csdn。突然发现...原创 2019-07-15 00:40:45 · 4363 阅读 · 7 评论 -
模拟教务评教(强智教务)—一件评教实现原理
前不久，学校有个校园帮助型app某某圈因为一件评教功能被教务批评了。现在有很多查成绩，查课程的app，他们的实现原理到底是啥了。这两天来到发小扬州这边，学习实现了这个功能，并且用java和python都写了一下，但是鉴于web端只会java，最后集成到springboot部署到服务器提供的小服务。 以前只知道这些东西是爬虫爬出来的，原本以为非常简单，自己研究了一下发现还是有很多的坑和坎。大...原创 2019-01-17 21:55:56 · 5289 阅读 · 0 评论 -
python3模拟提交问卷星/问卷网表单（selenium+chromedriver/phantomjs）
更新：第一个问卷星是我同学的，，我们组的是问卷网。。顺便附上我的完整思路（在问卷星下侧是问卷网） 前一段时间有个课程需要问卷星搜集材料信息，，但是问卷星这东西你不一个个求人哪有人愿意点进去帮你填呢，，呵呵，不行，我自己来。。。 本来想看看问卷星他的表单提交的请求方式，，奈何我太垃圾。看不懂那么庞大的js，理不清其中的思路，，既然能力不行，那只好用selenium这个自动化工具了...原创 2018-11-28 18:52:15 · 7348 阅读 · 1 评论 -
python3使用付费代理和ip池的维护
更新：在使用代理是如果频率过快返回的是‘{“code”:“3001”,“msg”:“提取频繁请按照规定频率提取!”}’不可将该msg添加到ip池中，故需要先判断返回状态。 这一段时间爬取一些数据的时候遭到了封ip。免费的ip满足不了我的需求并且不是很稳定，所以选择的代理ip，我买了蘑菇代理一天2000ip，这些对于我的小爬爬就够了。记录了第一次使用代理ip的一些坎坷和经历，希望能够减少初学者的...原创 2018-11-15 11:18:27 · 11014 阅读 · 6 评论 -
python3模拟登陆人人网（requests）
之前看别人一直模拟登陆人人网，我就想人人网有头有脸的咋那么好模拟登陆进去呢，，今天看了下发现真的超级容易登陆，可能人人太老了也好久不更新了吧。人人网一点防护措施都没有，没有验证码，没有加密，没有乱起八糟的东西。☺ 首先，分析一下模拟登陆到底是什么，有的人可能会很迷惑，我知道爬虫有get请求啊，有post请求啊，这模拟登陆啥玩意啊，还要输入东西乱起八糟的。可能觉得很蒙蔽，但是我们反观一个po...原创 2018-11-05 21:00:56 · 3176 阅读 · 0 评论 -
python3（requests）使用代理ip
以前记录的维护一个ip池 当需要采集大量数据时，或者有的网站对访问速度特别严格的时候，有的网站就采取封ip，这样就需要使用代理ip。就像马蜂窝一样，，自从被曝数据造假之后，就不好爬了，python使用代理ip的小demo为： 其中，如果你爬的为https://www.xxxxx这类那么proxies里面的https内容有效。如果你爬的是http://biggsai.com这种，那么pro...原创 2018-10-31 19:11:11 · 121391 阅读 · 6 评论