关注
分享
文章平均质量分 91
网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
大风车滴呀滴溜溜地转
为天地立心，为生民立命，为往圣继绝学，为万世开太平。
展开
-
App逆向入门
APP逆向入门原创 2022-08-16 22:58:58 · 5298 阅读 · 3 评论 -
网络机器人之爬虫
Spider 爬虫引子看看美女养养眼养眼吧，是不是经常苦于寻找不到这些资源？是不是经常因为网址的变更又找不到某些资源？要想解决这个问题，简单嘛，就是把资源都保存到电脑上，但要是一口气保存两百多张，估计手都都抽筋。这时候，就需要用到我们的爬虫了。爬虫，即网络机器人，如果把互联网理解为一张巨大的蜘蛛网，那么爬虫就是在这张网上捕猎的蜘蛛，它会根据你给定的目标将资源保存下来，也就是持久化存...原创 2020-04-01 11:37:21 · 2489 阅读 · 0 评论 -
HTTP & HTTPS 协议
Hello，我是 Alex 007，一个热爱计算机编程和硬件设计的小白，为啥是007呢？因为叫 Alex 的人太多了，再加上每天007的生活，Alex 007就诞生了。文章目录一、`HTTP`1.`HTTP`工作原理2.常见的请求头信息3.常见的响应头信息二、`HTTPS`1.`HTTPS`加密算法对称秘钥加密非对称秘钥加密证书密钥加密一、HTTPHTTP(Hyper Text Tran...原创 2020-04-13 19:16:54 · 1117 阅读 · 0 评论 -
学爬虫，你敢说你不会 requests 模块
Hello，我是 Alex 007，一个热爱计算机编程和硬件设计的小白，为啥是007呢？因为叫 Alex 的人太多了，再加上每天007的生活，Alex 007就诞生了。文章目录引入流程引入在python实现的网络爬虫中，用于网络请求发送的模块有两种，第一种为urllib模块，第二种为requests模块。urllib模块是一种比较古老的模块，在使用的过程中较为繁琐和不便。当request...原创 2020-04-13 20:36:38 · 445 阅读 · 0 评论 -
数据解析，重中之重！
Hello，我是 Alex 007，一个热爱计算机编程和硬件设计的小白，为啥是007呢？因为叫 Alex 的人太多了，再加上每天007的生活，Alex 007就诞生了。文章目录一、正则表达式二、`XPATH`解析三、`BS4`解析一、正则表达式二、XPATH解析xpath解析是我们在爬虫中最常用也是最通用的一种数据解析方式，由于其高效且简介的解析方式受到了广大程序员的喜爱。在后期学习...原创 2020-04-13 20:41:48 · 396 阅读 · 1 评论 -
xpath 解析之爬取招聘信息
文章目录一、引子环境安装解析步骤二、xpath 实战爬取拉勾网 Python 岗位信息AnalysisCode一、引子xpath 是 XML 的路径语言，通俗一点讲就是通过元素的路径来找到这个标签元素。xpath 解析是爬虫中最常用也是最通用的一种数据解析方式，其简洁高效的解析方式深受广大爬虫工程师的喜爱。环境安装使用 xpath 解析需要安装一个第三方库：pip install l...原创 2020-04-07 11:52:51 · 818 阅读 · 0 评论 -
超牛逼的异步协程爬虫
文章目录一、引入二、异步协程1. event_loop2. coroutine3. task4. future5. 绑定回调三、多任务协程一、引入无论是多进程还是多线程，在遇到 IO 阻塞时都会被操作系统强行剥夺走 CPU 的执行权限，程序的执行效率因此就降低了下来。想要解决这个问题，我们可以自己从应用程序级别检测 IO 阻塞，如果阻塞就切换到程序的其它任务，这样就可以将程序的 IO 降到最...原创 2020-04-07 19:07:12 · 19726 阅读 · 60 评论 -
这年头学爬虫还就得会点 scrapy 框架
Hello，我是 Alex 007，为啥是007呢？因为叫 Alex 的人太多了，再加上每天007的生活，Alex 007就诞生了。这几天一直在练车，只能在中间休息的时候写一写博客，可怜去年报的名到现在还没有拿到小本本，当然练车只是副技能，主技能还是coding，不断学习才能不被淘汰。最近在学爬虫的 scrapy 框架，以前虽然拿 GoLang 玩过爬虫，可惜没有太深入，这次拿 Py...原创 2020-04-10 15:44:05 · 1269 阅读 · 4 评论 -
关于 scrapy 框架必须掌握的核心知识
Hello，我是 Alex 007，为啥是007呢？因为叫 Alex 的人太多了，再加上每天007的生活，Alex 007就诞生了。最近在学爬虫的 scrapy 框架，以前虽然拿 GoLang 玩过爬虫，可惜没有太深入，这次拿 Python 好好学一学。学习爬虫过程中的代码都放在了GitHub上：https://github.com/koking0/Spider小生才疏学浅，如有谬误，...原创 2020-04-12 14:09:13 · 489 阅读 · 1 评论 -
动态爬取豆瓣电影中“更多”电影详情数据
文章目录一、需求二、分析三、Codemain.pyspider.py一、需求使用任意代理 IP 进行如下操作使用requests模块进行豆瓣电影的个人用户登录操作使用requests模块访问个人用户的电影排行榜->分类排行榜->任意分类对应的子页面爬取需求3对应页面的电影详情数据爬取需求3对应页面中滚动条向下拉动2000像素后加载出所有电影详情数据，存储到本地json文件...原创 2020-04-08 21:13:04 · 1513 阅读 · 1 评论 -
Scrapy + Redis 分布式爬取58同城北京全站二手房数据
Hello，我是 Alex 007，为啥是007呢？因为叫 Alex 的人太多了，再加上每天007的生活，Alex 007就诞生了。经过一个星期的学习，爬虫这个章节算是告一段落了，记录一下作业。文章目录一、需求二、准备工作1.Redis 安装（1）Windows 10（2）阿里云 CentOS 72.Redis 配置三、环境四、思路1.Pages 分析2.Elements 分析五、实现...原创 2020-04-11 18:59:04 · 935 阅读 · 2 评论 -
爬虫神器：超炫酷的自动化工具 Selenium
Hello，我是 Alex 007，为啥是007呢？因为叫 Alex 的人太多了，再加上每天007的生活，Alex 007就诞生了。今天给大家分享一个小白看见大呼WC的工具Selenium，在我第一次看见别人演示这个工具的时候，真的是忍不住说了一句：WCNB，好了，正文开始。文章目录一、初识`Selenium`1.环境安装2.简单使用二、基本知识1.浏览器的创建2.元素定位一、初识S...原创 2020-04-13 13:02:19 · 1405 阅读 · 1 评论 -
超详细的爬虫面试题
一． Requests模块1. 简述爬虫的概念爬虫，即网络机器人，如果把互联网理解为一张巨大的蜘蛛网，那么爬虫就是在这张网上捕猎的蜘蛛，它会根据你给定的目标将资源保存下来，也就是持久化存储。这个过程其实就类似于我们浏览器上网，只不过将这个繁琐的过程通过编写程序模拟的形式，让爬虫去互联网上抓取数据。2. 爬虫有几种分类，使用场景是什么？通用爬虫：通用爬虫是搜索引擎爬虫的重要组成...原创 2020-04-13 10:18:35 · 3721 阅读 · 12 评论