mygodit的博客

Gerapy 是一款分布式爬虫管理框架，支持 Python 3，基于 Scrapy、Scrapyd、Scrapyd-Client、Scrapy-Redis、Scrapyd-API、Scrapy-Splash、Jinjia2、Django、Vue.js 开发，Gerapy 可以帮助我们：更方便地控制爬虫运行更直观地查看爬虫状态更实时地查看爬取结果更简单地实现项目部署更统一地实现主机管理本文主要是梳理一下，在安装Gerapy框架中踩过的坑，方便下次安装和使用。Gerapy的安装重点主要分为两部分：

周末去看了《全职高手之巅峰荣耀》的大电影。记得是看扫毒2还是更前一点的电影时。全职大电影的预告片就出来了，第一眼看中的时候，就决定必须去看这场电影了。（每周一场的电影，默认成为习惯了）电影的好处在于，可以暂时脱离本身的角色设定，转而融入电影中的某个背景，感受不同的生活体验，精神感受，以及揣摩导演，制作者的一些小心思。理解电影想表达什么，理解制作者在某个小细节上的精彩处理，这也是看电影的一种另类收...

又是一年一度的七夕情人节了！有女朋友的就牵好手，有男朋友的就抱紧腿，什么都么得的小伙伴就带好装备，静静的吃狗粮就ok了。在这个到处都冒着粉红泡泡的日子，不做点什么都不太好意思。作为一名合格的代码搬砖工，经过慎重的思考，决定为小伙伴们的幸福贡献一份微薄之力。特此爬取知乎上的高赞情话，让你在对女神/男神的约会中甜蜜暴击（咳咳咳，吃多了糖，有点齁）1.搜索知乎高赞情话话题或评论知乎搜索"情...

前言Crawlspider是在scrapy普通Spider的基础上加入内部获取指定规则链接的功能，能有效提高我们获取页面中指定链接的效率。（咱也没测过效率，咱也不敢问），常用于 翻页，网页链接循环的采集任务。scrapy_splash 是在scrapy框架中用来处理js动态渲染页面的第三方库。使用起来还是挺顺手的。普通scrpy中使用scrpy_splash还是轻轻松松，干干单单的，将每次请...

XPath轴(XPath Axes)可定义某个相对于当前节点的节点集：1、child 选取当前节点的所有子元素2、parent 选取当前节点的父节点3、descendant 选取当前节点的所有后代元素（子、孙等）4、ancestor 选取当前节点的所有先辈（父、祖父等）5、descendant-or-self 选取当前节点的所有后代元素（子、孙等）以及当前节点本身6、ancestor-...

背景常见的网站反爬策略中，最常见的有:限制IP访问频率，识别请求身份信息，JavaScript动态渲染，以及添加验证码。其中验证码的反爬对于爬虫来说是一个不小的阻碍，小白如我，大多都会一脸蒙蔽。今天主要介绍的是一个能够帮助我们突破验证码反爬的py第三方库tesserocr。按着崔大大的书装第三方库，着实方便，不过大佬的思维对于小白来说有时候跟不上，所以会导致我们在安装的过程中出现一些小BUG...

1.简述我们在用scrapy爬取数据时，首先就要明确我们要爬取什么数据。scrapy提供了Item对象这种简单的容器，我们可以通过Item定义提取数据的格式，需要爬取哪些字段，其提供了类似于字典的API以及用于声明可用字段的简单语法。Item字段说明：Field 对象指明了每个字段的元数据（metadata）。例如上面例子中 content 字段中指明了该字段的序列化函数为str。可以为每...

根据一些业务需求，在爬虫的过程中由于一些网络或者人为的原因终止了爬虫流程，下次发起爬虫请求时，会重新开始，导致原来爬虫过的数据会重复爬取。为了解决重复爬取，同时也是为了对爬取的数据进行一个筛选，就需要用到增量式爬虫。增量式爬虫的意义在于，当爬虫流程中断后，下次爬虫请求会紧接着上次中断的地方进行爬取，上次爬取的数据，就不会再发送请求，提高爬虫效率。增量式爬虫的方法:第一种: 启用scrapy...

查看了许多关于ItemLoder的使用教学贴，整理出一些简单，易懂的使用方法，方便小白如我的童鞋们，能够更好更快的使用到ItemLoder。第一步ItemLoder的使用步骤。# ItemLoder在spider.py中使用# 导入ItemLoder模块from scrapy.loder import ItemLoder# 实例化一个loder对象loder = ItemLoder(i...

常见反爬虫策略知己知彼，百战不殆。我们想防止爬虫被 ban就得了解一些常见的反爬虫措施。但要反爬虫还得先识别爬虫，所以首先讲讲如何识别爬虫。方法1：http日志和流量分析，如果单位时间内某个IP访问频率和流量超过特定阈值就可以界定为爬虫。方法2：Headers参数检测Scrapy学习笔记(6)-反爬虫与反反爬虫策略上图是浏览器正常访问站点时发送的数据包，可以看到Request Head...