Crawler
LMFranK
这个作者很懒,什么都没留下…
展开
-
爬取房天下新房、二手房房源数据(scrapy-redis分布式爬虫)
前言 该项目基于Scrapy-Redis框架实现分布式爬虫。其中,我使用了自身电脑(win10)作为master(redis服务器), WSL虚拟机和一台mac作为slave(爬虫服务器),从而实现分布式爬虫。 环境搭建 开发环境:Win10(WSL-Ubuntu、VBox-Ubuntu) + PyCharm(VSCode) + Cmder + XShell scrapy-redis分布式爬虫需...原创 2019-09-05 23:38:31 · 2308 阅读 · 10 评论 -
Tesserocr安装教程与问题解决【图文】
前言 大家在学习爬虫验证码识别时,有时候会用到OCR识别,而tesseracr库即为对tesseract做的python封装。因此,我们需要安装tesseract。 在安装过程中,我遇到了一些问题,在这里分享给大家。本篇文章主要是讲win10环境下,tesserocr的安装。 安装步骤 1、安装tesseract 在win10下,安装tesseract可以进入该网址进行下载https://digi...原创 2019-09-10 20:04:23 · 4817 阅读 · 0 评论