爬虫
总结一些爬虫学习笔记和学习过程中遇到的问题
蔓越莓酥
这个作者很懒,什么都没留下…
展开
-
scrapy框架之五大组件工作流程
文章目录1. scrapy 五大核心组件的工作流程1.1 五大组件简介:2. scrapy组件作用3. scrapy数据流图:4. ☆组件工作流程:5. 引擎作用:管道 ITEM PIPELINE声明:本文工作流程参考了:https://www.cnblogs.com/wszxdzd/p/10269222.html 并做了一些修改补充熟悉基础请直接查看组件工作流程1. scrapy 五大核...原创 2019-11-26 12:22:55 · 915 阅读 · 0 评论 -
scrapy框架之创建项目
创建工程scrapy startproject ProNamescrapy.cfg 基本不用修改items.py 存储相关pipelines 储存相关Scrapy EngineSchedulerDownloader创建完的项目里面没有包含这三项,代表项目以及给我们封装好了功能,我们要做的事情就是在去写spiders,items piplines就可以了cd P...原创 2019-11-26 12:02:35 · 331 阅读 · 0 评论 -
scrapy框架之scrapy介绍和安装
ScrapyScrapy是Python开发的一个快速、高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。Scrapy吸引人的地方在于它是一个框架,任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类,如BaseSpider、sitemap爬虫等,最新版本又提供了web2.0爬虫的支持。什么是框架?...原创 2019-11-26 11:13:43 · 277 阅读 · 0 评论 -
selenium浏览器驱动问题:cannot find Chrome binary或 'chromedriver' executable needs to be in Path
报错信息:selenium.common.exceptions.WebDriverException:Message: unknown error: cannot find Chrome binary或’chromedriver’ executable needs to be in Path浏览器驱动路径配置有问题,解决方法:下载对应自己浏览器版本的驱动,添加chrome.exe驱动到...原创 2019-11-23 21:17:31 · 964 阅读 · 0 评论