- 博客(7)
- 收藏
- 关注
RSS订阅原创 scrapy框架之五大组件工作流程
文章目录1. scrapy 五大核心组件的工作流程1.1 五大组件简介：2. scrapy组件作用3. scrapy数据流图：4. ☆组件工作流程：5. 引擎作用：管道 ITEM PIPELINE声明：本文工作流程参考了：https://www.cnblogs.com/wszxdzd/p/10269222.html 并做了一些修改补充熟悉基础请直接查看组件工作流程1. scrapy 五大核...
2019-11-26 12:22:55
902
原创 scrapy框架之创建项目
创建工程scrapy startproject ProNamescrapy.cfg 基本不用修改items.py 存储相关pipelines 储存相关Scrapy EngineSchedulerDownloader创建完的项目里面没有包含这三项,代表项目以及给我们封装好了功能,我们要做的事情就是在去写spiders,items piplines就可以了cd P...
2019-11-26 12:02:35
328
原创 scrapy框架之scrapy介绍和安装
ScrapyScrapy是Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫的支持。什么是框架？...
2019-11-26 11:13:43
273
原创 AttributeError: 'str' object has no attribute 'decode'' bytes' object has no attribute 'encode'
AttributeError:‘str’ object has no attribute ‘decode’’ 或‘bytes’ object has no attribute 'encode’启动Django项目时可能会报错其中一种遇到’str’ object has no attribute ‘decode’’ ，需要把query = query.decode(errors=‘repla...
2019-11-23 21:40:01
2711
1
原创 selenium浏览器驱动问题：cannot find Chrome binary或 'chromedriver' executable needs to be in Path
报错信息：selenium.common.exceptions.WebDriverException:Message: unknown error: cannot find Chrome binary或’chromedriver’ executable needs to be in Path浏览器驱动路径配置有问题，解决方法：下载对应自己浏览器版本的驱动，添加chrome.exe驱动到...
2019-11-23 21:17:31
954
原创 打开pycharm时一直更新目录 updating indecix
有时候打开pycharm会自动检索更新目录，这时候不能运行程序，尤其是我安装的是anaconda，里面的库比较多，这个步骤非常耗时间，就想把它关掉。方法一：将不想索引的文件夹设置为Excluded Folders 及设置检索不包括的文件File - Settings - -> Project: yourprojectname - -> Project Structure -->...
2019-11-23 20:52:06
5043
3
原创 Django中使用mysqlclent服务报错：mysqlclient 1.3.13 or newer is required; you have 0.9.3.
在Django项目中，新建项目安装mysqlclient服务之后，经常遇到这个错误：mysqlclient 1.3.13 or newer is required; you have 0.9.3.不想麻烦请直接看方法二查阅资料，网上说是因为使用pip下载目前最高只能下载0.9.3版本。运行命令升级mysqlclientpip install --upgrade mysqlclient...
2019-11-23 14:59:26
234
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人