![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
scrapy
我不是个乖小孩
这个作者很懒,什么都没留下…
展开
-
python 错误3: error: Microsoft Visual C++ 10.0 is required (Unable to find vcvarsall.bat)
在安装 python 的 Scrapy 框架的时候,报错:“ error: Microsoft Visual C++ 10.0 is required (Unable to find vcvarsall.bat)”原因:Visual Studio 版本不对应解决方法:安装对应版本的 Visual Studio 版本如何寻找“对应”的版本:1、打开 python 安装目录下的...原创 2018-09-19 11:22:16 · 424 阅读 · 0 评论 -
Python 爬虫框架 Scrapy 在 Windows10 系统环境下的安装和配置
环境:Windows10 系统、python3.4.3 版本安装 Scrapy :使用 pip 安装 Scrapy,在命令行窗口中输入命令 “pip install Scrapy”,若不报错即可安装成功。注意:可在命令行窗口中输入命令“pip -h”测试 pip 模块是否已安装,若未安装的话,可以看前面博客,先安装 pip 模块。成功...原创 2018-09-19 11:25:06 · 222 阅读 · 0 评论 -
Scrapy 框架的基本命令
创建 Scrapy 项目:scrapy startproject mysqlpjt (其中 mysqlpjt 是项目名称)基于 crawl 爬虫模板创建一个名为 weiwei 的爬虫文件:scrapy genspider -t crawl weiwei sina.com.cn基于 basic 爬虫模板创建一个名为 myhexunspd 的爬虫文件:scrapy genspider ...原创 2018-09-19 12:08:14 · 149 阅读 · 0 评论 -
Python 错误4:No module named ‘win32api’
在使用scrapy爬虫的过程中,在命令控制台输入scrapy crawl demo 出现ModuleNotFoundError: No module named ‘win32api’错误原因:缺少 pywin32 模块解决办法:安装pywin32在网址“https://sourceforge.net/projects/pywin32/files/pywin32/Build%20...原创 2018-09-19 16:02:31 · 2208 阅读 · 0 评论 -
python 爬虫框架 scrapy 的目录结构
First:scrapy 框架的项目目录结构:Second:scrapy.cfg文件:主要是爬虫项目的配置文件hexunpjt/hexunpjt/__init__.py 文件:项目的初始化文件,主要写的是一些项目初始化信息。hexunpjt/hexunpjt/items.py 文件:爬虫项目的数据容器文件,主要用来定义我们要获取的数据。hexunpjt/hexunpjt/p...原创 2018-09-25 14:53:58 · 709 阅读 · 0 评论