Python、Golang、大数据

Scrapy简介Scrapy 是用 Python编写而成用以爬取网站数据、提取结构性数据而编写的应用框架。通过使用Scrapy框架，我们能够简单的爬取指定网站的内容或图片。Scrapy框架文件结构首先我们创建一个Scrapy项目，目录结构如下所示。cnblog/ scrapy.cfg # 项目的配置文件 cnblog/ __init__.py items.py # 定义你所要抓取的字段

先上图说明我遇到的问题。从截图中可以看到是在运行安装Twisted时候报错，所以很自然的就想到了安装Twisted。所以我单独运行了pip install Twisted，不幸的是也报了相同的错误，所以主要的问题在于无法安装Twisted。所以这里我选择直接去网页download包，网址在这里：https://www.lfd.uci.edu/~gohlke/pythonlibs，可以下载各种python的第三方包，在这里我们找到了Twisted的安装包文件。这里简单说明一下包文件的含义，