Python爬虫之scrapy框架

安装

创建项目

1、找到自己python爬虫项目的路径。

2、cmd创建scrapy项目。

我这里的路径是C:\Users\Administrator\PycharmProjects\untitled1

打开cmd，cd到这个路径

创建scrapy项目

因为项目名称一般都是大写开头，而且也习惯大写开头了 （之前弄一些东西的时候，总的和分的开头都是小写，弄到后面发现搞错，直接疯掉）

然后cd到Baidu这个文件夹里面去

 然后创建爬虫文件

我这里顺便带了个域名

 

这，就是创建完了，文件在Baidu里的spiders的baidu这里。

打开pycharm看看

这里我想提取到  百度一下，你就知道

 则代码：

 下面呢，就是来设置一下

打开项目里面的settings

 设置修改：

 

然后呢，切换到cmd输入 

这里的baidu是

 

 

这里的话还可以在pycharm里面运行，

 

 在这里创建一个run

from scrapy import cmdline
cmdline.execute('scrapy crawl baidu'.split())

运行后效果一样的