Scrapy 没有办法直接在PyCharm中建立,要在控制台里边建立,在PyCharm中编辑运行,Scrapy 安装和环境变量配置不再赘余。
1、新建Scrapy项目,使用命令:
scrapy startproject spiderstest
2、打开PyCharm,File->open,然后选择项目 :
3、编写我们的爬虫代码,在spiders文件夹里建立spiderstest.py,爬虫测试代码如下:
import scrapy
class spiders_test(scrapy.Spider):
name = "testspiders"
def start_requests(self):
urls = [
'http://www.e110119.com/news/4/1.html',
'http://www.e110119.com/news/4/2.html',
]
for url in urls:
yield scrapy.Request(url=url, callback=self.parse)
def parse(self, response):
for line in response.xpath('//div[@class="describe"]'):
print(line.xpath('h2/a').extract())
4、在项目中再建立start.py,用来运行爬虫脚本,这里需要注意,为什么要建立一个这个脚本,而不是直接执行爬虫脚本,因为我们一个项目中可能会有多个脚本,不能每个脚本都配置一次执行,所以通过统一的执行配置来操作,省去很多麻烦。代码如下:
from scrapy import cmdline
cmdline.execute(['scrapy', 'crawl', 'testspiders'])
5、配置运行start.py脚本:
Script path 选择start.py脚本位置,然后apply-ok。
6、运行脚本,配置完上边之后,我们就可以点击绿色箭头,选择执行脚本了
运行结果:
我们可以看到,想获取内容已经显示出来了。入门例子就是这样,还有很多不足,欢迎一起讨论。