Python：Pycharm如何使用scrapy框架做爬虫？

因为入门python以来一直使用pycharm，所以对着黑白的DOS不习惯，所以此次来实现使用pycharm进行实现使用scrapy框架

①pip install scrapy(首先安装scrapy第三方包) 不会安装的：参考本人另一篇博文：https://blog.csdn.net/YiXiao1997/article/details/96345737

②新建第一个scrapy项目，先cd到想要的目录，然后输入：scrapy startproject PythonScrapy ，就建好了一个项目

打开新建的项目，然后如图：

在项目目录下新建一个start.py用来实现项目的启动

 然后在spider下新建一个Test_spider.py 其中name = "Test_spider"就是爬虫名字，所以在start.py下也启动这个名字

有些网站有反爬虫，所以需要伪装成浏览器，这个时候需要在settings.py中进行设置 ,修改DEFAULT_REQUEST_HEADERS={}

最后直接运行就可以了