如何在Pcharm中创建第一个Scrapy爬虫框架项目

1、首先找到Pcharm工程文件夹，即PcharmProjects

按住shift+鼠标右键 选择“powershell”

scrapy startproject <工程名>

再在Pcharm 里open 这个新键的myScrapy文件夹工程, 开始你的爬虫代码之旅！~

等等，别以为这就结束了，真正的挑战才刚刚开始：
2、路径打开进新建的爬虫工程里面，继续在powershell 中 创建编辑爬虫代码的spider文件

scrapy genspider <文件名> <爬取网站的url地址，省略http:///www>

这里就是你编写爬虫代码的地方了

3、写管道文件

class MyspiderPipeline(object):
    def __init__(self):
        self.file = open("music.txt","a")
        self.file.write("[")     # 把item数据写入里面 a是追加，多线程w可能会覆盖， 多线程不安全写入不能用w
        #管道每次收到item后执行的方法
    def process_item(self, item, spider):
        # print("----------"+item)
        # content = str(item)+"\n"  str()没用
        dict_item = dict(item)

        json_item = json.dumps(dict_item)+","  #dumps讲字典转成json格式
        self.file.write(json_item)
        return item
    #当爬取结束时执行的方法

    def close_spider(self,spider):
        self.file.close()
    #     #     self.spider.close()

最后执行爬虫文件
4.、scrapy crawl musicSpider`

5.、然后你会发现并管道程序并没有执行 因为你没有设置管道优先级

把管道注释解除就可以了！
再执行你的爬虫代码一次吧！