本文介绍了如何使用Python的scrapy框架创建一个爬虫项目，从指定网站抓取信息，并进行数据清洗。首先，通过scrapy startproject命令创建工程，然后创建爬虫文件scrapy genspider，定义目标数据字段。接着运行爬虫，得到html文件，再通过清洗代码生成json文件。最后，解析json文件，将数据转换为字符串。
如何用爬虫的scrapy框架轻松的爬取想要的网页信息并清洗，看完下面的方法，你也可以！废话不多说，跟着小编一起来。
1.创建一个scrapy工程
打开pycharm，点击左下角的Terminal，就会自动锁定在当前的路径。
输入scrapy startproject TestMyScrapy， 其中TestMyScrapy就是新建的工程名，直接运行。
scrapy startproject TestMyScrapy
2.创建你自己的爬虫文件
命令切换到你的新建工程根目录下：cd TeseMyScrapy
之后运行命令scrapy genspider New http://???.com
其中New随意命名，后面的http://???.com也由自己确定，只要后缀是.com就可以，直接运行。
如下图：
3.找到items.py文件
找到之后，在其内容中定义目标数据的字段，如图’title,t,text = scrapy.Fiele’，这里不细说。
4.找到自己定义的爬虫名称-New
订阅专栏 解锁全文
791
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
