scrapy爬取网页信息并清洗

如何用爬虫的scrapy框架轻松的爬取想要的网页信息并清洗,看完下面的方法,你也可以!废话不多说,跟着小编一起来。

1.创建一个scrapy工程
打开pycharm,点击左下角的Terminal,就会自动锁定在当前的路径。
输入scrapy startproject TestMyScrapy, 其中TestMyScrapy就是新建的工程名,直接运行。

scrapy startproject TestMyScrapy

2.创建你自己的爬虫文件
命令切换到你的新建工程根目录下:cd TeseMyScrapy
之后运行命令scrapy genspider New http://???.com

其中New随意命名,后面的http://???.com也由自己确定,只要后缀是.com就可以,直接运行。
如下图:
在这里插入图片描述
3.找到items.py文件
找到之后,在其内容中定义目标数据的字段,如图’title,t,text = scrapy.Fiele’,这里不细说。

已标记关键词 清除标记
©️2020 CSDN 皮肤主题: 深蓝海洋 设计师:CSDN官方博客 返回首页