如何用爬虫的scrapy框架轻松的爬取想要的网页信息并清洗,看完下面的方法,你也可以!废话不多说,跟着小编一起来。
1.创建一个scrapy工程
打开pycharm,点击左下角的Terminal,就会自动锁定在当前的路径。
输入scrapy startproject TestMyScrapy, 其中TestMyScrapy就是新建的工程名,直接运行。
scrapy startproject TestMyScrapy
2.创建你自己的爬虫文件
命令切换到你的新建工程根目录下:cd TeseMyScrapy
之后运行命令scrapy genspider New http://???.com
其中New随意命名,后面的http://???.com也由自己确定,只要后缀是.com就可以,直接运行。
如下图:
3.找到items.py文件
找到之后,在其内容中定义目标数据的字段,如图’title,t,text = scrapy.Fiele’,这里不细说。
4.找到自己定义的爬虫名称-New