Scrapy
Scrapy使用经验
落笔成名
有梦想可以,但请不要白日做梦。行动,梦想才有存在的意义
展开
-
scrapy基础学习-使用数据库存储MySQL
scrapy抓取的数据存储到数据库 首先修改一下pipeline路径 pipeline文件,主要是对抓取回来的数据进行处理。 在这里,我们可以对数据进行,清洗,转化,存储。 为了方便管理,我习惯将不同功能的代码,分开文件编写。 scrapy支持多个pipeline文件的(其实就是将默认的pipeline路径,改成明文配置) 将xxx/xxx/settings.py中,默认注释掉的ITEM_PIP...原创 2019-10-04 21:35:50 · 154 阅读 · 0 评论 -
scrapy基础学习-商品信息抓取
熟悉scrapy基本操作 开始你的项目 scrapy startproject xxx 然后他是这个样子的xxx 项目目录 -- xxx 项目模块 -- scrapy.cfg 项目部署配置文件 -- __init__.py -- items.py ...原创 2019-10-02 18:10:28 · 166 阅读 · 0 评论