爬虫-scrapy
文章平均质量分 51
小爬爬爬
这个作者很懒,什么都没留下…
展开
-
pipeline中MySQL存储方式
单线程阻塞操作MySQLimport MySQLdbclass MysqlPipeline(object): def __init__(self): self.conn = MySQLdb.connect('host', 'user', 'passwd', 'dbname', charset="utf8", use_unicode=True) self.cu原创 2017-07-31 18:31:39 · 2482 阅读 · 1 评论 -
scrapy中的item_loader
Item Loaders 提供了一个便利的机制来帮助 populating(填充) scrapted Items;虽然,Items 可以通过它类似 dict API 来填充,Item Loaders 提供了更多便利的方法来进行 populates; 简而言之,Items 提供了被爬取数据的一个容器,而 Item Loaders 为该容器提供了 populating 的机制; Item Loade原创 2017-08-01 20:01:46 · 1116 阅读 · 0 评论 -
重写scrapy.pipelines.images.ImagesPipeline方法实现自定义图片下载
from scrapy.pipelines.images import ImagesPipelinefrom scrapy.exceptions import DropItemimport scrapyclass MyImagesPipeline(ImagesPipeline): '''自定义图片下载器,以图片url为路径保存图片''' def get_media_request原创 2017-07-26 18:33:10 · 4007 阅读 · 1 评论 -
jobbole总结一
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来,用它写博客,将会带来全新的体验哦:Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl原创 2017-07-26 18:21:22 · 706 阅读 · 0 评论 -
ubuntu彻底卸载mysql并且重新安装
在Ubuntu和Debian系统上,有一个debian-sys-maint用户,Debian类系统下一些系统脚本对mysql的操作是通过这个用户完成的。所以我们可以通过这个用户来修改 root 密码。该用户的密码可以在/etc/mysql/debian.cnf下找到:# Automatically generated for Debian scripts. DO NOT TOUCH![cli原创 2017-07-27 16:52:06 · 654 阅读 · 0 评论