数据库
文章平均质量分 78
Hansen._
wx17701331232
展开
-
使用sqlalchemy用orm方式写pipeline将scrapy item快速存入 MySQL
传统的使用scrapy爬下来的数据存入mysql,用的是在pipeline里用pymysql存入数据库,这种方法需要写sql语句,如果item字段数量非常多的 情况下,编写起来会造成很大的麻烦.我使用的python 库:sqlalchemy来编写,用orm的方式,使代码变得非常简洁,按照数据库表的字段,编写好自己的类,在settings里面设置好pipeline即可.# -*- coding: u...原创 2018-05-20 17:39:55 · 3257 阅读 · 1 评论 -
ubuntu 18.04 安装mysql和mysqlworkbench
18.04 直接使用apt install ,安装的是5.7版本,这个版本是不支持18.04的,只有8.0版本支持,很大的一个坑,今天刚好掉进去,多亏看到了一位老哥的博客,完美解决问题。博客链接其中有个界面出现提示信息,需要<确认>,按回车是不好使的,按Esc即可。如果你都按照上文的操作,在使用apt install mysql-workbench使用是没有问题的.如果没有选择5.7的...原创 2018-05-22 14:10:39 · 8074 阅读 · 2 评论