方法一:(数据量小的时候推荐使用这种)
第一步:pip install mysqlclient
这里我没有报错 也许你可能会报错Read timed out 此时不要慌,这是因为你的网络问题,你使用豆瓣源再次下载:pip install -i https://pypi.douban.com/simple/ mysqlclient
注意:以下针对linux用户(乌班图):可能这时你会报错安装失败,解决方法:
安装命令:sudo apt-get install libmysqlclient-dev
linux用户(centOs):
安装命令:sudo yum install python-devel mysql-devel
1,在pipeline.py中写入如下代码:
import MySQLdb
#采用同步的机制写入mysql
class MysqlPipeline(object):
def __init__(self):
self.conn = MySQLdb.connect('localhost','root','root','article_spider',charset='utf8',use_unicode=True)
self.cursor = self.conn.cursor()
def process_item(self,item,spider):
insert_sql = """ insert into article(title,create_date,url,fav_nums