python爬虫并将数据存储到MySQL或Excel中

爬虫爬取的是豆瓣top250图书，以存储到MySQL为例，流程如下：

1.先建表，可以用命令行，也可以用数据库可视化软件，建立好需要用的到的字段

2.写好爬虫，并在爬虫中连接数据库，把爬下来的数据按对应的字段填入数据库中

# -*- coding: utf-8 -*-
# Captain_N


from lxml import etree
import random
import requests
import time
import pymysql   #导入相应库文件

conn = pymysql.connect(host='localhost',user='root',password='1234',db='DouBan',port=3306,charset='utf8')
cursor=conn.cursor()    #连接数据库及光标
headers={
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.26 Safari/537.36 Core/1.63.5478.400 QQBrowser/10.1.1550.400'
}     #请求头



def get_info(url):
    res=requests.get(url,headers=headers)
    if res.status_code==200:
        selector=etree.HTML(res.text)
        infos=selector.xpath('//tr[@class="item"]