Python轻松入门——爬虫，爬取豆瓣top250电影代码。

最重要的不是拿到代码，而是学习的过程。

下面把自己遇到的问题记录一下：

0.第一个403报错，最开始程序出错后，不停的测试问题，然后被豆瓣查，然后查过多种方法，第一种+cookie信息，第二种用代理ip数据池（目前还没学到）
第一种方法如下403报错信息
1.提示逗号报错。排查半天发现是sql拼接语句的时候，问号打成中文的了。。。
提醒凡是涉及到关于衔接数据库中需要做到字符串拼接的，一定慢慢敲代码。。。
2.在删除数据库，重新测试的时候。一定要点下面的do refactor。

'''
需求分析：
0.爬取豆瓣top250电影信息
1.保存到excel中
2.保存到sqllit数据库中。
'''
#导包
import bs4
import re
import urllib.request,urllib.error
import cur as cur
import xlwt
import sqlite3
#主程序函数
def main():
    #1爬取网页
    baseurl = "https://movie.douban.com/top250?start="
    #2 解析数据
    datalist  = getData(baseurl)
    # savepath = ".\\豆瓣电影TOP250.xls"
    dbpath = "movie.db"
    #3保存数据
    saveDataDB(datalist, dbpath)
head = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.54 Safari/537.36 Edg/95.0.1020.30",
        "cookie": '''ll="118111"; bid=_NZ083O0TK8; _vwo_uuid_v2=D2D37EB3F93D7D17CFD39F07E2E8B2A81|f58485316b671b98c2c67e298669c755; dbcl2="189227055:U8Lf3eCfqqk"; push_noty_num=0; push_doumail_num=0; __utmv=30149280.18922; __utmz=30149280.1635682450.6.3.utmcsr=baidu|utmccn=(organic)|utmcmd=organic; __utmz=223695111.1635682450.5.4.utmcsr=baidu|utmccn=(organic)|utmcmd=organic; ck=VTpW; _pk_ref.100001.4cf6=%5B%22%22%2C%22%22%2C1635772447%2C%22https%3A%2F%2Faccounts.douban.com%2F%22%5D; _pk_id.100001.4cf6=c6d31d57c50dd407.1635568678.5.1635772447.1635682534.; _pk_ses.100001.4cf6=*; __utma=30149280.20172076.1635568659.1635682450.1635772447.7; __utmb=30149280.0.10.1635772447; __utmc=30149280; __utma=223695111.1934734025.1635568678.1635682450.1635772447.6; __utmb=223695111.0.10.1635772447; __utmc=223695111; Hm_lvt_eaa57ca47dacb4ad4f5a257001a3457c=1635568678,1635589435,1635772447; Hm_lpvt_eaa57ca47dacb4ad4f5a257001a3457c=1635772447'''}

#爬取信息的规则
#生成或者创建正则表达式对象,表示规则（字符串的模式）
#影片详情链接的规则
findLink = re.compile(r'<a href="(.*?)">')#.代表一个字符 * ？代表一个或者多个
#图片的规则
findImgSrc = re.compile(r'<img.*src="(.*?)"', re.S)#re.S忽略换行符,让换行符包含在字符中
#影片片名
findTitle = re.compile(r'<span class="title">(.*)</span>')
#影片的评分
findRating = re.compile(r'<span class="rating_num" property="v:average">(.*)</span>')
#评价人数   /d表示数字
findJudge = re.compile(r'<span>(\d*)人评价</span>')
#找到概况
findInq = re.compile(r'<span class="inq">(.*)</span>')
#找到影片相关内容
findBd = re.compile(r'<p class="">(.*?)</p>', re.S)#.* 多次,.*？0次或者1次数


#爬取网页
def getData(baseurl):
        datalist = []#左闭右开,调用10次
        for i in range(0,10):
            url = baseurl + str(i*25)
            html = askURL(url)#保存获取到的网页源码
            #逐一解析页面数据
            soup = bs4.BeautifulSoup(html,'html.parser')
            for item in soup.find_all('div',class_="item"):#class_ 代表属性值
                # print(item) #测试查看,爬取的信息
                # break
                data = []
                item = str(item)
                #影片详情的链接
                link = re.findall(findLink,item)[0]  #re库通过正则表达式查找指定字符串
                data.append(link)                       #添加链接
                imgSrc = re.findall(findImgSrc,item)[0]
                data.append(imgSrc)                 #添加图片
                titles = re.findall(findTitle,item)     #片名可能只有一个中文名,没有外国名
                if(len(titles))==2:
                    ctitle = titles[0]
                    data.append(ctitle)         #添加中文名
                    otitle = titles[1].replace("/","")#去掉无挂符号
                    data.append(otitle)         #添加外文名
                else:
                    data.append(titles[0])
                    data.append(" ")            #外文名留空
                rating = re.findall(findRating,item)[0]
                data.append(rating)
                judgeNum = re.findall(findJudge,item)[0]
                data.append(judgeNum)
                inq = re.findall(findInq,item)          #添加概述
                if len(inq) != 0 :
                    inq = inq[0].replace("。","")
                    data.append(inq)
                else:
                    data.append(" ")           #留空
                bd = re.findall(findBd,item)[0]         #添加相关内容
                bd = re.sub('<br(\s+)?/>(\s+)?'," ", bd)
                re.sub('/',' ',bd)
                data.append(bd.strip())  #stripe 去除空格
                datalist.append(data)#把信息存储进去
        #print(datalist)
        return datalist
#得到指定一个url界面的内容
def askURL(url):
    #以字典或者列表的形式
    #伪装,表示告诉url,我们是什么方式访问的（本质上 是告诉浏览器,我们可以接受什么文件
    request = urllib.request.Request(url,headers=head)
    html = ""
    try:
        response = urllib.request.urlopen(request)
        html = response.read().decode("utf-8")
        # print(html)#打印页面信息
    except urllib.error.URLError as e:
        if hasattr(e,"code"):
            print(e.code)
        if hasattr(e,'reason'):
            print(e.reason)
    return html

#3保存数据
def saveData(datalist,savepath):
    print("开始保存了")
    book = xlwt.Workbook(encoding="utf-8",style_compression=0)  # 创建wookbook对象
    sheet  = book.add_sheet('豆瓣电影TOP250',cell_overwrite_ok=True)
    col = ("电影详情链接","图片链接","影片中文名","影片外国名","评分","评价数","概况","相关信息")
    for i in range(0,8):
        sheet.write(0,i,col[i])   #列名
        for i in range(0,250):
            print("第%d条" %(i+1))
            data = datalist[i]
            # #测试
            # for j in range(0,1):
            #     print(data[j])
            for j in range(0,8):
                sheet.write(i+1,j,data[j])   #数据
    book.save(savepath)            #保存


def init_db(dbpath):
    sql = '''
        
        create table movie1
        (
        id integer primary key autoincrement,
        info_link text,
        pic_link text,
        cname varchar,
        ename varchar,
        score numeric,
        rated numeric,
        instroduction text,
        info text
        )


    ''' #创建数据表
    conn = sqlite3.connect(dbpath)
    cursor = conn.cursor()
    cursor.execute(sql)
    conn.commit()
    conn.close()

#保存数据到数据库
def saveDataDB(datalist,dbpath):
    init_db(dbpath)
    conn = sqlite3.connect(dbpath)
    cur = conn.cursor()
    for data in datalist:
        for index in range(len(data)):
            if index == 4 or index == 5:
                continue
            data[index] = '"'+data[index]+'"'
        sql = '''
                       insert into movie1(
                       info_link,pic_link,cname,ename,score,rated,instroduction,info
                       )
                       values(%s)
                   ''' % ",".join(data)
        # 用,分隔,加入,%代表引入
        #测试,只是生成,不进行数据库交互
        # print(sql)
        cur.execute(sql)
        conn.commit()
    cur.close()
    conn.close()


if __name__ == '__main__':
    main()
    print("爬取完毕！")