爬虫操作第三节-保存数据

我们需要将数据保存到SQLite中,但是问题是我们保存的数据中含有numeric类型,但是拼接字符串的这个过程只允许说全部都是字符串的形式才能拼接.

def init_db(dbpath):
    sql = '''
        create table movie250
        (
        id INTEGER primary key autoincrement,
        info_link text,
        pic_link text,
        cname varchar,
        ename varchar,
        introduction text,
        score text ,
        info text,
        judge text          
        )
    '''
    #integer 表示说整数,整数是numeric的一部分
    conn = sqlite3.connect(dbpath)
    cursor=conn.cursor()
    cursor.execute(sql)
    conn.commit()
    conn.close()

def save_data_db(datalist, dbpath):
    init_db(dbpath)
    conn=sqlite3.connect(dbpath)
    cur=conn.cursor()

    for data in datalist:
        print('data:')
        print(data)

        for index in range(0,len(data)):
            # print('index:')
            # print(index)
            data[index]='"'+str(data[index])+'"'
            print('data[index]:'+data[index])
        print(",".join(data))
        sql='''
            insert into movie250(info_link,pic_link,cname,ename,introduction,score,info,judge) 
            values(%s)'''% ",".join(data)
        print(sql)
        cur.execute(sql)
        conn.commit()
    cur.close()
    conn.close()

注意

1)创造数据库时我们需要将建立的元素和后面插入到数据库的元素都是一一对应的

2)报错:

然后我试着将日志打印出的SQL语句放入到数据console中,发现问题所在:

3)我们想要去除ename和简介inq中的空格和'\',前者使用正则表达式,报错..

终于,在经历了一个下午的秃头的DEBUG,我终于把这个数据基本导入了数据库中,但是还算是有一些瑕疵

那就是数据中的etitle属性和info属性中间总是有NBSP/NBSP,而且只是通过str的操作竟让也不能改变,总之就很离谱,折腾来折腾去,暂时还是没有改变,看来到时候只能问老师了....

以下贴出源码:

def init_db(dbpath):
    sql1='''
        drop table movie250;
    '''
    sql2 = '''
        create table movie250
        (
        id INTEGER primary key autoincrement,
        info_link text,
        pic_link text,
        cname varchar,
        ename varchar,
        introduction text,
        score text ,
        info text,
        judge text          
        )
    '''
    #integer 表示说整数,整数是numeric的一部分
    conn = sqlite3.connect(dbpath)
    cursor=conn.cursor()
    cursor.execute(sql1)
    cursor.execute(sql2)
    conn.commit()
    conn.close()



def save_data_db(datalist, dbpath):
    init_db(dbpath)
    conn=sqlite3.connect(dbpath)
    cur=conn.cursor()

    for data in datalist:
        print('data:')
        print(data)

        for index in range(0,len(data)):
            # print('index:')
            # print(index)
            data[index]='"'+str(data[index])+'"'
            print('data[index]:'+data[index])
        sql='''
            insert into movie250(info_link,pic_link,cname,ename,introduction,score,info,judge) 
            values(%s)'''% ','.join(data)
        print(sql)
        cur.execute(sql)
    conn.commit()
    cur.close()
    conn.close()

 尤其注意:

1)我们在保存数据save_data这个函数中,拼接字符串时要注意插入的数据和建立的表格一一对应

2)数据既然选择使用双引号进行拼接,就需要将数据类型全部设置成为SQLite中的text或者varchar类型,不然编译器报错说期待str类型,但是其实是int类型

未完待续....