爬虫后如何进行数据存储和进行数据分析

最新推荐文章于 2024-09-22 05:45:48 发布

ttChien

最新推荐文章于 2024-09-22 05:45:48 发布

阅读量2.3k

点赞数

文章标签：数据分析爬虫

本文链接：https://blog.csdn.net/chien1/article/details/122048013

版权

本文介绍了爬虫获取链家北京租房信息后，如何存储数据到数据库以及进行数据分析。首先建立数据库和表格，然后将爬取的数据导入。接着，通过两个API接口实现功能：一个用于展示不同地区房型的平均租金，另一个生成对比图。在生成对比图的过程中，主要难点包括生成随机颜色并将地区、价格与颜色结合，生成可视化效果。

摘要由CSDN通过智能技术生成

爬取一个链家的北京租房信息，当数据爬取出来之后我们可以将其传入数据库中进行后续操作，首先要进行一个数据库创造和表格的建立。

import sqlite3

conn = None

def initDataConnect() :
    global conn

    #创建或者连接已存在的数据库
    print('../../database/data.db')
    conn = sqlite3.connect('./database/data.db');
    print("数据库连接成功")

    #初始化数据表
    initTable()
    return conn
def getConn():
    global conn
    return conn

def execSql(sql):
    global conn
    print(sql)
    conn.cursor().execute(sql)
    conn.commit()

def selectData(sql):
    global conn
    cursor = conn.cursor().execute(sql)
    return cursor


def initTable():
    global conn
    try:
        conn.execute('''create table building_data
    (
        id       CHAR(50) not null
            constraint table_name_pk
                primary key,
        name     CHAR(200),
        adrress  CHAR(500),
        area     CHAR(50),
        price   CHAR(100),
        location CHAR(100),
        bz       CHAR(500)
    );''')
        conn.execute('''create unique index table_name_id_uindex
        on building_data (id);''')
        print("初始化数据库表结构")
    except Exception as e:
        print("数据库表结构已存在")


def disconnect(conn):
    conn.close()
    print("数据库断开连接")

将数据表格创建好后将爬取到的数据向其中传递，并且会有一个数据更新