爬虫后数据分析

   引入库：

进行了网站前端设置，引入了对应的库源，使用wordcloud和jieba库对SQL上的数据进行词云分析。

将获得的数据存入数据库，用到sqlite3库，在Echarts官网中找到数据分析模板置于展示网页，通过在数据库中查找到的信息对模板进行修改，相关关键代码进行更改。

网站前端设置

 

 词云部分

 条形统计图

 词云效果图

    def shuju(tname):
        con = sqlite3.connect("51job.db")
        cur = con.cursor()
        sql = "select area,salary from %s" % tname
        data = cur.execute(sql)
        areas = []
        datadict = {}
        for i in data:
            datas = str(i[1][:-3])
            datass = datas.split("-")

            if i[1]:
                darea = i[0][:2]
                print(darea)
                if i[1][-1] == '月':
                    if i[1][-3] == '千':
                        aa = (float(datass[0]) + float(datass[1])) / 2 * 1000
                    elif i[1][-3] == '万':
                        aa = (float(datass[0]) + float(datass[1])) / 2 * 10000
                elif i[1][-1] == '年':
                    if i[1][-3] == '千':
                        aa = (float(datass[0]) + float(datass[1])) / 2 / 12 * 1000
                    elif i[1][-3] == '万':
                        aa = (float(datass[0]) + float(datass[1])) / 2 / 12 * 10000
                print(aa)
                try:
                    print(datadict[darea])
                except KeyError:
                    datadict[darea] = []

                datadict[darea].append(aa)
        for key, vlaue in datadict.items():
            datadict[key] = round(sum(vlaue) / len(vlaue), 1)

        cur.close()
        con.close()
        return datadict