Scrapy爬虫教程【三】（对数据进行可视化展示，绘制中国地图、柱状图、饼图）

通过前面两个教程我们已经将爬取到的数据保存至Mysql数据库中，这里我们将Mysql中的数据进行可视化展示

下载安装pyecharts包

pip install pyechart

pip安装不成功的请参考Scrapy爬虫教程【一】中离线安装方法

获取数据

创建jobnums.py文件，从Mysql数据库中获取每个城市的名称和岗位数量并返回。

注意：要创建在jobscrapy文件下，不要创建在spiders文件夹里，因为后续程序会有一个import导包，如果放在spiders文件夹里会出现导包错误的情况。

import pymysql

def select():
    # 保存所有的城市
    citys = []
    # 保存所有的招聘量
    nums = []
    connect = pymysql.Connect(host="localhost", user="root", password="tqa123", port=3306, db="51job", charset="utf8")
    sql = "select address,count(*) from jobinfo group by address"
    cursor = connect.cursor()
    cursor.execute(sql)
    for row in cursor.fetchall():
        city = row[0]
        num = row[1]
        citys.append(city)
        nums.append(num)
    cursor.close()
    connect.close()

    return citys,nums

可见返回的是两个列表，可以打印输出一下，如图：

绘制柱状图

在spiders文件夹里创建BarJobInfo.py

from pyecharts.charts import Bar    #柱状图的
from pyecharts import options   #标题设置的
from jobscrapy.jobnums import select  #这里就是上面所说的导包

citys,nums = select() #获取数据库数据

# 声明一个Bar对象
bar = Bar()

#添加标题
bar.set_global_opts(
    title_opts=options.TitleOpts(title="柱状图",subtitle="全国各地区招聘信息量"),
    toolbox_opts=options.ToolboxOpts()  #添加快捷工具栏
)

#x轴显示地区
bar.add_xaxis(citys)
#y轴显示数量
bar.add_yaxis("招聘量",nums)
# 生成的html文件
bar.render("BarJobInfo.html")

右键执行该程序，得到BarJobInfo.html文件

打开查看

绘制饼图

这个过程与绘制柱状图是一样的，下面就直接放代码了。

PieJobInfo.py

from pyecharts.charts import Pie
from pyecharts import options
from jobscrapy.jobnums import select

citys,nums = select()   #获取数据库数据

pie = Pie()
pie.add("招聘量",[list(i) for i in zip(citys,nums)])   #[('上海',51),('东莞',4)...]   显示数据
pie.set_global_opts(title_opts=options.TitleOpts(title="饼状图",subtitle="全国各地区招聘量"))  #显示标题
pie.set_series_opts(label_opts=options.LabelOpts(formatter="{b}：{d}%")) #显示百分比
pie.render("PieJobInfo.html")

绘制中国地图

由于中国地图只能显示各省的信息，我们爬取到的数据是精确到市区的，所以在中国地图上无法显示有多少招聘量

MapJobInfo.py

# 用中国地图来展示各个地区的招聘量情况
from pyecharts.charts import Map
from pyecharts import options
from jobscrapy.jobnums import select

citys,nums = select()   #获取数据库数据

data = [(c,n) for c,n in zip(citys,nums)]   #中国地图需要的数据[('上海',51),('东莞',4)...]

map = Map()
map.add("招聘量",data,"china")
map.set_global_opts(
    title_opts=options.TitleOpts(title="全国各省招聘量"),
    legend_opts=options.LegendOpts(is_show=False),
    visualmap_opts=options.VisualMapOpts(max_=200,is_piecewise=True)
)
map.render("MapJobInfo.html")

转载请注明出处