对csv文件数据分组,并用pyecharts 展示

在处理csv文件时,会有些数据需要分组展示。比如以下文件及统计效果:

为了避免重复劳动,把pandas 和 pyecharts 做了个结合。

# coding=UTF-8

from pyecharts import Bar,Scatter,Line
from pyecharts import Page
import pandas as pd
# 生成的HTML文件在程序目录 render.html

def create_line(x_data, line_data_head, line_data, line_dict):
    # 建立一个Line图返回
    # x_data X 轴数据
    # bar_data_head  数据列
    # bar_data 数据数组二维,数量和数据列匹配, 组内数据和 X轴数据匹配
    # bar_dict 字典 , 标题, 副标题 , 长 , 宽
    line = Line(line_dict['title'], line_dict['subtitle'], width=line_dict['width'], height=line_dict['height'])
    for i in range(len(line_data_head)):
        line.add(line_data_head[i], x_data, line_data[i], xaxis_interval=0, is_smooth=True)
    return line


def lines_show(line_data):
    # 显示多个曲线图
    page = Page()
    for b in line_data:
        line = create_line(b['x'], b['head'], b['data'], b['dict'])
        page.add(line)
    page.render()


def create_bar(x_data, bar_data_head, bar_data, bar_dict):
    # 建立一个Bar图返回
    # x_data X 轴数据
    # bar_data_head  数据列
    # bar_data 数据数组二维,数量和数据列匹配, 组内数据和 X轴数据匹配
    # bar_dict 字典 , 标题, 副标题 , 长 , 宽
    bar = Bar(bar_dict['title'], bar_dict['subtitle'], width=bar_dict['width'], height=bar_dict['height'])
    for i in range(len(bar_data_head)):
        bar.add(bar_data_head[i], x_data, bar_data[i], xaxis_interval=0)
    return bar


def bars_show(bar_data):
    # 显示多个柱状图
    page = Page()
    for b in bar_data:
        bar = create_bar(b['x'], b['head'], b['data'], b['dict'])
        page.add(bar)
    page.render()


def csv_data_show(csv_file, x_head_key, data_key, m_yw):
    # 读取CSV 文件,获取多列数据,显示相关图示
    df = pd.read_csv(csv_file, sep=',', encoding='gb2312')
    cols_len = len(df.columns)
    rows_len = len(df)
    x_head = [str(c).strip() for c in df[x_head_key]]
    print '数据列', cols_len, '数据行', rows_len, 'X轴数据', len(x_head),  '图数', len(data_key)

    yw_list = []
    for m_data in data_key:
        m_list = []
        m_list_head = []
        for i in m_data:
            di = [d for d in df[df.columns[i]]]
            m_list.append(di)
            m_list_head.append(df.columns[i])
        yw_i = {
            'x': x_head,
            'head': m_list_head,
            'data': m_list,
            'dict': m_yw
        }
        yw_list.append(yw_i)
    bars_show(yw_list)
    # lines_show(yw_list)


def csv_data_show_comb(csv_file, x_head_key, comb_key, data_key, m_yw):
    # 读取CSV 文件,获取单列数据,分组显示显示相关图示
    # x_head_key  X轴数据列
    # comb_key 分组数据列
    # data_key 显示数据列
    df = pd.read_csv(csv_file, sep=',', encoding='gb2312')
    cols_len = len(df.columns)
    rows_len = len(df)
    m_comb = list(set([c for c in df[comb_key]]))
    m_xhead = [str(d).strip() for d in df[(df[comb_key] == m_comb[0])][x_head_key]]
    print '数据列', cols_len, '数据行', rows_len, 'X坐标数据', len(m_xhead)

    yw_list = []
    m_list = []
    m_list_head = []

    for i in range(len(m_comb)):
        di = [d for d in df[(df[comb_key] == m_comb[i])][data_key]]
        m_list.append(di)
        m_list_head.append(str(m_comb[i]))
    yw_i = {
        'x': m_xhead,
        'head': m_list_head,
        'data': m_list,
        'dict': m_yw
    }
    yw_list.append(yw_i)
    bars_show(yw_list)
    # lines_show(yw_list)


def an_data1():
    # 画2张图 : 第一季度 及 1-5月
    m_data_list = [[1,2,3],[1,2,3,4,5]]
    m_yw = {
        'title': '工作量统计',
        'subtitle': '',
        'width': 800,
        'height': 300
    }
    csv_data_show(r'mt_data.csv', 'S_NAME', m_data_list, m_yw)


def an_data2():
    m_yw = {
        'title': '工作量统计-分组',
        'subtitle': '',
        'width': 800,
        'height': 300
    }
    csv_data_show_comb(r'mc_data.csv', 'S_NAME', 'D_MONTH', 'D_DATA', m_yw)

mc_data.csv

mt_data.csv

 

an_data1() 的效果

在Python中,可以使用pandas库对CSV文件数据进行分组。以下是一个示例代码,展示了如何使用pandas库对CSV文件数据进行分组: ```python import pandas as pd # 读取CSV文件 df = pd.read_csv('your_csv_file.csv') # 根据MMSI特征值进行分组 grouped = df.groupby('MMSI') # 遍历每个分组 for name, group in grouped: # 将每个分组数据写入新的CSV文件 group.to_csv('group_' + str(name) + '.csv', index=False) ``` 在这个示例中,我们首先使用`pd.read_csv()`函数读取CSV文件,并将数据存储在DataFrame对象`df`中。然后,我们使用`groupby()`函数根据'MMSI'特征值对数据进行分组。接下来,我们使用一个循环遍历每个分组,并使用`to_csv()`函数将每个分组数据写入新的CSV文件。在这个示例中,新的CSV文件文件名以分组的'MMSI'特征值命名。 请注意,你需要将代码中的'your_csv_file.csv'替换为你实际的CSV文件路径。此外,你还可以根据需要对代码进行修改,以适应你的具体需求。 #### 引用[.reference_title] - *1* *3* [利用Python将csv文件按照某列分成小csv](https://blog.csdn.net/baidu_38271024/article/details/88207428)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down1,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [利用python对CSV文件分组并拆分文件](https://blog.csdn.net/qq_27575895/article/details/80901541)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

陈年椰子

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值