python数据处理

最新推荐文章于 2023-07-25 21:21:39 发布
最新推荐文章于 2023-07-25 21:21:39 发布
阅读量320 收藏
点赞数
文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Baro_knight/article/details/111714765
版权

csv文件格式

csv文件格式的本质是一种以文本存储的表格数据(使用excel可以读写csv文件)。

import csv

filename = 'guangzhou-2017.csv'
# 打开文件
with open(filename) as f:
    # 创建cvs文件读取器
    reader = csv.reader(f)
    # 读取第一行，这行是表头数据。
    header_row = next(reader)
    print(header_row)
    # 读取第二行，这行是真正的数据。
    first_row = next(reader)
    print(first_row)

EXCEL天气表

import csv
from datetime import datetime
from matplotlib import pyplot as plt

filename = 'guangzhou-2017.csv'
# 打开文件
with open(filename) as f:
    # 创建cvs文件读取器
    reader = csv.reader(f)
    # 读取第一行，这行是表头数据。
    header_row = next(reader)
    print(header_row)
    # 定义读取起始日期
    start_date = datetime(2017, 6, 30)
    # 定义结束日期
    end_date = datetime(2017, 8, 1)
    # 定义3个list列表作为展示的数据
    dates, highs, lows = [], [], []
    for row in reader:
        # 将第一列的值格式化为日期
        d = datetime.strptime(row[0], '%Y-%m-%d')
        # 只展示2017年7月的数据
        if start_date < d < end_date:
            dates.append(d)
            highs.append(int(row[1]))
            lows.append(int(row[2]))

# 配置图形
fig = plt.figure(dpi=128, figsize=(12, 9))
# 绘制最高气温的折线
plt.plot(dates, highs, c='red', label='最高气温',
    alpha=0.5, linewidth = 2.0, linestyle = '-', marker='v')
# 再绘制一条折线
plt.plot(dates, lows, c='blue', label='最低气温',
    alpha=0.5, linewidth = 3.0, linestyle = '-.', marker='o')
# 为两个数据的绘图区域填充颜色
plt.fill_between(dates, highs, lows, facecolor='blue', alpha=0.1)
# 设置标题
plt.title("广州2017年7月最高气温和最低气温")
# 为两条坐标轴设置名称
plt.xlabel("日期")
# 该方法绘制斜着的日期标签
fig.autofmt_xdate()
plt.ylabel("气温（℃）")
# 显示图例
plt.legend()
ax = plt.gca()
# 设置右边坐标轴线的颜色（设置为none表示不显示）
ax.spines['right'].set_color('none')
# 设置顶部坐标轴线的颜色（设置为none表示不显示）
ax.spines['top'].set_color('none')
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False
plt.show()
import csv
from datetime import datetime
from matplotlib import pyplot as plt

filename = 'guangzhou-2017.csv'
# 打开文件
with open(filename) as f:
    # 创建cvs文件读取器
    reader = csv.reader(f)
    # 读取第一行，这行是表头数据。
    header_row = next(reader)
    print(header_row)
    # 定义读取起始日期
    start_date = datetime(2017, 6, 30)
    # 定义结束日期
    end_date = datetime(2017, 8, 1)
    # 定义3个list列表作为展示的数据
    dates, highs, lows = [], [], []
    for row in reader:
        # 将第一列的值格式化为日期
        d = datetime.strptime(row[0], '%Y-%m-%d')
        # 只展示2017年7月的数据
        if start_date < d < end_date:
            dates.append(d)
            highs.append(int(row[1]))
            lows.append(int(row[2]))

# 配置图形
fig = plt.figure(dpi=128, figsize=(12, 9))
# 绘制最高气温的折线
plt.plot(dates, highs, c='red', label='最高气温', 
    alpha=0.5, linewidth = 2.0, linestyle = '-', marker='v')
# 再绘制一条折线
plt.plot(dates, lows, c='blue', label='最低气温',
    alpha=0.5, linewidth = 3.0, linestyle = '-.', marker='o')
# 为两个数据的绘图区域填充颜色
plt.fill_between(dates, highs, lows, facecolor='blue', alpha=0.1)
# 设置标题
plt.title("广州2017年7月最高气温和最低气温")
# 为两条坐标轴设置名称
plt.xlabel("日期")
# 该方法绘制斜着的日期标签
fig.autofmt_xdate()
plt.ylabel("气温（℃）")
# 显示图例
plt.legend()
ax = plt.gca()
# 设置右边坐标轴线的颜色（设置为none表示不显示）
ax.spines['right'].set_color('none')
# 设置顶部坐标轴线的颜色（设置为none表示不显示）
ax.spines['top'].set_color('none')
plt.show()

csv数据画图

import csv
import pygal

filename = 'guangzhou-2017.csv'
# 打开文件
with open(filename) as f:
    # 创建cvs文件读取器
    reader = csv.reader(f)
    # 读取第一行，这行是表头数据。
    header_row = next(reader)
    print(header_row)
    # 准备展示的数据
    shades, sunnys, cloudys, rainys = 0, 0, 0, 0
    for row in reader:
        if '阴' in row[3]:
            shades += 1
        elif '晴' in row[3]:
            sunnys += 1
        elif '云' in row[3]:
            cloudys += 1
        elif '雨' in row[3]:
            rainys += 1
        else:
            print(rows[3])
# 创建pygal.Pie对象（饼图）
pie = pygal.Pie()
# 为饼图添加数据
pie.add("阴", shades)
pie.add("晴", sunnys)
pie.add("多云", cloudys)
pie.add("雨", rainys)
pie.title = '2017年广州天气汇总'
# 设置将图例放在底部
pie.legend_at_bottom = True
# 指定将数据图输出到SVG文件中
pie.render_to_file('guangzhou_weather.svg')

JSON数据

import json
from matplotlib import pyplot as plt
import numpy as np

filename = 'gdp_json.json'
# 读取JSON格式的GDP数据
with open(filename) as f:
    gpd_list = json.load(f)
# 使用list列表依次保存中国、美国、日本、俄罗斯、加拿大的GDP值
country_gdps = [{}, {}, {}, {}, {}]
country_codes = ['CHN', 'USA', 'JPN', 'RUS', 'CAN']
# 遍历列表的每个元素，每个元素是一个GDP数据项
for gpd_dict in gpd_list:
    for i, country_code in enumerate(country_codes):
        # 只读取指定国家的数据
        if gpd_dict['Country Code'] == country_code:
            year = gpd_dict['Year']
            # 只读取2001年到2016
            if 2017 > year > 2000:
                country_gdps[i][year] = gpd_dict['Value']
# 使用list列表依次保存中国、美国、日本、俄罗斯、加拿大的GDP值
country_gdp_list = [[], [], [], [], []]
# 构建时间数据
x_data = range(2001, 2017)
for i in range(len(country_gdp_list)):
    for year in x_data:
        # 除以1e8，让数值变成以亿为单位
        country_gdp_list[i].append(country_gdps[i][year] / 1e8)
bar_width=0.15
fig = plt.figure(dpi=128, figsize=(15, 8))
colors = ['indianred', 'steelblue', 'gold', 'lightpink', 'seagreen']
# 定义国家名称列表
countries = ['中国', '美国', '日本', '俄罗斯', '加拿大']
# 采用循环绘制5组柱状图
for i in range(len(colors)):
    # 使用自定义X坐标将数据分开
    plt.bar(x=np.arange(len(x_data))+bar_width*i, height=country_gdp_list[i],
        label=countries[i], color=colors[i], alpha=0.8, width=bar_width)
    # 仅为中国、美国的条柱上绘制GDP数值
    if i < 2:
        for x, y in enumerate(country_gdp_list[i]):
            plt.text(x, y + 100, '%.0f' % y, ha='center', va='bottom')
# 为X轴设置刻度值
plt.xticks(np.arange(len(x_data))+bar_width*2, x_data)
# 设置标题
plt.title("2001到2016年各国GDP对比")
# 为两条坐标轴设置名称
plt.xlabel("年份")
plt.ylabel("GDP(亿美元)")
# 显示图例
plt.legend()
plt.show()

JSON数据图片

import json
import pygal

filename = 'gdp_json.json'
# 读取JSON格式的GDP数据
with open(filename) as f:
    gpd_list = json.load(f)
pop_filename = 'population-figures-by-country.json'
# 读取JSON格式的人口数据
with open(pop_filename) as f:
    pop_list = json.load(f)

# 使用list列表依次保存美国、日本、俄罗斯、加拿大的人均GDP值
country_mean_gdps = [{}, {}, {}, {}]
country_codes = ['USA', 'JPN', 'RUS', 'CAN']
# 遍历列表的每个元素，每个元素是一个GDP数据项
for gpd_dict in gpd_list:
    for i, country_code in enumerate(country_codes):
        # 只读取指定国家的数据
        if gpd_dict['Country Code'] == country_code:
            year = gpd_dict['Year']
            # 只读取2001年到2016
            if 2017 > year > 2000:
                for pop_dict in pop_list:
                    # 获取指定国家的人口数据
                    if pop_dict['Country_Code'] == country_code:
                        # 使用该国GDP总值除以人口数量，得到人均GDP
                        country_mean_gdps[i][year] = round(gpd_dict['Value']
                            / pop_dict['Population_in_%d' % year])
# 使用list列表依次保存美国、日本、俄罗斯、加拿大的人均GDP值
country_mean_gdp_list = [[], [], [], []]
# 构建时间数据
x_data = range(2001, 2017)
for i in range(len(country_mean_gdp_list)):
    for year in x_data:
        country_mean_gdp_list[i].append(country_mean_gdps[i][year])
# 定义国家名称列表
countries = ['美国', '日本', '俄罗斯', '加拿大']
# 创建pygal.Bar对象（柱状图）
bar = pygal.Bar()
# 采用循环添加代表条柱的数据
for i in range(len(countries)):
    bar.add(countries[i], country_mean_gdp_list[i])
bar.width=1100
# 设置X轴的刻度值
bar.x_labels = x_data
bar.title = '2001到2016年各国人均GDP对比'
# 设置X、Y轴的标题
bar.x_title = '年份'
bar.y_title = '人均GDP(美元)'
# 设置X轴的刻度值旋转45度
bar.x_label_rotation = 45
# 设置将图例放在底部
bar.legend_at_bottom = True
# 指定将数据图输出到SVG文件中
bar.render_to_file('mean_gdp.svg')

数据清洗

import csv
import pygal
from datetime import datetime
from datetime import timedelta

filename = 'guangzhou-2017.csv'
# 打开文件
with open(filename) as f:
    # 创建cvs文件读取器
    reader = csv.reader(f)
    # 读取第一行，这行是表头数据。
    header_row = next(reader)
    print(header_row)

    # 准备展示的数据
    shades, sunnys, cloudys, rainys = 0, 0, 0, 0
    prev_day = datetime(2016, 12, 31)
    for row in reader:
        try:
            # 将第一列的值格式化为日期
            cur_day = datetime.strptime(row[0], '%Y-%m-%d')
            description = row[3]
        except ValueError:
            print(cur_day, '数据出现错误')
        else:
            # 计算前、后两天数据的时间差
            diff = cur_day - prev_day
            # 如果前、后两天数据的时间差不是相差一天，说明数据有问题
            if diff != timedelta(days=1):
                print('%s之前少了%d天的数据' % (cur_day, diff.days - 1))
            prev_day = cur_day   
            if '阴' in description:
                shades += 1
            elif '晴' in description:
                sunnys += 1
            elif '云' in description:
                cloudys += 1
            elif '雨' in description:
                rainys += 1
            else:
                print(description)
# 创建pygal.Pie对象（饼图）
pie = pygal.Pie()
# 为饼图添加数据
pie.add("阴", shades)
pie.add("晴", sunnys)
pie.add("多云", cloudys)
pie.add("雨", rainys)
pie.title = '2017年广州天气汇总'
# 设置将图例放在底部
pie.legend_at_bottom = True
# 指定将数据图输出到SVG文件中
pie.render_to_file('guangzhou_weather.svg')

读取网络数据

import re
from datetime import datetime
from datetime import timedelta
from matplotlib import pyplot as plt
from urllib.request import *

# 定义一个函数读取lishi.tianqi.com的数据
def get_html(city, year, month):  #①
    url = 'http://lishi.tianqi.com/' + city + '/' + str(year) + str(month) + '.html'
    # 创建请求
    request = Request(url)
    # 添加请求头
    request.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; WOW64)' +
        'AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36')
    response = urlopen(request)
    # 获取服务器响应
    return response.read().decode('gbk')
 
# 定义3个list列表作为展示的数据
dates, highs, lows = [], [], []
city = 'guangzhou'
year = '2017'
months = ['01', '02', '03', '04', '05', '06', '07', 
    '08', '09', '10', '11', '12']
prev_day = datetime(2016, 12, 31)
# 循环读取每个月的天气数据
for month in months:
    html = get_html(city, year, month)
    # 将html响应拼起来
    text = "".join(html.split())
    # 定义包含天气信息的div的正则表达式
    patten = re.compile('<divclass="tqtongji2">(.*?)</div><divstyle="clear:both">')
    table = re.findall(patten, text)
    patten1 = re.compile('<ul>(.*?)</ul>')
    uls = re.findall(patten1, table[0])
    for ul in uls:
        # 定义解析天气信息的正则表达式
        patten2 = re.compile('<li>(.*?)</li>')
        lis = re.findall(patten2, ul)
        # 解析得到日期数据
        d_str = re.findall('>(.*?)</a>', lis[0])[0]
        try:
            # 将日期字符串格式化为日期
            cur_day = datetime.strptime(d_str, '%Y-%m-%d')
            # 解析得到最高气温和最低气温
            high = int(lis[1])
            low = int(lis[2])
        except ValueError:
            print(cur_day, '数据出现错误')
        else:
            # 计算前、后两天数据的时间差
            diff = cur_day - prev_day
            # 如果前、后两天数据的时间差不是相差一天，说明数据有问题
            if diff != timedelta(days=1):
                print('%s之前少了%d天的数据' % (cur_day, diff.days - 1))
            dates.append(cur_day)
            highs.append(high)
            lows.append(low)
            prev_day = cur_day
# 配置图形
fig = plt.figure(dpi=128, figsize=(12, 9))
# 绘制最高气温的折线
plt.plot(dates, highs, c='red', label='最高气温', 
    alpha=0.5, linewidth = 2.0)
# 再绘制一条折线
plt.plot(dates, lows, c='blue', label='最低气温',
    alpha=0.5, linewidth = 2.0)
# 为两个数据的绘图区域填充颜色
plt.fill_between(dates, highs, lows, facecolor='blue', alpha=0.1)
# 设置标题
plt.title("广州%s年最高气温和最低气温" % year)
# 为两条坐标轴设置名称
plt.xlabel("日期")
# 该方法绘制斜着的日期标签
fig.autofmt_xdate()
plt.ylabel("气温（℃）")
# 显示图例
plt.legend()
ax = plt.gca()
# 设置右边坐标轴线的颜色（设置为none表示不显示）
ax.spines['right'].set_color('none')
# 设置顶部坐标轴线的颜色（设置为none表示不显示）
ax.spines['top'].set_color('none')
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False
plt.show()
baroknight
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python学习笔记day09
第二剑~的博客
06-07 438
这两天事情太多，耽误了学习。一、分析数据    1.CSV文件格式        CSV文件格式就是将数据作为一系列以逗号分隔的值的形式来存储到文件中，这样的文件，就叫做CSV文件。    2.Python的标准库中有一个模块叫做csv，用来分析CSV文件数据行。假设现在有一个CSV文件叫做test.csv，现在例如：import csv with open('test.csv') as f: ...
gdp_json.json
07-13
本文件为各国GDP数据的 JSON 文件，供使用者练习 JSON 文件数据的处理和分析。
SQL查询语句中的 limit 与 offset 的区别
Hello_Mysmallworld的博客
09-30 336
SQL查询语句中的 limit 与 offset 的区别： limit y分句表示: 读取 y 条数据 limit x, y分句表示: 跳过 x 条数据，读取 y 条数据 limit y offset x分句表示: 跳过 x 条数据，读取 y 条数据 比如分页获取数据： 第1页： 从第0个开始，获取20条数据 select * from testtable limit 0, 20; select * from testtable limit 20 offset 0...
python从入门到实践16章答案
weixin_68144638的博客
07-08 1348
这里是《Python从入门到实践》的16章练习答案，如果有错误或者可以改进的地方欢迎在评论区指正
Python之基础详解（七）：如同打印机一般，整整齐齐的将csv格式存储的数据可视化，（就是要整整齐齐）
zhu_rui的博客
04-06 1540
要在文本文件中存储数据，最简单的方式就是将数据作为一系列以逗号分割的值（csv）写入文件。
python处理数据
zd454909951的博客
09-16 1619
1、安装python 下载Download Python | Python.org 正常安装，勾选Add Python 3.9 to PATH 2、安装openpyxl库 点击windows键+R键，弹出cmd框。cmd框中输入pip installopenpyxl，回车。安装成功，则弹出消息Finished processing dependencies foropenpyxl==openpyxl的版本号。 若提示pip需要升级则输入python -m install pip --upg...
python数据处理实战案例
最新发布
12-27
在 Python 的数据处理方面经常会用到一些比较常用的数据处理方式，比如pandas、numpy等等。今天介绍的这款 Python 数据处理的管道数据处理方式，通过链式函数的方式可以轻松的完成对list列表数据的处理，希望对大家...
python数据处理数据集
04-14
总的来说，这个数据集提供了一个全面的Python数据处理实践环境，涵盖了数据读取、清洗、分析和结果展示等多个环节。通过学习和实践，你可以掌握Python在数据处理方面的核心技能，包括使用Pandas进行数据操作，使用...
excel对比两边数据去重
夏天吹雪的博客
09-29 3815
需求:筛选重复数据，A列是1000条数据，C列是100条数据，删除重复的数据，只剩900条。 首先，A列数据要分列，因为数据格式不一样，会导致后面的问题，一直下一步到完成 第二步，在B和D列加数字1，相当于索引，相同的数据长度，做匹配，下图A和C的数据取反了 第三步，数据--筛选，然后过滤掉C列数据 最后复制A列的数据，已经处理好的数据，到其他页面，验证完成 ...
关于Python编程从入门到实践这本书中第16.1.3中的 header_row = next(reader)
theblack_的博客
11-03 1328
import csv from datetime import datetime from matplotlib import pyplot as plt #从文件中获取日期和最高气温 filename = "csv/sitka_weather_07-2014.csv" with open(filename) as f: reader = csv.reader(f) heade...
R语言nc格式转换非常简单，三行语句搞定
sinat_34873854的博客
07-15 2813
library(raster) tmpbr<-brick("C3S-LC-L4-LCCS-Map-300m-P1Y-2016-v2.1.1.nc") writeRaster(tmpbr,filename="2016.tif",format="GTiff")
Python ESA 土壤水分数据nc转为tif格式
我是菜鸡我不敢睡的博客
05-03 1428
ESA 土壤水分下载网址：http://www.esa-landcover-cci.org/?q=node/164 数据处理结果是每天一个数据，结果如下 在arcgis中的信息如下： 处理代码如下： import numpy as np import netCDF4 as nc from osgeo import gdal,osr,ogr import os import glob def nc2tif(path,name,save_path): os.chdir(pa...
css 背景图怎么设置自动填充满_CSS属性设置 -- 背景样式
weixin_39645165的博客
11-29 543
Ⅰ background-color: -- 设置标签的背景颜色rgba(0,0,0,0.65); -- (红,緑,蓝三原色,透明度)只能给背景设置透明度opacity: 0.65; -- 改变整个标签的透明度<style> Ⅱ background-image: --设置标签的背景图片url("图片网址"); -- 如果图片的大小没有标签大，那么会自...
全面解析background背景铺满
流水笔记
07-25 5239
当我们给网页设置一个背景图或背景色时，如果这张背景图或背景色不能够填满整个网页，就会出现下面这样的情况：body {而background背景铺满就是指让背景色或背景图自动缩放铺满整个网页，不留任何空隙。通过background-size属性可以轻松实现background背景铺满，而通过background-position、background-attachment等属性的设置，可以使背景图像更加美观、完整。而动态背景则可以为网页增添生动感、节奏感。
【数据】1992-2020 ESA_CCI_Land Cover_300m_Yearly_World土地覆数据下载教程
weixin_43288659的博客
12-21 7698
1992-2020年CCI土地覆盖数据集
PIE&GEE下载三款10米土地利用数据代码
锐多宝的地理空间
10-23 3192
0.背景 GEE已经上线了Esri和ESA的10米土地利用数据，PIE也上线了FROM_GLC的10米土地利用数据。汇总了这三款数据的下载方法。 1.ESA的10米数据下载 第一步是设置参数，并加载ESA的数据。 //显示参数设置 var imageVisParam_ESA = {"opacity":1,"bands":["Map"],"min":10,"max":110,"palette":["8dffda","14ff31","686dff","ff9b54","ff712d","ff66b4"]};
ESA CCI land cover data土地利用数据下载
Prophet.Z的博客
04-13 800
ESA CCI土地利用数据下载
土地利用/土地覆盖数据整理
热门推荐
weixin_42311008的博客
04-21 1万+
土地利用/土地覆盖数据是开展地理、生态、环境等研究的基础数据，本文对目前主流且开源的土地利用数据进行整理，随时更新，欢迎补充！
python 数据处理
08-02
Python在数据处理方面有很强大的功能和库。可以使用pandas库来读取和处理数据。可以使用pd.read_csv函数来读取csv文件，例如：f = pd.read_csv("file_path")。可以使用pd.DataFrame函数来创建DataFrame，可以通过字典或列表的方式传入数据，例如：dataframe = pd.DataFrame(temp, index=list("ab"))或dataframe = pd.DataFrame(temp, index=list("abc"))。此外，Python还可以连接MongoDB数据库并读取数据，例如：col = client["python"]["book"]，data = list(col.find())，a = pd.DataFrame(data)。在处理数据时，可以根据需要选择和处理所需的数据，例如：data_list = []，for i in data: data_list.append({"book_name": i["bookName"], "time": i["time"]})，a = pd.DataFrame(data_list)。总之，Python提供了丰富的功能和库来处理数据。[1][2][3]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值