Python-数据可视化案例

最新推荐文章于 2024-04-30 19:24:04 发布
最新推荐文章于 2024-04-30 19:24:04 发布
阅读量1k 收藏 21
点赞数 3
文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43524475/article/details/119039743
版权

拉勾网数据清洗及统计分析

 文件下载： 用于博客系列文章pandans的学习文件.zip

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

第一步: 批量处理数据

  面临的是一个和之前不一样的情况，有好多个文件要操作.

  1. 查看数据的样子
  2. 批量读取文件, os模块,获取文件列表
  3. for循环依次读取,
  4. 当你有一大堆的DataFrame想要保存的时候,可以用容器型数据.这里我们用字典保存数据.
# 数据用逗号进行分割
import os

os.listdir('lagou_copy')   # 查看文件列表
'''
['.DS_Store',
 'beijing.csv',
 'changsha.csv',
 'chengdu.csv',
 'chongqing.csv',
 'foshan.csv',
 'guangzhou.csv',
 'hangzhou.csv',
 'nanjing.csv',
 'shanghai.csv',
 'shenzhen.csv',
 'suzhou.csv',
 'tianjin.csv',
 'wuhan.csv',
 'xiamen.csv',
 'xian.csv',
 'zhengzhou.csv',
 '修改记录.txt']
'''

# 把想要读取的文件名称保存下来
file_name_list = []
# 批量读取
for filename in os.listdir('lagou_copy'):
    # 过滤条件, 只要csv文件
    if filename[-4:] == '.csv':
#         print(filename)
        file_name_list.append(filename)
        
file_name_list
'''

['beijing.csv',
 'changsha.csv',
 'chengdu.csv',
 'chongqing.csv',
 'foshan.csv',
 'guangzhou.csv',
 'hangzhou.csv',
 'nanjing.csv',
 'shanghai.csv',
 'shenzhen.csv',
 'suzhou.csv',
 'tianjin.csv',
 'wuhan.csv',
 'xiamen.csv',
 'xian.csv',
 'zhengzhou.csv']
'''

# 批量读取
# 存到字典里面
lagou_dict = {}
for filename in file_name_list:
    key = filename[:-4]
    # 读取数据
    value = pd.read_csv('lagou_copy/'+filename)
    # 在字典里面添加一个键值对
    lagou_dict[key] = value
 
lagou_dict.keys() 
'''
dict_keys(['zhengzhou', 'xiamen', 'foshan', 'xian', 'changsha', 'wuhan', 'shenzhen', 'hangzhou', 'suzhou', 'guangzhou', 'chongqing', 'chengdu', 'shanghai', 'beijing', 'nanjing', 'tianjin'])
'''

lagou_dict['suzhou'] # 提取哪个城市就用哪个城市名称

在这里插入图片描述

# 用循环批量去除掉所有表格中的没有用的第一列

# for循环对字典进行遍历
for key in lagou_dict:
    print(key)
    lagou_dict[key].drop(columns='Unnamed: 0',inplace=True) # 删除

lagou_dict['zhengzhou']

在这里插入图片描述

# 统计每一个城市分别有多少条数据
# 将结果存到一个Series里面
# 建立一个空的
city_num = pd.Series()
# 对每个DataFrame进行遍历
for key in lagou_dict:
    # 得到DataFrame行数
    value = lagou_dict[key].shape[0]
    # 添加进Series里面去
    city_num[key] = value

# 排序
city_num.sort_values(ascending=False)
'''
beijing      450
shanghai     435
shenzhen     262
guangzhou    177
hangzhou     145
chengdu       46
wuhan         45
nanjing       30
changsha      16
xiamen        14
xian          12
foshan        10
zhengzhou      9
chongqing      8
suzhou         8
tianjin        7
dtype: int64
'''

# 对DataFrame再做一个过滤，删掉少于30条数据的城市


# 我们不直接在原来的字典中删除

# 而是弄一个新的,然后把超过30条的放进新的里面去
# 建立新字典
lagou_dict_30 = {}
for city in lagou_dict:
    # 判断这个DataFrame有没有超过30条
    if lagou_dict[city].shape[0] >= 30:
        # 如果满足条件,就添加到新字典里面去
        lagou_dict_30[city] = lagou_dict[city]

lagou_dict_30.keys()
'''
dict_keys(['wuhan', 'shenzhen', 'hangzhou', 'guangzhou', 'chengdu', 'shanghai', 'beijing', 'nanjing'])

'''

# 批量统计一下这些表格中的空值情况
for city in lagou_dict_30:
    print(city)
    print(lagou_dict_30[city].isnull().sum())
    print('-'*30)
'''
wuhan
标题      0
城市      3
地点      1
薪资待遇    3
岗位要求    0
名称      0
级别      0
岗位技能    0
短评      0
dtype: int64
------------------------------
shenzhen
标题      0
城市      0
公司地点    0
薪资待遇    0
工位要求    0
公司名称    0
公司级别    0
岗位技能    0
公司短评    0
dtype: int64
------------------------------
hangzhou
标题      0
城市      0
公司地点    0
薪资待遇    0
工位要求    0
公司名称    0
公司级别    0
岗位技能    0
公司短评    0
dtype: int64
------------------------------
guangzhou
标题      0
城市      0
公司地点    0
薪资待遇    0
工位要求    0
公司名称    0
公司级别    0
岗位技能    0
公司短评    0
dtype: int64
------------------------------
chengdu
标题      0
城市      0
公司地点    0
薪资待遇    0
工位要求    0
公司名称    0
公司级别    0
岗位技能    1
公司短评    0
dtype: int64
------------------------------
shanghai
标题      0
城市      0
公司地点    0
薪资待遇    0
工位要求    0
公司名称    0
公司级别    0
岗位技能    1
公司短评    0
dtype: int64
------------------------------
beijing
标题      0
公司地点    0
薪资待遇    0
工位要求    0
公司名称    0
公司级别    0
岗位技能    1
公司短评    0
dtype: int64
------------------------------
nanjing
标题      0
城市      2
公司地点    1
薪资待遇    2
工位要求    0
公司名称    1
公司级别    0
岗位技能    0
公司短评    0
dtype: int64
------------------------------
'''
# 城市这一列必须要先进行填充


# 对所有城市都填充城市众数
for key in lagou_dict_30:
    # 判断这个城市有没有这一列
    if '城市' in lagou_dict_30[key].columns: # 有这一列
        # 填充
        lagou_dict_30[key].城市.fillna(lagou_dict_30[key].城市.mode()[0],inplace=True)

第二步：合并数据

# 三分钟时间自己试一下合并数据

# 定义一个空的DataFrame, 把所有的DataFrame都合并到这里面来
df = pd.DataFrame()

# 对字典进行遍历
for key in lagou_dict_30:
    
    df = df.append(lagou_dict_30[key] ,  ignore_index=True,sort=False) # 忽略原索引


# 发现有一些相同的字段用的是不同的名称

# 所以需要进一步处理,首先找出哪些字段存在问题

# 把所有表格列名打印出来观察
for key in lagou_dict_30:
    print(key)
    print(lagou_dict_30[key].columns)
    print('-'*30)
'''
wuhan
Index(['标题', '城市', '地点', '薪资待遇', '岗位要求', '名称', '级别', '岗位技能', '短评'], dtype='object')
------------------------------
shenzhen
Index(['标题', '城市', '公司地点', '薪资待遇', '工位要求', '公司名称', '公司级别', '岗位技能', '公司短评'], dtype='object')
------------------------------
hangzhou
Index(['标题', '城市', '公司地点', '薪资待遇', '工位要求', '公司名称', '公司级别', '岗位技能', '公司短评'], dtype='object')
------------------------------
guangzhou
Index(['标题', '城市', '公司地点', '薪资待遇', '工位要求', '公司名称', '公司级别', '岗位技能', '公司短评'], dtype='object')
------------------------------
chengdu
Index(['标题', '城市', '公司地点', '薪资待遇', '工位要求', '公司名称', '公司级别', '岗位技能', '公司短评'], dtype='object')
------------------------------
shanghai
Index(['标题', '城市', '公司地点', '薪资待遇', '工位要求', '公司名称', '公司级别', '岗位技能', '公司短评'], dtype='object')
------------------------------
beijing
Index(['标题', '公司地点', '薪资待遇', '工位要求', '公司名称', '公司级别', '岗位技能', '公司短评'], dtype='object')
------------------------------
nanjing
Index(['标题', '城市', '公司地点', '薪资待遇', '工位要求', '公司名称', '公司级别', '岗位技能', '公司短评'], dtype='object')
------------------------------
'''

d = {'地点':'公司地点','岗位要求':'工位要求','名称':'公司名称',
    '级别':'公司级别','短评':'公司短评'}

# 把武汉数据里面不一样的列名改成统一的
lagou_dict_30['wuhan'].rename(columns=d,inplace=True)

# 重新进行合并
# 定义一个空的DataFrame, 把所有的DataFrame都合并到这里面来
df = pd.DataFrame()
# 对字典进行遍历
for key in lagou_dict_30:
    
    df = df.append(lagou_dict_30[key] ,  ignore_index=True,sort=False) # 忽略原索引

第三步：简单了解数据

df.info()
'''
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 1590 entries, 0 to 1589
Data columns (total 9 columns):
标题      1590 non-null object
城市      1140 non-null object
公司地点    1588 non-null object
薪资待遇    1585 non-null object
工位要求    1590 non-null object
公司名称    1589 non-null object
公司级别    1590 non-null object
岗位技能    1587 non-null object
公司短评    1590 non-null object
dtypes: object(9)
memory usage: 111.9+ KB
'''

# 把城市中空值数据过滤出来
df[df.城市.isnull()]
# 把城市中的空值填充成北京
df.城市.fillna('北京',inplace=True)
df.info()
'''
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 1590 entries, 0 to 1589
Data columns (total 9 columns):
标题      1590 non-null object
城市      1590 non-null object
公司地点    1588 non-null object
薪资待遇    1585 non-null object
工位要求    1590 non-null object
公司名称    1589 non-null object
公司级别    1590 non-null object
岗位技能    1587 non-null object
公司短评    1590 non-null object
dtypes: object(9)
memory usage: 111.9+ KB
'''

# 提取所有空值
df[df.isnull().sum(axis=1) > 0]

df.describe()

在这里插入图片描述

进一步处理数据


# 把公司地点中的括号去掉
df.公司地点 = df.公司地点.str.replace('[','').str.replace(']','')


# 想办法把部分和要求的工位要求数据提取出来
# 发现规则: 错误的没有k字母,正确的有k字母
# 保存成t
t = df[~(df.工位要求.str.contains('k') | df.工位要求.str.contains('K')) ]

# 用新的正确的数据,覆盖原来的三个错误数据
df.loc[t.index, '工位要求'] = ["8k-16k ",'6k-8k ','6k-9k '] + df.loc[t.index, '工位要求']


# 拆分
df[['薪资','经验要求','临时','学历']] = df.工位要求.str.split(' ',expand=True)
# 删掉三列不需要的数据
df.drop(columns=['薪资待遇','工位要求','临时'],inplace=True)



# 处理薪资列,拆分成最大值和最小值

# 将k替换成000 , K也替换
t2 = df.薪资.str.replace('k','000').str.replace('K','000')

# 传回原数据
df[['最低薪资','最高薪资']] = t2.str.split('-',expand=True)

# 将两列薪资改成整数型
df.最低薪资 = df.最低薪资.astype('int')
df.最高薪资 = df.最高薪资.astype('int')
# 计算平均薪资, 整除2
df['平均薪资'] = (df.最低薪资 + df.最高薪资)//2
# 删除调原薪资列
df.pop('薪资')


# 公司级别拆分成三列

df[['公司类型','融资阶段','公司规模']] = df.公司级别.str.split(' / ',expand=True)
# 把原来的列删除掉
df.pop('公司级别')

# 调整列顺序
df = df[['标题','城市','公司名称','公司地点','公司类型',
   '融资阶段','公司规模','经验要求','学历',
   '最低薪资','最高薪资','平均薪资',
   '岗位技能','公司短评']]

第四步：数据统计分析

# 城市分布
df.城市.value_counts()
'''
北京    450
上海    435
深圳    262
广州    177
杭州    145
成都     46
武汉     45
南京     30
Name: 城市, dtype: int64
'''

plt.style.use("seaborn") 

# windows电脑 Matplotlib 支持中文
plt.rcParams['font.sans-serif']=['SimHei']
plt.rcParams['axes.unicode_minus'] = False

df.城市.value_counts().plot(kind='bar');

在这里插入图片描述

# 经常要绘制柱状图
def bar(column):
    """传入列名,绘制柱状图"""
    return df[column].value_counts().plot(kind='bar');
   
bar('融资阶段');

在这里插入图片描述

# 薪资的密度曲线/直方图
df[['最低薪资','平均薪资','最高薪资']].plot(kind='kde')
plt.xlim(-10000,100000);

在这里插入图片描述

分组统计

  不同类别的薪资情况

df.groupby('城市').mean()

在这里插入图片描述

# 排序
df.groupby(by='城市').mean().sort_values(by ='平均薪资' ,ascending=False)

在这里插入图片描述

# 其他统计值
df.groupby('城市')['平均薪资'].agg(['max','min','median','mean'])

在这里插入图片描述

# 定义函数,分组统计
def group_salary(column):
    return df.groupby(column).mean().sort_values(by ='平均薪资' ,ascending=False)
group_salary('融资阶段')

在这里插入图片描述

樊鴻燁
关注
  • 3
    点赞
  • 踩
  • 21
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python数据分析与可视化-电子教案.pdf
06-12
《Python 数据分析与可视化》课程教案（首页） 学院： 计算机系/学院 课程/项目 名称 数据分析与可视化 课程 总学时：60 学时 理论：36 学时 实验：24 学时 学分 3 课程 课程类别：专业必修 专业必修 公共必修 公共选修 授课教师 *** 授课专业 大数据技术与应用 授课班级 教学 目的和要求 通过本课程的学习，让学生接触并了解数据分析与可视化的基本使用方法，使学生 具有 Python 数据分析、设计和可视化开发的能力，并具有较强的分析问题和解决问题 的能力，为将来从事数据科学相关领域的工作打下坚实的基础。 教学 重点、难点 教学重点： 掌握数据分析与可视化的基本原理与方法； 熟悉 Python 语言，能够熟练使用 Python 扩展库； 掌握 Numpy 库的使用； 掌握 Pandas 的数据分析方法、数据预处理方法； 掌握 Matplotlib 的绘图方法； 掌握 Seaborn 的绘图方法； 掌握 pyecharts 中绘图的基本用法； 掌握 Scipy 科学计算的基本用法； 掌握 Scikit-learn 中典型的分类与聚类算法的基本用法； 掌握利用 Open
数据可视化教学代码和案例（python+jupyter）
06-01
数据可视化的教学代码： 包括折线图+柱状图+饼图+盒图+散点图+直方图+3d图 画布的布局、画图中中文乱码的解决、背景板的选择等 简单的数据分析和可视化案例： titanic数据的简单分析可视化 iris数据的聚类可视化 GDP数据结合pyechart的应用 股票数据的可视化与简单的策略实现
python-可视化案例数据分享
10-17
文章【Python】-- 数据可视化案例（疫情确诊的折线图）、【Python】-- 数据可视化案例（地图可视化）的数据文件、【Python】-- 实现时间线柱状图可视化 数据资料
精选30个炫酷的数据可视化大屏(含源码)，拿走就用！
热门推荐
法纳斯特
09-26 2万+
大家好，我是小F～大屏数据可视化是以大屏为主要展示载体的数据可视化设计。“大面积、炫酷动效、丰富色彩”，大屏易在观感上给人留下震撼印象，便于营造某些独特氛围、打造仪式感。原本看不见的数据可...
12个惊艳的数据可视化案例，让你更懂数据可视化！
lsxxx2011的专栏
07-12 1123
来源丨网络Data 是美丽的——它可以激发、改善生活并激发人们最好的一面。嘿！我是 Gabe，我热衷于向他人传授 Python 和机器学习知识。但今天，我想分享我专业知识的另一个方面，它给我带来了巨大的快乐——数据分析和可视化。凭借在该领域十多年的经验，我见证了将原始数据转化为美观且信息丰富的可视化效果的力量。这就像用数字作画，创造出讲述故事并吸引观众的视觉交响乐。我在职业生涯中投入了很大...
国一大佬也收藏的16个Python数据可视化案例（附源码）
数模国一er
11-16 9486
数据可视化是数学建模比赛中关键的一步。 同学们在以数据可视化表现某些数据时可以尝试使用 Python 的第三方库。 不过有些同学可能会问也会遇到不少问题，比如选择何种图表，以及如何制作，代码如何编写，这些都是问题！ 今天给大家介绍几种常见的 Python 数据可视化图表（第一期），总计约 16 个示例~
太实用了！这几个Python数据可视化案例！(文末送书)
weixin_43373042的博客
05-22 1886
点击上方“关于数据分析与可视化”，选择“星标”公众号超级无敌干货，第一时间送达！！！大家好，我是俊欣。（文末送书）利用可视化探索图表一、数据可视化与探索图 数据可视化是指用图形或表格的方式来呈现数据。图表能够清楚地呈现数据性质， 以及数据间或属性间的关系，可以轻易地让人看图释义。用户通过探索图（Exploratory Graph）可以了解数据的特性、寻找数据的趋...
全球顶级的5个数据可视化案例
yangtu9418的博客
09-06 2万+
全球顶级的5个数据可视化案例 摘要： 当数据进行可视化后，就有了参考点，可以用各种合适的方法重新处理数据或进行测试，这能使企业能够更快、更平稳、更有效地发展。这也可以让它们在利益和名声受损之前排除一些问题。 美国Kimberly-Clark公司的全球总监Robert Abate说道：“每个人都认为其他所有人都在研究，所以都说自己也在研究。” 一语中的。 一些人知道大数据的真正含义...
数据分析案例-数据可视化
m0_64336780的博客
06-12 8212
数据介绍数据为2022年东奥会奖牌榜数据首先导入本次项目用的包和数据
惊艳全球数据行业的16个数据可视化例子
iteye_19740的博客
09-28 6345
数据是非常强大的。当然，如果你能真正理解它想告诉你的内容，那它的强大之处就更能体现出来了。 　　 通过观察数字和统计数据的转换以获得清晰的结论并不是一件容易的事。必须用一个合乎逻辑的、易于理解的方式来呈现数据。 谈谈数据可视化 人类的大脑对视觉信息的处理优于对文本的处理——因此使用图表、图形和设计元素，数据可视化可以帮你更容易的解释趋势和统计数据。 但是，并非所有的数据可视化是平等的...
python数据可视化技术
01-08
主要针对matplotlib,seaborn, geo,pyechart 等常用数据可视化模块，详细讲述了数据可视化的原理，方法，课件中用大量代码案例进行了展示，属于拿走即用的保姆级教学案例，对于学习python数据可视化的同学或者科研...
面向对象的数据可视化案例
06-12
关于面向对象的数据可视化案例，适合小白新手 面向对象数据分析案例（每日销售额柱状图数据可视化） 使用工具：Pycharm、面向对象、json模块、pyecharts模块等 实现步骤：读取数据--封装数据对象--计算数据对象--...
数据可视化常用的五种方式及案例分析
newusb的专栏
10-12 5816
概念借助于图形化的手段，清晰、快捷有效的传达与沟通信息。从用户的角度，数据可视化可以让用户快速抓住要点信息，让关键的数据点从人类的眼睛快速通往心灵深处。 数据可视化一般会具备以下几个特点：准确性、创新性 和 简洁性。 常用五种可视化方法 下面从最常用和实用的维度总结了如下5种数据可视化方法，让我们来一一看一下： 一、面积&尺寸可视化对同一类图形（例如柱状、圆环和蜘蛛图等）的长度、
原来可视化还能这么美...
SeizeeveryDay的博客
06-01 2920
作者：小袁zi来源：DataHunter你眼中的数据可视化的作品是否是各种条形图、柱状图等等堆积在一起进行数据的展示？今天看完为大家整理的17个数据可视化优秀作品，你就知道原来数据可视化...
17行代码实现将excel、csv数据批量导入到mysql数据库
qq_34510446的博客
03-08 1021
import pymysql import pandas as pd # 连接mysql数据库 conn = pymysql.connect(host='localhost', port=3306, user='root', passwd='123456', db='flask', charset='utf8') # 建立游标 cur = conn.cursor() data = pd.read_csv("shanghai.csv") # print(len(data)) # 插入数据语句 quer.
安装Pandas
斌墩墩
02-28 1万+
文章目录一、Pandas是什么？二、Pandas下载三、官网下载步骤 一、Pandas是什么？ Pandas 是一个开源的第三方 Python 库，从 Numpy 和 Matplotlib 的基础上构建而来，享有数据分析“三剑客之一”的盛名（NumPy、Matplotlib、Pandas）。Pandas 已经成为 Python 数据分析的必备高级工具，它的目标是成为强大、灵活、可以支持任何编程语言的数据分析工具。 二、Pandas下载 官网下载地址：https://www.python.org/ 作者网盘地
【python教程入门学习】Pandas库下载、安装和更新
BY_learner的博客
09-15 1万+
Pandas库下载和安装，以及更新pip的操作步骤
Python技术数据分析与可视化案例
vipfanxu的博客
09-24 265
接着，通过使用数据分析库，如NumPy和pandas，可以对交易数据进行各种统计和计算，如用户购买习惯、销售额分布等。通过对股票的历史数据进行分析和可视化，我们可以发现一些有用的特征和规律，如某种趋势的持续时间、股票价格的波动性等。通过Python的数据分析和自然语言处理技术，可以对社交媒体数据进行情感分析，帮助企业了解用户对产品、服务等的态度和意见。通过对社交媒体数据的情感分析和可视化，我们可以了解用户对不同话题的态度和意见，如产品的受欢迎程度、广告活动的影响等。
SpringBoot中实现发送邮件
最新发布
hac1322的博客
04-30 639
当你添加了spring-boot-starter-mail依赖后，Spring Boot会自动配置JavaMailSender实例，并根据application.yml文件中的属性来配置这个实例。你可以直接在需要发送邮件的地方通过@Autowired注解将JavaMailSender实例注入到你的类中，然后使用它来发送邮件。：首先，需要在你的pom.xml文件中添加Spring Boot的邮件发送器依赖。，简化了在Spring Boot应用程序中发送电子邮件的设置过程。Spring Boot的。
python爬取数据可视化案例
05-26
以下是一个简单的Python数据可视化案例，使用了Matplotlib和Pandas库： ```python import pandas as pd import matplotlib.pyplot as plt # 读取数据 data = pd.read_csv("data.csv") # 绘制直方图 plt.hist(data['value'], bins=20) plt.title("Value Distribution") plt.xlabel("Value") plt.ylabel("Frequency") plt.show() # 绘制散点图 plt.scatter(data['x'], data['y']) plt.title("Scatter Plot") plt.xlabel("X") plt.ylabel("Y") plt.show() # 绘制折线图 plt.plot(data['date'], data['value']) plt.title("Value over Time") plt.xlabel("Date") plt.ylabel("Value") plt.show() ``` 这个例子读取了一个名为"data.csv"的数据文件，并绘制了三种不同类型的图表：直方图、散点图和折线图。你可以根据自己的需求修改数据和图表类型。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值