python数据分析技巧
文章平均质量分 68
python数据分析基础
python技巧(数据分析及可视化)
python入门基础课程, 欢迎订阅: https://edu.csdn.net/course/detail/31518
展开
-
python计算昨天及以昨天为起点上月月末的两个日期
用python如何获取昨天及上月月末日期?原创 2022-09-26 14:58:16 · 567 阅读 · 1 评论 -
pandas数据读取与清洗视频04-查看数据
本系列课程适用人群:python零基础数据分析的朋友;在校学生;职场中经常要处理各种数据表格,或大量数据(十万级以上)的朋友;喜欢图表可视化的朋友;系列视频目前可在B站观看,会定期更新,欢迎大家吐槽!本节概要:简短代码查看数据结构视频地址:python查看数据 本节代码:# 导入pandas工具包import pandas as pd# 读取数据data1原创 2020-12-11 21:44:59 · 298 阅读 · 0 评论 -
pandas数据读取与清洗视频03-pd.read_csv()读取csv、txt文件
本系列课程适用人群:python零基础数据分析的朋友;在校学生;职场中经常要处理各种数据表格,或大量数据(十万级以上)的朋友;喜欢图表可视化的朋友;系列视频目前可在B站观看,会定期更新,欢迎大家吐槽!本节概要:数据量较大时一般保存为csv或者txt文件,注意分隔符设置视频地址:python读取csv、txt文件 本节代码:"""# ==============原创 2020-12-11 21:39:14 · 1876 阅读 · 0 评论 -
pandas数据读取与清洗视频06-python中数据结构(DataFrame、Series)
本系列课程适用人群:python零基础数据分析的朋友;在校学生;职场中经常要处理各种数据表格,或大量数据(十万级以上)的朋友;喜欢图表可视化的朋友;系列视频目前可在B站观看,会定期更新,欢迎大家吐槽!本节概要:认识DataFrame数据格式视频地址:python中数据结构与数据结构 本节代码:'''# =============================原创 2020-12-11 21:54:19 · 171 阅读 · 0 评论 -
pandas数据读取与清洗视频05-批量读取excel文件并合并
本系列课程适用人群:python零基础数据分析的朋友;在校学生;职场中经常要处理各种数据表格,或大量数据(十万级以上)的朋友;喜欢图表可视化的朋友;系列视频目前可在B站观看,会定期更新,欢迎大家吐槽!本节概要:python提升办公效率重要技能之一视频地址:python批量读取数据 本节代码:import pandas as pdimport osos.chd原创 2020-12-11 21:49:48 · 374 阅读 · 0 评论 -
pandas数据读取与清洗视频09-python中的vlookup|pd.merge()
本系列课程适用人群:python零基础数据分析的朋友;在校学生;职场中经常要处理各种数据表格,或大量数据(十万级以上)的朋友;喜欢图表可视化的朋友;系列视频目前可在B站观看,会定期更新,欢迎大家吐槽!本节概要:pd.merge()视频地址:pd.merge()方法 本节代码:# 导入工具包,pandas、numpy是数据分析中最常用的两个包import pan原创 2020-12-12 18:11:53 · 232 阅读 · 0 评论 -
pandas数据读取与清洗视频07-保存为excel文件
本系列课程适用人群:python零基础数据分析的朋友;在校学生;职场中经常要处理各种数据表格,或大量数据(十万级以上)的朋友;喜欢图表可视化的朋友;系列视频目前可在B站观看,会定期更新,欢迎大家吐槽!本节概要:python的数据导出为excel视频地址:数据导出为excel 本节代码:# 导入pandas工具包import pandas as pd# 读取原创 2020-12-11 22:02:46 · 258 阅读 · 1 评论 -
pandas数据读取与清洗视频01-Anaconda软件安装及Spyder常用设置
正式开始录制视频课程了,希望能帮助大家,也希望自己录制的越来越好!系列视频目前在b站可看,会定期更新!链接'''# =============================================================================# 2.1 Anaconda软件安装# =============================================================================1 Python开发软件选择原创 2020-12-10 22:26:39 · 510 阅读 · 1 评论 -
pandas数据读取与清洗视频10-python中数据去重、分列、替换
本系列课程适用人群:python零基础数据分析的朋友;在校学生;职场中经常要处理各种数据表格,或大量数据(十万级以上)的朋友;喜欢图表可视化的朋友;系列视频目前可在B站观看,会定期更新,欢迎大家吐槽!视频地址:python中数据去重、分列、替换 本节代码:import pandas as pddata1 = pd.read_csv('D:/python/课件/dat原创 2020-12-12 18:14:41 · 329 阅读 · 1 评论 -
pandas数据读取与清洗视频11-删除行列、更改列名、填充缺失值
本系列课程适用人群:python零基础数据分析的朋友;在校学生;职场中经常要处理各种数据表格,或大量数据(十万级以上)的朋友;喜欢图表可视化的朋友;系列视频目前可在B站观看,会定期更新,欢迎大家吐槽!本节要点:3个基本数据清洗操作视频地址:python中删除行列、更改列名、填充缺失值 本节代码:import pandas as pddata1 = pd.rea原创 2020-12-12 22:05:49 · 507 阅读 · 0 评论 -
pandas数据读取与清洗视频08-python中的数据透视表df.pivot_table()
本系列课程适用人群:python零基础数据分析的朋友;在校学生;职场中经常要处理各种数据表格,或大量数据(十万级以上)的朋友;喜欢图表可视化的朋友;系列视频目前可在B站观看,会定期更新,欢迎大家吐槽!本节概要:看excel中最强大的数据透视表在python中如何实现视频地址:python中数据透视表 本节代码:import pandas as pdimport原创 2020-12-12 13:19:49 · 270 阅读 · 0 评论 -
pandas数据读取与清洗视频02-pd.read_excel()读取excel文件
本系列课程适用人群:python零基础数据分析的朋友;在校学生;职场中经常要处理各种数据表格,或大量数据(十万级以上)的朋友;喜欢图表可视化的朋友;系列视频目前可在B站观看,会定期更新,欢迎大家吐槽!本节概要:python能快速读取电脑的excel文件,不用担心一个几十兆的文件打不开视频地址:python读取excel文件 本节代码:"""# ========原创 2020-12-11 21:29:29 · 380 阅读 · 0 评论 -
pandas数据读取与清洗视频12-python中数据筛选与排序
课程适用人群:python零基础数据分析的朋友;在校学生;职场中经常要处理各种数据表格,或大量数据(十万级以上)的朋友;喜欢图表可视化的朋友;系列视频目前可在B站观看,会定期更新,欢迎大家吐槽!视频地址:数据筛选与排序 本节代码:# 导入pandas工具包import pandas as pd# 读取数据data1 = pd.read_csv('D:/pytho原创 2020-12-15 21:33:25 · 197 阅读 · 0 评论 -
python可视化工具pandas_bokeh作图技巧详解
史莱克七怪都要去海神岛练级了, 你的职场技能是否储备的够多了呢?前言:python中有很多可视化的工具包,比如入门级的matplotlib, 进阶级seaborn, 还有可以做出交互图的bokeh、pyechart、plotly、ggplot、pandas-bokeh, 工作中该选择哪个作为自己的主要魂技呢?学技能是为了解决工作中问题: 功能相同的工具包了解一个就够在你对上述工具包有一定了解的情况下, 日常一些重复项工作需要作图建议考虑两个方向:- pandas-bokeh:- 优点: 快原创 2021-05-29 10:26:45 · 1561 阅读 · 5 评论 -
不同经纬度坐标系之间转换
使用场景:用百度地图 高德地图或者谷歌做地图可视化时, 如果经纬度数据与地图工具的坐标系不匹配, 做出的图会有问题, 需要先转换坐标此段代码来自网络, 试用有效import mathimport urllibimport jsonx_pi = 3.14159265358979324 * 3000.0 / 180.0pi = 3.1415926535897932384626 # πa = 6378245.0 # 长半轴ee = 0.00669342162296594323 # 扁率原创 2021-03-10 10:16:36 · 811 阅读 · 0 评论 -
懂点excel作图, 怎么让pyechart作的图更具“职场范“呢?丨pyechart工作作图模板
10年前, 偶然看到一本excel图表书籍《图表之道》,当时惊叹excel作图也能如此商务, 连续几天看完了全书, 自己对图表的喜爱也是从那时开始。现在除了excel, 我们有更多的工具可以做出好看、交互性强的图表, 比如python中的pyechart, 如果是python零基础, 该如何制图及调整呢?本文将介绍十余种工作中图表制作方法, 提供完整的模板, 就算不懂编程也能制作提前准备: 安装工具安装Anaconda软件下载地址: https://mirrors.tuna.tsin原创 2021-04-26 22:22:23 · 5862 阅读 · 25 评论 -
pyechart数据可视化丨制作桑基图(sankey)的最简单方法
Pyechart官网上有关于桑基图的案例, 但是如何用日常使用的excel数据整理成作图的数据, 却没有很好的介绍, 今天我们介绍下制作桑吉图的6个步骤。桑基图适用场景: 如果工作中数据有很多分类变量, 用桑基图展示变量间关系会是一个不错的选择!本案例以泰坦尼克号乘客数据为例, 效果图如下:目录1 读取数据2 数据汇总 - 透视3 整理成3列数据 - 分组计算并合并4 生成作图用的nodes数据和links数据5 作图6 注意事项及更多适用场景1 读取数据2 数据汇总 - 透视3 整理成3原创 2021-05-15 09:03:36 · 5503 阅读 · 5 评论 -
pyechart中15种中国地图,世界地图可视化代码模板, 最适合放在ppt中
原计划是公司内部做一个分享, 看来是没有机会了, 地图可视化的代码分享给大家, 适合在ppt资料中做成动态效果!使用工具: python中的pyechart工具包, 生成的都是html文件安装方法: 之前的博客文章中有介绍, 可在文末找到ppt中加入动态图: 可用gifcam工具录制成gif动画, 插入到ppt中如果对你有帮助, 欢迎点赞关注!相关阅读推荐:1. python小白, 1周入门python数据分析视频课程2. pyechart可视化18式丨从原创 2021-07-02 10:27:03 · 3061 阅读 · 18 评论 -
pyechart可视化18式丨从柱形图的变化, 搞懂pyechart作图套路
嗨, 大家好, 我是Jack, 一名在猪场工作两年, 自学python,目前在一家上市公司工作的小小数据分析师 O(∩_∩)O~。如果大家要学python图表动态可视化, 强烈推荐pyechart工具包。首先它是中国制造, 其次确实很好用.pyechart官网介绍 : Echarts 是一个由百度开源的数据可视化,凭借着良好的交互性,精巧的图表设计,得到了众多开发者的认可。而 Python 是一门富有表达力的语言,很适合用于数据处理。当数据分析遇上数据可视化时,pyecharts 诞生了ech原创 2021-05-04 20:50:23 · 3563 阅读 · 7 评论 -
141178万人, pyechart制作第七次人口普查数据动态图
前言原创 2021-05-16 10:49:45 · 4624 阅读 · 10 评论 -
python读取excel丨换一种存储格式, 读取速度提升几倍
您好, 本博客将持续更新python数据分析技巧, 一次解决一个问题,欢迎关注订阅!本次介绍提升excel文件读取速度问题工作中我们会有一些大文件(excel, csv等), 作为基础数据经常会读取, 如何减少读取时间, 提升效率呢?今天用了一个88万行13列的表格, 按不同的方式读取比较读取用时如下:excel文件: 文大小 61.9M, 读取用时 200秒csv文件: 文件大小 194M, 读取用时 5秒hdf文件: 文件大小 80M, 读取用时 2秒相同的数据, 用hdf方式.原创 2022-01-19 17:16:31 · 2252 阅读 · 0 评论 -
学习python数据分析的30个练手数据+4个数据集网站
前几天发了一个博文:懂点excel作图, 怎么让pyechart作的图更具“职场范“呢?丨pyechart工作作图模板, 一不小心上了热榜, 感谢小伙伴们的支持, 以后会多总结发更好的文章.有朋友问这十几个模板的数据文件, 想必是想实际操作一下, 很不错哟!我将数据上传到了论坛, 随便说下我收集数据的一些办法!文章目录pyechart模板的excel文件模板中涉及的2个数据源4个数据(集)网址1个python公共数据工具包: GoPUPpyechart模板的excel文件请点击: 模板数据原创 2021-04-30 09:06:37 · 16753 阅读 · 1 评论 -
8个常用的python办公室自动化技巧
平时在公司做数据分析的时候, 也会用python做些办公自动化的工作, 领导昨天说别人3个小时的活我们已经可以3分钟完成了 。 O(∩_∩)O~本文就给大家介绍几个我用到的办公室自动化技巧:文章目录1 Word文档doc转docx2 文字地址批量转经纬度3 经纬度计算距离4 百度经纬度转高德经纬度5 Excel文件批量合并6 Word文件批量转pdf7 批量读取word中表格数据8 用outlook批量发邮件1 Word文档doc转docx去年想参赛一个数据比赛, 里面的数据都是doc格式, 想.原创 2021-04-30 18:12:33 · 19775 阅读 · 65 评论 -
只有一台普通电脑, 用python如何读取10G的超大文件?
学习或者工作当中经常会碰到处理大文件的时候, 如果你只有一台普通电脑该如何处理呢? 今天跟大家分享一个处理技巧, 就算现在没有碰到, 点右上角先收藏说不定以后会用到呢!思路硬件条件有限, 我们可以试试用pandas分块读取, 读取文件后一般有3种处理办法:读取后拆分为多个小文件存放读取后筛选部分信息合并为一个文件对数据进行汇总(数据透视)后存储(解释: 比如原始数据是一个按时间的明细, 可以读取后按年或者按月保存问题; 这种大文件有时候列比较多, 但不一定都是我们需要的, 我们可以只筛原创 2022-01-12 14:33:06 · 1314 阅读 · 0 评论 -
用python从日期中获取年、月、日、星期等30种信息
用python中的方法对日期数据进行处理, 我们可以获取很多有用的信息, 比如年月日,星期,季度等, 分享30余种常用的转换, 建议收藏!目录1 常用年月日时分秒,星期,周次...2一年中的第几天,第几个10分钟3是否闰年,年初年末,月初月末...4时段,季节5快捷计算6时间间隔天数1 常用年月日时分秒,星期,周次…读取excel表数据,将日期列转日期格式import pandas as pdimport numpy as npimport datetimedf = pd.read_exce原创 2022-01-18 16:44:17 · 17509 阅读 · 0 评论 -
python中如何根据多列计算排名? df.rank()
pandas工具包对数据进行排序可用rank()方法, 那如果多列按一定逻辑进行排名呢数据如下:按指标1和指标2进行降序排名, 且如果指标2相同则看指标1, 如何做呢? 如何按类别分组后排名呢?代码import pandas as pddf = pd.read_excel('./排名问题.xlsx')# 辅助列(转成不同的数量级后相加)df['排名用'] = df['指标2']*100+df['指标1']# 排名df['排名'] = df['排名用'].rank(ascending=Fa原创 2022-01-17 18:19:50 · 3443 阅读 · 0 评论 -
python中的进度条tqdm模块, 让进度可视
用python在进行一些复杂的计算时, 如果用时较长, 这个时候进度条就能直观的显示运行进度, 是个不错的功能.这里介绍其中一种进度条模块tqdm工具库安装pip install tqdm代码from tqdm import tqdma =1for i in tqdm(range(1,10000000)): a +=1案例比如计算2个地点的距离, 数量多, 计算较慢. 用tqdm就能知道计算到哪了# 读取数据data = pd.read_excel('C:/Users原创 2022-01-13 19:45:00 · 1016 阅读 · 0 评论 -
[工作必备]pandas数据分析处理52个常用技巧
pandas工具包类似于python中的excel, 在excel中的筛选、排序、计算、透视、vlookup、分类汇总等操作用python如何实现呢?本文精心整理的pandas数据处理与分析的51个技巧, 100多个知识点这么多技巧除了收藏, 如何掌握呢, 请看文末!技巧1: 导入工具包# pandas 和numpy是两个基础的工具包import numpy as npimport pandas as pd# matplotlib seaborn是作图工具包import matplo.原创 2021-04-22 20:56:54 · 4358 阅读 · 19 评论 -
05pandas读取excel csv txt文件
pandas丨数据读取与保存读取excel文件: pandas.read_excel()保存excel文件: pandas.to_excel()pandas.read_excel(io, sheet_name=0, header=0, names=None, index_col=None, usecols=None,squeeze=False, dtype=None, engine=None, converters=None, true_values=None,false_values=No原创 2021-03-21 12:08:52 · 813 阅读 · 2 评论 -
04python中的数据结构
自带数据格式数值# 整数与小数a1 = 100 # 定义一个变量a1(建议定义的变量用英文数字下划线等符合组成), 并将100赋值给变量a1a2 = 3.14# 用print函数输出变量内容print(a1)print(a2)1003.14# 数值格式print(type(a1))print(type(a2))<class 'int'><class 'float'># 整数转小数float(a1)100.0# 小数转整数 ※int原创 2021-03-21 12:03:38 · 181 阅读 · 0 评论 -
03 juypyter notebook、spyder中常用设置
链接: https://edu.csdn.net/course/detail/31518原创 2021-01-24 21:18:52 · 312 阅读 · 0 评论 -
02 why python why anaconda?
链接: https://edu.csdn.net/course/detail/31518原创 2021-01-24 21:16:42 · 146 阅读 · 0 评论 -
01python数据分析基础课程介绍
链接: https://edu.csdn.net/course/detail/31518原创 2021-01-24 21:14:15 · 208 阅读 · 0 评论