master_hunter的博客

比赛结束了不知道大家情况如何，就我个人而言的话，由于工作任务比较繁重仅完成了对D题和E题的思路解答和建模，还是比较遗憾的。一个人要完成多题的建模和分析确实不是一件容易的事情，当然我向大家做出承诺历年的建模比赛我都会写出详解和建模过程，只要大家需要我的帮助，我会尽我最大的能力完成。本次大赛中个人认为E题是一道比较好上手的题目，题意简洁，建模思路清晰明了。但是由于是时间序列数据，数据处理方面可能会比较麻烦，虽然建模思路比较清晰，但是时序预测分析算法还是有一定难度的，细节很多。

十分激动啊啊啊题目终于出来了！！官网6点就进去了结果直接卡死现在才拿到题目，我是打算A-E题全部做一遍。简单介绍一下我自己：博主专注建模四年，参与过大大小小数十来次数学建模，理解各类模型原理以及每种模型的建模流程和各类题目分析方法。参与过十余次数学建模大赛，三次美赛获得过二次M奖一次H奖，国赛二等奖。博主紧跟各类数模比赛，每场数模竞赛博主都会将最新的思路和代码写进此专栏以及详细思路和完全代码且完全免费。希望有需求的小伙伴不要错过笔者精心打造的文章。

三年耕耘大厂数据分析师，有些工具是必须要掌握的，尤其是Python中的数据分析三剑客：Pandas，Numpy和Matplotlib。就以个人经验而已，Pandas是必须要掌握的，它提供了易于使用的数据结构和数据操作工具，使得在Python中处理结构化数据变得更加简单和高效。无论是处理常用的时序数据还是处理金融数据，与各类数据库联动或者是使用各类算法进行计算分析，都离不开Pandas的数据处理支持。作为一名数据分析师几乎每天都得和Pandas打交道，所以学习Pandas避不可避，但是如何高效学习Pandas

作为数据分析三巨头Pandas、matplotlib、NumPy之一，必然要给足面子单独拿出来讲解一波。NumPy应用场景十分宽泛，Pandas很多函数转换后也都是NumPy数组类型的数据结构。在机器学习、深度学习以及一些数据处理操作中使用的频率甚至比Pandas都高。而且NumPy功能强大，使用起来也十分便捷，支持多种复杂操作。平时我的Pandas以及一些机器学习的文章都有用到NumPy，但是博客内容并没有详细解答NumPy的操作也没有记录有关NumPy操作的一些具体函数解答。

作为数据分析三巨头Pandas、matplotlib、NumPy之一，必然要给足面子单独拿出来讲解一波。NumPy应用场景十分宽泛，Pandas很多函数转换后也都是NumPy数组类型的数据结构。在机器学习、深度学习以及一些数据处理操作中使用的频率甚至比Pandas都高。而且NumPy功能强大，使用起来也十分便捷，支持多种复杂操作。平时我的Pandas以及一些机器学习的文章都有用到NumPy，但是博客内容并没有详细解答NumPy的操作也没有记录有关NumPy操作的一些具体函数解答。

作为数据分析三巨头Pandas、matplotlib、NumPy之一，必然要给足面子单独拿出来讲解一波。NumPy应用场景十分宽泛，Pandas很多函数转换后也都是NumPy数组类型的数据结构。在机器学习、深度学习以及一些数据处理操作中使用的频率甚至比Pandas都高。而且NumPy功能强大，使用起来也十分便捷，支持多种复杂操作。平时我的Pandas以及一些机器学习的文章都有用到NumPy，但是博客内容并没有详细解答NumPy的操作也没有记录有关NumPy操作的一些具体函数解答。

作为数据分析三巨头Pandas、matplotlib、NumPy之一，必然要给足面子单独拿出来讲解一波。NumPy应用场景十分宽泛，Pandas很多函数转换后也都是NumPy数组类型的数据结构。在机器学习、深度学习以及一些数据处理操作中使用的频率甚至比Pandas都高。而且NumPy功能强大，使用起来也十分便捷，支持多种复杂操作。平时我的Pandas以及一些机器学习的文章都有用到NumPy，但是博客内容并没有详细解答NumPy的操作也没有记录有关NumPy操作的一些具体函数解答。

作为数据分析三巨头Pandas、matplotlib、NumPy之一，必然要给足面子单独拿出来讲解一波。NumPy应用场景十分宽泛，Pandas很多函数转换后也都是NumPy数组类型的数据结构。在机器学习、深度学习以及一些数据处理操作中使用的频率甚至比Pandas都高。而且NumPy功能强大，使用起来也十分便捷，支持多种复杂操作。平时我的Pandas以及一些机器学习的文章都有用到NumPy，但是博客内容并没有详细解答NumPy的操作也没有记录有关NumPy操作的一些具体函数解答。

关于一文速学Pandas系列已经将基础部分内容更完，基础部分的内容完全可以满足大部分数据分析应用场景且绝对够用。对于分析工具最快速上手的方法还是创造条件去实际运用它，反复运用直至能够熟练想到该使用何种方法去实现该功能需求。Pandas数据分析系列专栏已经更新了很久了，基本覆盖到使用pandas处理日常业务以及常规的数据分析方方面面的问题。

作为数据分析师，我们需要经常制作统计分析图表。但是报表太多的时候往往需要花费我们大部分时间去制作报表。这耽误了我们利用大量的时间去进行数据分析。但是作为数据分析师我们应该尽可能去挖掘表格图表数据背后隐藏关联信息，而不是简单的统计表格制作图表再发送报表。既然报表的工作不可免除，那我们应该如何利用我们所学的技术去更好的处理工作呢？这就需要我们制作一个Python小程序让它自己去实现，这样我们就有更多的时间去做数据分析。我们把让程序自己运行的这个过程称为自动化。自动化总是能够很好的节省时间，提高我们的工作效率。让

关于一文速学Pandas系列已经将基础部分内容更完，基础部分的内容完全可以满足大部分数据分析应用场景且绝对够用。对于分析工具最快速上手的方法还是创造条件去实际运用它，反复运用直至能够熟练想到该使用何种方法去实现该功能需求。现在就是Pandas系列专栏的重头戏，通过实例去完成对Pandas的一系列运用。该实战内容包含了对各类数据的处理以及日常业务需求的分析，包含众多大厂面试笔试考察的项目以及实际工作时常遇到的场景项目。

一文总结关于Pandas数据结构的Series和DataFrame的创建、转换和相关函数操作。该两种数据结构并不难理解，语言都是共通的，只要了解C语言基础的数据结构或是Python、JAVA的都能理解。关键是如何运用函数处理这些数据结构。...

前言文章接上章：一文速学-数据分析之Pandas数据结构和基本操作代码上文详细介绍了Series和DataFrame作为两种Pandas基本数据结构中的创建、转换和操作。由于数据处理和分析基本都是用DataFrame实现多表操作，故关于DataFrame的操作也十分的多，不如单独拿出一篇来讲。这里我准备了三个csv表格进行演示，这样更容易理解操作后表现的效果。分别是user_info、visit_info、result三张表格。在上篇文章提过的操作本文中不会再提好节省大家的...

前言此篇文章接上两篇基础篇章：一文速学-数据分析之Pandas数据结构和基本操作代码DataFrame行列表查询操作详解+代码实战第一章详细介绍了Series和DataFrame作为两种Pandas基本数据结构中的创建、转换和操作。第二章则详细介绍DataFrame行列表查询操作。本打算把DataFrame行列表操作一章讲清楚但是可能看起来的话会很多不容易一下记住，故分为两篇好区分记忆得更加清楚。

前言匆忙之间在CSDN上连载博客已有三年之久，现在已临近毕业。回顾大学的四年尽是不甘，意难平。有时反思良久，或许是我对自己的定位还不够明确，还不知道自己想要的是如此模糊，也许接受现实是对理想主义者最大的冲击。以上是博主突然有感而言，现在回归博客主题。使用Pandas进行数据预处理时需要了解Pandas的基础数据结构Series和DataFrame。若是还不清楚的可以再去看看我之前的三篇博客详细介绍这两种数据结构的处理方法：一文速学-数据分析之Pandas数据结构和基本操作代码Data..

前言使用Pandas进行数据预处理时需要了解Pandas的基础数据结构Series和DataFrame。若是还不清楚的可以再去看看我之前的三篇博客详细介绍这两种数据结构的处理方法：一文速学-数据分析之Pandas数据结构和基本操作代码DataFrame行列表查询操作详解+代码实战DataFrame多表合并拼接函数concat、merge参数详解+代码操作展示以上三篇很容易学会，没有比较难的实战。本文承接上一篇：一文速学-Pandas处理缺失值操作各类方法详解此篇博客基于Jup..

前言使用Pandas进行数据预处理时需要了解Pandas的基础数据结构Series和DataFrame。若是还不清楚的可以再去看看我之前的三篇博客详细介绍这两种数据结构的处理方法：一文速学-数据分析之Pandas数据结构和基本操作代码DataFrame行列表查询操作详解+代码实战DataFrame多表合并拼接函数concat、merge参数详解+代码操作展示以上三篇均为基础知识，没有比较难的实战，比较容易学会。首先说明一点，关于包含在异常值里面的空值和重复值均有两篇博客专门详细介..

前言使用Pandasj进行数据分析时需要了解Pandas的基础数据结构Series和DataFrame。若是还不清楚的可以再去看看我之前的三篇博客详细介绍这两种数据结构的处理方法：一文速学-数据分析之Pandas数据结构和基本操作代码DataFrame行列表查询操作详解+代码实战DataFrame多表合并拼接函数concat、merge参数详解+代码操作展示Pandas中read_excel函数参数使用详解+实例代码以上三篇均为基础知识，没有比较难的实战，比较容易学会。首先说..

前言Pandas的基础数据结构Series和DataFrame。若是还不清楚的可以再去看看我之前的博客详细介绍这两种数据结构的处理方法：一文速学-数据分析之Pandas数据结构和基本操作代码一些Pandas基础函数的使用方法：DataFrame行列表查询操作详解+代码实战DataFrame多表合并拼接函数concat、merge参数详解+代码操作展示Pandas中read_excel函数参数使用详解+实例代码一文速学-Pandas索引设置操作各类方法详解+代码展示关于包..

前言Pandas的基础数据结构Series和DataFrame。若是还不清楚的可以再去看看我之前的博客详细介绍这两种数据结构的处理方法：一文速学-数据分析之Pandas数据结构和基本操作代码一文速学-Pandas实现数值替换、排序、排名、插入和区间切片一些Pandas基础函数的使用方法：DataFrame行列表查询操作详解+代码实战DataFrame多表合并拼接函数concat、merge参数详解+代码操作展示Pandas中read_excel函数参数使用详解+实例代码...

前言Pandas的基础数据结构Series和DataFrame。若是还不清楚的可以再去看看我之前的博客详细介绍这两种数据结构的处理方法：一文速学-数据分析之Pandas数据结构和基本操作代码一文速学-Pandas实现数值替换、排序、排名、插入和区间切片一些Pandas基础函数的使用方法：DataFrame行列表查询操作详解+代码实战一文速学-Pandas索引重塑实现长宽表数据转换DataFrame多表合并拼接函数concat、merge参数详解+代码操作展示Pand....

前言一般从数据库或者是从日志文件读出的数据均带有时间序列，做时序数据处理或者实时分析都需要对其时间序列进行归类归档。而Pandas是处理这些数据很好用的工具包。此篇博客基于Jupyter之上进行演示，本篇博客的愿景是希望我或者读者通过阅读这篇博客能够学会方法并能实际运用。希望读者看完能够提出问题或者看法，博主会长期维护博客做及时更新。纯分享，希望大家喜欢。一、二、使用步骤1.引入库代码如下（示例）：import numpy as npimport pandas as pd..

由于在Pandas中经常要处理到时间序列数据，需要把一些object或者是字符、整型等某列进行转换为pandas可识别的datetime时间类型数据，方便时间的运算等操作。正好原来有篇文章特别是讲述一文速学-Pandas处理时间序列数据操作详解。这篇文章忽略掉了如何转换为时间序列数据，正好补上，这样就实现的Pandas处理时间数据的全部内容和方法了。大家如果经常要使用到pandas dataframe处理时间数据不妨将两篇文章细读收藏，可以解决绝大多数处理时间序列的问题。有任何疑惑或者是问题可随时在评论区提

时至如今Pandas仍然是十分火热的基于Python的数据分析工具，与numpy、matplotlib称为数据分析三大巨头，是学习Python数据分析的必经之路。Pandas提供了大量能使我们快速便捷地处理数据的函数和方法，它是使Python成为强大而高效的数据分析环境的重要因素之一。使用Pandas进行数据预处理时需要对Pandas的基础数据结构Series和DataFrame有一个基础的了解。一文速学-数据分析之Pandas数据结构和基本操作代码一文速学-Pandas处理缺失值操作各类方法详解。...

众所周知我们获取的第一手数据往往都是比较杂乱无章的，这些文件保存一般都是csv文件或者是excel文件，读取转换成DataFrame还有可能因为缺少列索引或者是各类数据维度不相等而报错。Pandas的基础数据结构Series和DataFrame。一文速学-数据分析之Pandas数据结构和基本操作代码一文速学-Pandas实现数值替换、排序、排名、插入和区间切片DataFrame行列表查询操作详解+代码实战一文速学-Pandas索引重塑实现长宽表数据转换。...

很多情况下我们处理的文件并不只是一个单纯的CSV文件或者Excel文件。我们会结合更多是数据去进行聚合统计分析，或许是需要解析到一整个数据存储压缩包，或许是对一整个目录文件读取再进行数据操作，这都需要我们掌握一定的多文件处理方法和策略。此篇文章正是基于此场景下处理多文件方法整合策略。Pandas的基础数据结构Series和DataFrame。...

Pandas数据分析系列专栏已经更新了很久了，基本覆盖到使用pandas处理日常业务以及常规的数据分析方方面面的问题。从基础的数据结构逐步入门到处理各类数据以及专业的pandas常用函数讲解都花费了大量时间和心思创作，如果大家有需要从事数据分析或者大数据开发的朋友推荐订阅专栏，将在第一时间学习到Pandas数据分析最实用常用的知识。此篇博客篇幅较长，涉及到处理文本数据(str/object)等各类操作，值得细读实践一番，我会将Pandas的精华部分挑出细讲实践。

Pandas数据分析系列专栏已经更新了很久了，基本覆盖到使用pandas处理日常业务以及常规的数据分析方方面面的问题。从基础的数据结构逐步入门到处理各类数据以及专业的pandas常用函数讲解都花费了大量时间和心思创作，如果大家有需要从事数据分析或者大数据开发的朋友推荐订阅专栏，将在第一时间学习到Pandas数据分析最实用常用的知识。此篇博客篇幅较长，涉及到处理文本数据(str/object)等各类操作，值得细读实践一番，我会将Pandas的精华部分挑出细讲实践。

Pandas处理字符文本等数据技术以及函数设计迭代的过程已经很长了，处理方法也多。很多时候我们是通过一系列需求或者想要实现的一个效果去搜寻答案和代码。或者是当获取到了这个实现功能的函数却不知道这个函数的使用方法和参数调整，这是实际开发常常遇到的问题，也是比较头疼。但是如果能够对Pandas对整个数据类型体系处理方法有个明确的认知和大体处理操作，那么久可以节省很多我们盲目搜索答案的时间，大大加快我们分析数据的效率。此篇文章依旧紧接着上篇文章的内容，常用的处理方法已经将近讲述到过半了。

一般我们做数据挖掘或者是数据分析，再或者是大数据开发提取数据库里面的数据时候，难免只能拿着表格数据左看右看，内心总是希望能够根据自己所想立马生成一张数据可视化的图表来更直观的呈现数据。而当我们想要进行数据可视化的时候，往往需要调用很多的库与函数，还需要数据转换以及大量的代码处理编写。

一般我们做数据挖掘或者是数据分析，再或者是大数据开发提取数据库里面的数据时候，难免只能拿着表格数据左看右看，内心总是希望能够根据自己所想立马生成一张数据可视化的图表来更直观的呈现数据。而当我们想要进行数据可视化的时候，往往需要调用很多的库与函数，还需要数据转换以及大量的代码处理编写。

一般我们做数据挖掘或者是数据分析，再或者是大数据开发提取数据库里面的数据时候，难免只能拿着表格数据左看右看，内心总是希望能够根据自己所想立马生成一张数据可视化的图表来更直观的呈现数据。而当我们想要进行数据可视化的时候，往往需要调用很多的库与函数，还需要数据转换以及大量的代码处理编写。

pandas专栏将pandas数据处理的函数以及一些功能都写的基本完善了，现在一些工作就是查漏补缺了。我会将我在实际项目上遇到的一些将pandas实现的较为复杂的功能总结为各个小文章，作为以后集成做开源项目作准备，这样以来数据分析的基础就很牢固，Pandas数据分析系列专栏已经更新了很久了，基本覆盖到使用pandas处理日常业务以及常规的数据分析方方面面的问题。

一文速学-Pandas中DataFrame转换为时间格式数据与处理一文速学-Pandas处理时间序列数据操作详解日常处理一些数据和业务上需求，其实还是十分常用到时序数据的，一些处理方法我感觉都是比较麻烦的，还存在很多方法没有详细说明。于是基于两篇内容之上，再对Pandas的处理时间数据进行深入功能挖掘，一些很好用的方法和处理这两篇文章还是没有覆盖到的。作为查漏补缺这个系列的文章将会把pandas处理时间序列数据的内容都给将完全。

Pandas选项一般在数据展示和分析使用的比较频繁，尤其是配合上Jupyter Notebook使用敏捷开发时进行数据展示时，总会遇到一两个展示的问题比较头疼。而这又会牵扯到很多可视化效果的问题（比如pandas表默认科学计数法，无法展示全部数据等）。故了解Pandas选项设置是有必要的，这篇文章我会将一些pandas常用的选项设置元素一一列出其作用以及代码修改效果，另外会列出pandas部门优化选项设置，帮助更好的使用pandas。

Pandas常用作数据分析工具库以及利用其自带的DataFrame数据类型做一些灵活的数据转换、计算、运算等复杂操作，但都是建立在我们获取数据源的数据之后。因此作为读取数据源信息的接口函数必然拥有其强大且方便的能力，在读取不同类源或是不同类数据时都有其对应的read函数可进行先一步处理，这会减少我们相当大的一部分数据处理操作。每一个read()函数，作为一名数据分析师我个人认为都应该掌握且熟悉它对应的参数，相对应的read()函数博主已有三篇文章详细解读了read_json、read_excel和read_

Pandas常用作数据分析工具库以及利用其自带的DataFrame数据类型做一些灵活的数据转换、计算、运算等复杂操作，但都是建立在我们获取数据源的数据之后。因此作为读取数据源信息的接口函数必然拥有其强大且方便的能力，在读取不同类源或是不同类数据时都有其对应的read函数可进行先一步处理，这会减少我们相当大的一部分数据处理操作。每一个read()函数，作为一名数据分析师我个人认为都应该掌握且熟悉它对应的参数，相对应的read()函数博主已有两篇文章详细解读了read_json和read_excel：Panda

用Python写数据库操作的脚本时，少不了的是写入和读取操作。但这类方法参数说明大多都差不多，例如前段时间写的关于处理JSON文件的两类函数read_json,to_json。读取和写入这两种方法往往都是相对的，而当掌握了Pandas的dataframe数据结构的各种操作时，那么我们的插入方式将可以多种多样，对数据处理的方式也可以相对更加灵活。此篇文章将根据解读官方文档的方式具体使用每个参数的不同赋值，来展示结果。官方文档：pandas.DataFrame.to_sql 该函数的具体功能为实现将pan

前言本文接上一篇博客：Python处理JSON文件数据各类操作一文详解。处理JSON文件一般并且进行统计或分析都需要把JSON文件格式转换为dataframe形式或是将dataframe转换为JSON，这都需要用到to_json()和read_json()函数。如果能够掌握该两种函数的参数用法能够节省不少时间和代码对后续的文件再处理，因此本篇文章初衷为详细介绍并运用此函数来达到彻底掌握的目的。希望读者看完能够提出问题或者看法，博主会长期维护博客做及时更新。纯分享，希望大家喜欢。提示：以下是本..

前言本文接上一篇博客：Python处理JSON文件数据各类操作一文详解。处理JSON文件一般并且进行统计或分析都需要把JSON文件格式转换为dataframe形式或是将dataframe转换为JSON，这都需要用到to_json()和read_json()函数。如果能够掌握该两种函数的参数用法能够节省不少时间和代码对后续的文件再处理，因此本篇文章初衷为详细介绍并运用此函数来达到彻底掌握的目的。希望读者看完能够提出问题或者看法，博主会长期维护博客做及时更新。纯分享，希望大家喜欢。一、to_js..