黄俊文的博客

一般我们拿到一个数据，会先看一下这个数据有多少行多少列，各个字段是什么，数据格式类型是什么。在开始讲数据格式前，需要先梳理一下各个数据类型。我们常使用的库一般是numpy和pandas，Numpy下的核心是数组（array，ndarray）,Pandas下的核心是数据框（Series，DataFrame）先随机创一点数据用来测试import pandas as pdimport numpy ...

python字符串中引用（加入）变量并赋值，或者叫python一般场景应用于一段非python语言中需要将Python变量赋值进去进行循环；或者是通过多个字符串进行组合拼接成一段新的字符串。将变量插入到字符串中的方法主要有：1、+加号拼接法；2、%字符赋值法；3、format()函数法一、+拼接法：我们知道+最基本的功能是进行四则运算，比如1+2=3。但是我们如果用拼接的方法那么1+1=11...

pd.set_option(‘display.max_columns’,500)

伙伴遇到一个关于excel导入数据到python中，日期变成数字而不是日期格式的问题。第一反应这个数字应该是excel里面的时间戳类似的，所以我就实验增加一天是不是对应的数字就加1。最后证明了我的想法，这样就可以倒推excel里面的数字日期是从那一年开始计数的。我们先看一下excel本身打开数据的样子：我们再看看python直接导入后日期的样子：那我们的目标就是将字段列名的日期数据替换成...

NumPy是使用Python进行科学计算的基础包，在数据分析的时候比较常用到矩阵计算。这时太多的Np属性不记得，所以方便自己使用把一些常用的Np属性汇总记录一下使用的时候方便查找。文章目录ndarray基础ndarray基础NumPy的数组类被调用ndarray。它也被别名所知 array。请注意，numpy.array这与标准Python库类不同array.array，后者仅处理一维数组...

在excel画图中经常会使用到两个数据放在一个图上，共用x轴两个y轴分别位于两侧。matplotlib画图针对这种场景需解决方如下：import numpy as npfrom matplotlib import pyplot as pltplt.rcParams['font.sans-serif']=['SimHei']plt.rcParams['axes.unicode_minus...

在python中进行数据处理，经常会遇到有些元素内容是不需要的。需要进行删除或者替换。本篇就详细探讨一下各种数据类型(series,dataframe)下的删除方法随机创建一个DataFrame数据import pandas as pdimport numpy as npdata=pd.DataFrame(np.random.randint(10,size=(5,3)),columns=[...

数据分析遇到字符串处理会有两个阶段涉及到正则表达式，一个是在数据库阶段一个是Python处理阶段。作为一个小白学习正则也遇到很多弯路和难理解的点，今天就梳理梳理学习的过程。hive里面正则表达式可以用regexp_extract()在select里进行返回指定要求的内容，也可以用regexp在where里进行指定要求的限制条件；python里面re.findall()或者df.str.extr...