RogerFedereYY的博客

dataframe，根据多列信息生成新列

pandas DataFrame实现组内排名

def make_df(index, cols): df = DataFrame({col: [col + str(i) for i in index] for col in cols}) df.index = index return dfmake_df([1,2,3,4], list('ABCD'))""" A B C D1 A1 B1 C1 D12 A2 B2 C2 D23 A3 B3 C3 D34 A4 B4 C4 D4"""

导包import pandas as pd读取pd.read('./test.csv', , engine='python')重点： engine=‘python’

模块导入import pandas as pdimport numpy as np去除函数def f(s): if isinstance(s, float) and np.isnan(s): return s elif isinstance(s, int) or isinstance(s, float): return str(s).strip() elif isinstance(s, str): return s.strip

fillna方法pd.fillna()pd[col] = pd[col].fillna()参数：method该参数主要控制自动填充，是向上填充还是向下填充method : {‘backfill’, ‘bfill’, ‘pad’, ‘ffill’, None}, default Nonepad / ffill: 向下自动填充backfill / bfill: 向上自动填充参数value该参数主要是确定填充数值参数limit向上或者向下填充时控制最大填充前几行...

说明：如果某一列中有多种类型的数据，那么会被识别为object。单单是str也是object方法：dtype 或者 dtypes直接上代码吧导包import numpy as npimport pandas as pd创建数据data = [[1, '', 0.1, 'lyz']]columns = ['y1', 'y2', 'y3', 'y4']data = pd.DataFrame(data=data, columns=columns)data类型输出data['y1'].

pandas 读excel，日期变成了数字，pandas方法解决excel中的数据是：pandas读取出来是：import pandas as pddata = pd.read_excel('文件路径')data['发货日期'] = data['发货日期'].fillna(method='ffill') # 因为有合并单元格，data解决方法：def date(para): delta = pd.Timedelta(str(int(para))+'days') tim

说明：由于是公司的数据，所以对供应商进行映射处理，数据下载连接（免费）：数据下载导包import numpy as npimport pandas as pdfrom datetime import datetimefrom pandas import DataFrame读取数据data = pd.read_csv('./data.csv', index_col=0)月份处理（例如：2020年12月）处理函数# 时间转化# 时间转化def month(v): if

pandas读取文件时出现以下错误xlrd.biffh.XLRDError: Excel xlsx file; not supported原因在于xlrd更新到了2.0.1版本，只支持.xls文件，所以只要将版本回退就好了具体操作pip uninstall xlrdpip install xlrd==1.2.0 -i https://pypi.douban.com/simple安装完毕重新运行就好了...

import pandas as pdfrom pandas import DataFramefrom dateutil.parser import parse数据data = DataFrame(columns=['date'], data=['2020-11-01','2020-11-05','2020-11-08','2020-11-11'])datadata.info()"""<class 'pandas.core.frame.DataFrame'>Rang

applymap函数import numpy as npimport pandas as pdfrom pandas import DataFramecolumns = ['a1','a2','a3','a4']index = ['b1','b2','b3']data = np.random.randint(0,100,size=(3,4))df = DataFrame(columns=columns, index=index, data=data)df# 所有的值 +2df.

import numpy as npimport pandas as pdfrom pandas import DataFramecolumns = ['a1','a2','a3','a4']index = ['b1','b2','b3']data = np.random.randint(0,100,size=(3,4))df = DataFrame(columns=columns, index=index, data=data)df添加index索引标签名一共有三种方法，nam

导包import numpy as npimport pandas as pdfrom pandas import DataFrame数据columns = ['a1','a2','a3','a4']index = ['b1','b2','b3']data = np.random.randint(0,100,size=(3,4))df = DataFrame(columns=columns, index=index, data=data)df.loc['b2','a2'] = np.

相同点： csv、tsv和txt都属于文本文件。不同点：csv和tsv文件的字段间分别由逗号和tab键隔开，而txt文件则没有明确要求，可使用逗号/制表符/空格等 多种不同的符号。所以将pandas中数据导成csv格式之后，所有数据都是文本格式，但是用excel打开csv格式，他会自动识别转化，比如一列全是数字的—》数值型，...

导包import pandas as pdimport sqlalchemy as sqlafrom sqlalchemy import create_enginepandas数据来源# 方式一：pd.read_...形式data = pd.read_excel('路径')# 方式二：自己生成columns = ['yy','fdl','jack_tom','mary lucy']index = ['chinese','math','English']data = np.rando

data.eval(‘新字段=字段1+字段2’,inplace=True)

# object类型转化int类型def str_transfrom_num(features): # features:需要转化的字段，以列表形式 for feature in features: pandas数据[feature] = pandas数据[feature].map({value:index for index, value in enumerate(pandas数据[feature].unique())})...

缺失值分布情况# 方式一，图形import missingno as msnomsno.matrix(pandas数据, labels=True)# 方式二，数字pandas数据.info()# 方式三，字段缺失的详细数字pandas数据.字段.isnull().value_counts()处理缺失值# 删除pandas数据.drop# 填充pandas数据.字段.fillna()# 删除缺失值所在的行# 如果删除columns所有字段的缺失值所在行，用dropna()

导包import numpy as npimport pandas as pdfrom pandas import DataFrame测试数据columns = ['yy','fdl','jack_tom','mary lucy']index = ['chinese','math','English']data = np.random.randint(0,100,size=(3,4))test = DataFrame(columns=columns, index=index, da