机器学习---数据科学包---pandas基本操作

最新推荐文章于 2023-04-20 09:59:32 发布
最新推荐文章于 2023-04-20 09:59:32 发布
阅读量914 收藏 1
点赞数
分类专栏： 机器学习 #数据科学包 文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43056275/article/details/100585465
版权

课堂学习笔记

机器学习—数据科学包二

pandas的学习

结构化的数据分析

ipython初体验

In [8]: pwd                                                                     
Out[8]: '/Users/huanying/pandas_tutor'

In [9]: !echo "print('hello pandas')" > hello.py                                

In [10]: ls                                                                     
hello.py

In [11]: %run hello.py                                                          
hello pandas

In [12]: more hello.py                                                          
print('hello pandas')

pandas 入门一

pd.Series 序列：Series 用于存储一行或者一列的数据，以及与之相关的索引集合（类似于列表，但是有索引）

>>> s = pd.Series([1,3,5,np.NaN,8])
>>> s
0    1.0
1    3.0
2    5.0
3    NaN
4    8.0
dtype: float64
**pd.date_range**

>>> dates = pd.date_range('20160301',periods=6)
>>> dates
DatetimeIndex(['2016-03-01', '2016-03-02', '2016-03-03', '2016-03-04',
               '2016-03-05', '2016-03-06'],
              dtype='datetime64[ns]', freq='D')

pd.DataFrame

>>> data = pd.DataFrame(np.random.randn(6,4), index=dates,columns=list('ABCD'))
>>> data
                   A         B         C         D
2016-03-01  0.583543  0.504762 -0.371658  0.196402
2016-03-02 -0.489371  0.282419 -0.069540  0.737287
2016-03-03  0.553235 -0.356941 -0.440889 -0.247903
2016-03-04  0.911576 -0.399150 -0.105229 -0.797159
2016-03-05 -0.577667 -0.936059  0.390769 -0.463623
2016-03-06 -0.059509  1.049200  0.151439 -0.863817

使用字典创建pd.DataFrame

>>> d = {'A':1, 'B':pd.Timestamp('20130301'),'C':range(4),'D':np.arange(4)}
>>> d
{'A': 1, 'B': Timestamp('2013-03-01 00:00:00'), 'C': range(0, 4), 'D': array([0, 1, 2, 3])}
>>> df=pd.DataFrame(d)
>>> df
   A          B  C  D
0  1 2013-03-01  0  0
1  1 2013-03-01  1  1
2  1 2013-03-01  2  2
3  1 2013-03-01  3  3
>>> df.B
0   2013-03-01
1   2013-03-01
2   2013-03-01
3   2013-03-01
Name: B, dtype: datetime64[ns]
pandas的DataFrame类型下的基本操作
data = pd.DataFrame(np.random.randn(6,4),index=dates,columns=list('ABCD'))
data.head()// 前五行

data.head(2) 前两行
data.tail() 默认后五行
排序
data.sort_index(axis=1) 将第一行的index排序，正序
data.sort_index(axis=0,ascending=False) 将第一列的index反向排序

>>> data.sort_values(by='B')\\根据B排序
                   A         B         C         D
2016-03-05 -0.577667 -0.936059  0.390769 -0.463623
2016-03-04  0.911576 -0.399150 -0.105229 -0.797159
2016-03-03  0.553235 -0.356941 -0.440889 -0.247903
2016-03-02 -0.489371  0.282419 -0.069540  0.737287
2016-03-01  0.583543  0.504762 -0.371658  0.196402
2016-03-06 -0.059509  1.049200  0.151439 -0.863817

选择

>>> data['2016-03-03':'2016-03-05']
                   A         B         C         D
2016-03-03  0.553235 -0.356941 -0.440889 -0.247903
2016-03-04  0.911576 -0.399150 -0.105229 -0.797159
2016-03-05 -0.577667 -0.936059  0.390769 -0.463623
>>> data[2:4]
                   A         B         C         D
2016-03-03  0.553235 -0.356941 -0.440889 -0.247903
2016-03-04  0.911576 -0.399150 -0.105229 -0.797159
>>> data
                   A         B         C         D
2016-03-01  0.583543  0.504762 -0.371658  0.196402
2016-03-02 -0.489371  0.282419 -0.069540  0.737287
2016-03-03  0.553235 -0.356941 -0.440889 -0.247903
2016-03-04  0.911576 -0.399150 -0.105229 -0.797159
2016-03-05 -0.577667 -0.936059  0.390769 -0.463623
2016-03-06 -0.059509  1.049200  0.151439 -0.863817

效率更高的根据index查找 loc() iloc()

>>> data.loc['2016-03-03':'2016-03-05']
                   A         B         C         D
2016-03-03  0.553235 -0.356941 -0.440889 -0.247903
2016-03-04  0.911576 -0.399150 -0.105229 -0.797159
2016-03-05 -0.577667 -0.936059  0.390769 -0.463623

>>> data.iloc[2:4]
                   A         B         C         D
2016-03-03  0.553235 -0.356941 -0.440889 -0.247903
2016-03-04  0.911576 -0.399150 -0.105229 -0.797159

>>> data.loc[:,['B','C']]
                   B         C
2016-03-01  0.504762 -0.371658
2016-03-02  0.282419 -0.069540
2016-03-03 -0.356941 -0.440889
2016-03-04 -0.399150 -0.105229
2016-03-05 -0.936059  0.390769
2016-03-06  1.049200  0.151439
>>> data.loc['20160302':'20160305',['B','C']]
                   B         C
2016-03-02  0.282419 -0.069540
2016-03-03 -0.356941 -0.440889
2016-03-04 -0.399150 -0.105229
2016-03-05 -0.936059  0.390769

>>> data.loc['20160302','B']
0.2824190431994151
>>> data.at[pd.Timestamp('20160302'),'B']
0.2824190431994151

>>> data.iloc[1:2,2:3]
                  C
2016-03-02 -0.06954
>>> data.iloc[1,1]
0.2824190431994151
>>> data.iat[1,1]
0.2824190431994151

查找关键词

>>> data2[data2.TAG.isin(['a','c'])]
                   A         B         C         D TAG
2016-03-01  0.583543  0.504762 -0.371658  0.196402   a
2016-03-02 -0.489371  0.282419 -0.069540  0.737287   a
2016-03-05 -0.577667 -0.936059  0.390769 -0.463623   c
2016-03-06 -0.059509  1.049200  0.151439 -0.863817   c

修改

>>> data2 = data.copy()
>>> tag = ['a']*2+['b']*2+['c']*2
>>> data2['TAG']=tag
>>> data2
                   A         B         C         D TAG
2016-03-01  0.583543  0.504762 -0.371658  0.196402   a
2016-03-02 -0.489371  0.282419 -0.069540  0.737287   a
2016-03-03  0.553235 -0.356941 -0.440889 -0.247903   b
2016-03-04  0.911576 -0.399150 -0.105229 -0.797159   b
2016-03-05 -0.577667 -0.936059  0.390769 -0.463623   c
2016-03-06 -0.059509  1.049200  0.151439 -0.863817   c
>>> data2[data2.TAG.isin(['a','c'])]
                   A         B         C         D TAG
2016-03-01  0.583543  0.504762 -0.371658  0.196402   a
2016-03-02 -0.489371  0.282419 -0.069540  0.737287   a
2016-03-05 -0.577667 -0.936059  0.390769 -0.463623   c
2016-03-06 -0.059509  1.049200  0.151439 -0.863817   c
>>> data2['TAG']
2016-03-01    a
2016-03-02    a
2016-03-03    b
2016-03-04    b
2016-03-05    c
2016-03-06    c
Freq: D, Name: TAG, dtype: object
>>> data.iat[0,0]=100
>>> data
                     A         B         C         D
2016-03-01  100.000000  0.504762 -0.371658  0.196402
2016-03-02   -0.489371  0.282419 -0.069540  0.737287
2016-03-03    0.553235 -0.356941 -0.440889 -0.247903
2016-03-04    0.911576 -0.399150 -0.105229 -0.797159
2016-03-05   -0.577667 -0.936059  0.390769 -0.463623
2016-03-06   -0.059509  1.049200  0.151439 -0.863817
>>> data.A=range(6)
>>> data
            A         B         C         D
2016-03-01  0  0.504762 -0.371658  0.196402
2016-03-02  1  0.282419 -0.069540  0.737287
2016-03-03  2 -0.356941 -0.440889 -0.247903
2016-03-04  3 -0.399150 -0.105229 -0.797159
2016-03-05  4 -0.936059  0.390769 -0.463623
2016-03-06  5  1.049200  0.151439 -0.863817

pandas入门二

%matplotlib inline
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

dates=pd.date_range('20160301',periods=6)
df=pd.DataFrame(np.random.randn(6,4),index=dates,columns=list('ABCD'))
df

ouput:

				A			B			C			D
2016-03-01	-0.402800	0.852554	-0.769964	-0.605106
2016-03-02	-0.162305	0.590158	0.254271	-0.384514
2016-03-03	-0.658019	1.842996	0.598671	-0.248724
2016-03-04	0.129554	-0.894538	-0.601339	-1.054243
2016-03-05	0.605167	0.027548	-0.047656	-1.113462
2016-03-06	-1.258484	-0.257318	0.121183	-0.856894

df1=df.reindex(index=dates[0:4], columns=list(df.columns)+['E'])
df1

output:

			A			B			C			D			E
2016-03-01	-0.402800	0.852554	-0.769964	-0.605106	NaN
2016-03-02	-0.162305	0.590158	0.254271	-0.384514	NaN
2016-03-03	-0.658019	1.842996	0.598671	-0.248724	NaN
2016-03-04	0.129554	-0.894538	-0.601339	-1.054243	NaN

df1.loc[dates[1:3],'E']=2
df1

output:

				A			B			C			D		E
2016-03-01	-0.402800	0.852554	-0.769964	-0.605106	NaN
2016-03-02	-0.162305	0.590158	0.254271	-0.384514	2.0
2016-03-03	-0.658019	1.842996	0.598671	-0.248724	2.0
2016-03-04	0.129554	-0.894538	-0.601339	-1.054243	NaN

df1.dropna()
output:

				A			B			C			D		E
2016-03-02	-0.162305	0.590158	0.254271	-0.384514	2.0
2016-03-03	-0.658019	1.842996	0.598671	-0.248724	2.0

df1.fillna(value=5)
output:

				A			B			C			D		E
2016-03-01	-0.402800	0.852554	-0.769964	-0.605106	5.0
2016-03-02	-0.162305	0.590158	0.254271	-0.384514	2.0
2016-03-03	-0.658019	1.842996	0.598671	-0.248724	2.0
2016-03-04	0.129554	-0.894538	-0.601339	-1.054243	5.0

在这里插入图片描述
计算均值mean() 和 累加cumsum()
​在这里插入图片描述
pandas Series: 序列：Series 用于存储一行或者一列的数据，以及与之相关的索引集合（类似于列表，但是有索引）
在这里插入图片描述
pandas DataFrame 的 apply() 函数,虽然也是作用于DataFrame的每个值,但是接受的参数不是各个值本身,而是DataFrame里各行(或列),返回一个新的行(列):
在这里插入图片描述
Series 计数的操作
在这里插入图片描述
iloc() concat()
在这里插入图片描述
合并
在这里插入图片描述
分组
在这里插入图片描述

pandas入门三

数据整形

在这里插入图片描述
在这里插入图片描述

数据透视

在这里插入图片描述

时间序列

在这里插入图片描述

cat.categories 按某一列重新编码分类

在这里插入图片描述

数据可视化

在这里插入图片描述

数据载入与保存

在这里插入图片描述

实例：MovieLens 电影数据分析一

在这里插入图片描述
在这里插入图片描述

实例：MovieLens 电影数据分析二

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

pandas 核心数据结构一

Series

Series对象的性质：类ndarray对象、类dict对象、标签对齐操作。
类ndarray
在这里插入图片描述
类dict对象
在这里插入图片描述
标签对齐对象
在这里插入图片描述

DataFrame

DataFrame 是有标签的二维数组
用字典创建DataFrame
在这里插入图片描述
在这里插入图片描述
用列表创建DataFrame
在这里插入图片描述
特性：增加／删除

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Panel

三维带标签的数组
items相当于分类标签。
Major_axis即为dataframe中的index。
Minor_axis为dataframe中的columns。
在这里插入图片描述

pandas 基础运算

重新索引

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

丢弃部分数据

在这里插入图片描述

映射函数 apply／applymap

在这里插入图片描述
在这里插入图片描述
applymap
在这里插入图片描述

排序和排名

DataFrame排序
在这里插入图片描述
排名：
在这里插入图片描述

数据唯一性及成员资格

在这里插入图片描述

王二小、
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
panda使用教程
叫我二当家的专栏
06-08 2265
import pandas as pd file_path = "test.csv" df = pd.read_csv(file_path) #index columns dtypes #series #查看数据 df.head() df.head(10) df.tail() df.tail(10) #线索索引和列名 df.index df.columns #列的类型 df.dtypes #取一列（也就是series） df.uid df['uid'] #查看统计摘要 df.describ
机器学习——pandas操作数据
fwj_ntu的博客
03-12 459
上一篇中已经了解了机器学习中一个简单的决策树模型，接下来将通过理论知识的学习，了解如何利用Pandas操作数据。 Pandas操作数据 机器学习项目的首要操作是建模人员要熟悉数据。在这节中，将教大家用Python的Pandas库来操作数据。Pandas是数据科学家用于浏览和操作数据的一个最基础的工具。大多数使用Pandas的人都习惯将pandas简称为‘pd’。 通过这条命令就可以完成该操作： i...
欧姆龙视觉检测操作说明书.pptx
10-21
欧姆龙FZ-PANDA视觉检测说明书，本文章以CCD相机视觉检测引导安川机器人视觉抓取。
FZ-PanDA5.72版.rar
10-21
FZ-PanDA视觉检测仿真软件
欧姆FH-FZ系列视觉CCD软件
05-04
欧姆龙CCD软件，官网未发布，从欧姆龙代理商得来的，喜欢的朋友可以拿这个练习。
机器学习-pandas(含数据)
最新发布
01-26
在机器学习领域，pandas库是...从数据导入、清洗、转换到模型训练和评估，pandas提供了丰富的功能，使得数据科学家能够高效地进行数据分析和建模工作。对于想要深入机器学习的人来说，掌握pandas的使用是至关重要的。
Python-fuel机器学习的数据管道框架
08-09
Python-fuel机器学习的数据管道框架，是专门为数据科学家和机器学习工程师设计的一个高效工具，它在机器学习领域中扮演着至关重要的角色。Fuel的核心功能在于提供了一种灵活的方式来组织、处理和馈送大规模数据集到...
Python-Kubernets的机器学习工具包
08-09
总的来说，Kubeflow是将Kubernetes的强大容器编排能力应用于机器学习的创新实践，通过与Python的紧密结合，为数据科学家和工程师提供了一个高效、灵活的平台，推动了机器学习的普及和应用。通过深入学习和掌握...
数据科学代码_Data-Science-Notes-master.zip
05-29
数据科学是现代信息技术领域的一个重要分支，它涵盖了统计学、机器学习、数据分析等多个学科的知识，旨在从海量数据中提取有价值的信息。在这个名为“Data-Science-Notes-master.zip”的压缩包中，你将找到一系列...
欧姆龙视觉软件 FZ-FH-FJ系列仿真软件
11-10
欧姆龙视觉软件 FZ-FH-FJ系列仿真软件
欧姆龙视觉_FZ系列IO信号连接教程
05-19
欧姆龙视觉_FZ系列IO信号连接教程
欧姆龙视觉培训教材.pdf
09-19
欧姆龙公司FH图像处理系统，FQ2智能相机及视觉系统应用案例介绍
panda
03-14
熊猫
视觉系统说明书
12-25
visan视觉系统应用说名书，可以很好的说明视觉系统的功能作用
scikit-learn学习笔记.pdf
06-06
Scikit-learn是Python机器学习领域的基石，无论你是初学者还是经验丰富的数据科学家，都能从中受益。通过这个库，你可以轻松地实现各种机器学习任务，从简单的线性模型到复杂的深度学习模型，都能找到相应的解决方案...
欧姆龙机器视觉软件系统fh fz fj仿真软件CCD
2301_77728841的博客
04-20 1648
欧姆龙机器视觉软件系统fh fz fj仿真软件CCD。FH系列是FZ的升级版，包含FZ所有功能。欧姆龙图像传感器FH软件，带仿真。欧姆龙CCD视觉检测模拟软件。
数据分析工程师_第02讲Pandas教程(上篇)
酱油哥的博客
06-27 943
数据分析工程师_Pandas教程上篇数据分析工程师_Pandas教程(上篇)Pandas简介目录数据结构Series构造和初始化seriesbooling indexing/条件判断索引Series赋值数据缺失数据结构DataFrame 数据分析工程师_Pandas教程(上篇) pandas是一个专门用于数据分析的python工具库 Pandas简介 python数据分析处理的一个package...
【PANDA教程】PANDA详细教程笔记
热门推荐
Absolute Zero
10-17 3万+
目录 一、数据准备 二、基本操作流程 Part 1 路径选择和基本设置（1~4） 1. DICOM/NIFTI Path文件输入 2. Result Path 设置结果输出路径 3. Subject_IDs 设置样本编号 4. File_Prefix 设置文件名前缀 Part 2 参数设置（5~7） 5. PiPeline Opt 设置并行处理参数 6. Diffusion_Opt 弥散参数设置 7. Tracking_Opt 纤维追踪参数设置 Part 3 其他设...
Python Scikit-learn：机器学习实战指南
自2007年由David Cournapeau发起以来，Scikit-learn已经成为数据科学家和机器学习工程师的重要工具。 在使用Scikit-learn时，首先需要安装这个库，安装过程通常非常简单，可以通过Python的包管理器pip完成。安装...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

王二小、

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值