跟着Kaggle学习Pandas

最新推荐文章于 2023-01-04 20:30:51 发布
最新推荐文章于 2023-01-04 20:30:51 发布
阅读量808 收藏 7
点赞数 2
文章标签： Kaggle Python Pandas
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yq9333/article/details/87954845
版权

Kaggle给初学者们提供了简单的上手教学，在此将其关于Pandas的课程提炼出来，虽然并没有多少内容，但对于做数据分析应该够用了
Kaggle原文链接：https://www.kaggle.com/learn/pandas
Pandas官方文档更为详细，举例也很友好：http://pandas.pydata.org/pandas-docs/stable/reference/index.html
例子中用到的数据我已在下面链接中分享出来：
链接：https://pan.baidu.com/s/1zalqh7qRPb_L92oKRPPg_Q
提取码：4198

1. Creating, Reading & Writing

1.1 Creating data

Pandas中有两个核心对象，DataFrame和Series

1.1.1 DataFrame

DataFrame是二维表格，竖列称为column，横行称为index，例如创建一个名为fruits的DataFrame对象：

import pandas as pd

# 方法一：先按行输入表格数据，然后分别对columns和index作补充说明
fruits = pd.DataFrame([[10, 20], [30, 40]], columns=["Apples", "Bananas"], index=["Price", "Amount"])

# 方法二：按列来输入每一个column的数据，然后对index作单独补充说明
fruits = pd.DataFrame({"Apples": [10, 30], "Bananas": [20, 40]}, index=["Price", "Amount"])

在这里插入图片描述

1.1.2 Series

Series是一维表格，即只有单列column，可以把一个DataFrame看作是多个Series组合起来的合体，它们总是相互关联。不对column单独命名，只有一个总的表格名，例如创建一个名为things的Series对象：

# 方法类似，先对表格内容进行输入，然后对index和name补充说明
things = pd.Series([1, 2, 3], index=["Milk", "Eggs", "Spam"], name="Dinner")

things

在这里插入图片描述
注意：在上述创建过程中，如果index不作特殊说明，那么就会是从0开始的连续自然数

1.2 Reading file

数据可以存储在多种文件格式中，目前最基础的是CSV格式的文件，CSV（comma-seperated values）格式是数据被逗号隔开的一种表格，我们使用read_csv()函数把数据读取到一个DataFrame对象中：

# 此时pandas会自动加入从0开始的index
wine_reviews = pd.read_csv("../input/wine-reviews/winemag-data-130k-v2.csv")

# 如果原数据有自己的index，比如在第一列，则可用index_col=0来描述，这样第一列就会作为index
wine_reviews = pd.read_csv("../input/wine-reviews/winemag-data-130k-v2.csv", index_col=0)

另一种常见的数据格式是SQL（Structured Query Language），它的存储能力相当惊人，SQL有很多不同种类，每一种都需要各自的connector，它的读取没有CSV那么方便，目前在Kaggle唯一支持的种类是SQLite，应用举例：

import sqlite3

conn = sqlite3.connect("../input/188-million-us-wildfires/FPA_FOD_20170508.sqlite")
fires = pd.read_sql_query("SELECT * FROM fires", conn)
# SELECT是每个SQL开始陈述时的固定表达，星号*意为everything，FROM fires表示只从数据中读取名为fires的表格

1.3 Writing file

使用to_csv()函数将数据写入CSV格式的文件：

wine_reviews.to_csv("wine_reviews.csv")

2. Indexing, Selecting & Assigning

2.1 Naive accessors

简单的访问数据：可以直接显示整个DataFrame，若数据量较大最好设置展示的最大行数；也可以使用 head() 来展示前几行数据

import pandas as pd

reviews = pd.read_csv("wine-reviews/winemag-data-130k-v2.csv", index_col=0)
pd.set_option("display.max_rows", 2)    # 数据量大，这里设置为最多显示5行

reviews

在这里插入图片描述

reviews.head(n=1)           # 若不指定，则默认n=5

在这里插入图片描述
选取特定的某一列数据，可以用 DataFrame.column 或者 DataFrame[“column”]

reviews.country   
reviews['country']

在这里插入图片描述
选取特定的某一行某一列的元素，可以用 DataFrame[“column”][“index”]

reviews['country'][0]

‘Italy’

2.2 DataFrame.iloc

DataFrame.iloc基于数据的数字索引位置（integer-location）来检索数据，也可用布尔值（boolean array）进行检索

reviews.iloc[0]               # 选取第一行

在这里插入图片描述

reviews.iloc[:, 0]            # 选取第一列，:表示所有

在这里插入图片描述

reviews.iloc[:3, 0]           # 选取第一列的前3个数据

在这里插入图片描述

reviews.iloc[[0, 3, 5], 0]    # 选取第一列的第1、4、6个数据，使用列表检索要加[]

在这里插入图片描述

reviews.iloc[-1]              # 选取最后一行：若是负数，则是从数据末尾开始计算，类似于python的列表功能

在这里插入图片描述

# 基于布尔值进行检索选取数据，注意布尔的数量要与index数量一致，下例表示选取第1行和第4行数据
reviews.head().iloc[[True, False, False, True, False]]

在这里插入图片描述

2.3 DataFrame.loc

DataFrame.loc可以基于标签（label）或布尔值（boolean array）对行列进行检索，还可以使用逻辑符号进行条件检索

reviews.loc[0, 'country']                     # 选取第1行第1列的数据

‘Italy’

reviews.loc[:, ['taster_name', 'points']]     # 选取某两列的所有数据

在这里插入图片描述

# 基于布尔值进行检索选取数据，注意布尔的数量要与index数量一致，下例表示选取第1行和第4行数据
reviews.head().loc[[True, False, False, True, False]]

在这里插入图片描述
总结一下iloc与loc的异同：

  • 相同点：都是先行后列的检索顺序，都支持使用布尔值检索
  • iloc适用于基于数字索引进行检索；loc可以使用表格的标签进行检索，还可以进行条件检索
  • 对于一个range（比如1:10），iloc是前闭后开（即1到9），loc是前后都闭（即1到10）

2.4 条件检索

reviews.loc[reviews.country == 'Italy']

在这里插入图片描述

reviews.loc[(reviews.country == 'Italy') & (reviews.points >= 90)]     # 在Pandas里“与”用“&”表示

在这里插入图片描述

reviews.loc[(reviews.country == 'Italy') | (reviews.points >= 90)]     # 在Pandas里“或”用“|”表示

在这里插入图片描述
isin() 用来选取存在于列表中的数据

reviews.loc[reviews.country.isin(['Italy', 'France'])]

在这里插入图片描述
isnull() 与 notnull() 用来确认数据是否为空

reviews.loc[reviews.price.notnull()]

在这里插入图片描述

2.5 Assigning data 赋值

reviews['critic'] = 'everyone'
reviews['critic']

在这里插入图片描述

3. Summary functions & maps

import pandas as pd

reviews = pd.read_csv("wine-reviews/winemag-data-130k-v2.csv", index_col=0)

reviews.points.describe()              # 描述分数的一些情况

在这里插入图片描述

reviews.points.mean()                   # 分数的平均值

88.44713820775404

reviews.points.median()                 # 分数的中值

88.0

reviews.points.unique()                 # 分数的不同数值

array([ 87, 86, 85, 88, 92, 91, 90, 89, 83, 82, 81, 80, 100, 98, 97, 96, 95, 93, 94, 84, 99], dtype=int64)

pd.set_option("display.max_rows", 5)

reviews.taster_name.value_counts()      # 分数的不同数值分别出现了多少次

在这里插入图片描述

4. Grouping & Sorting

import pandas as pd

reviews = pd.read_csv("wine-reviews/winemag-data-130k-v2.csv", index_col=0)
pd.set_option("display.max_rows", 5)

reviews.groupby('points').points.count()    # 将分数升序排列，并统计出对应的个数

在这里插入图片描述

reviews.groupby("price").points.max()      # 将价格升序排列，并统计出对应的最高分数

在这里插入图片描述

reviews.groupby('country').price.agg([min, max])      # agg可以运行多个函数

在这里插入图片描述

# groupby可以有多个index
countries_reviewed = reviews.groupby(['country', 'province']).description.agg([len])
countries_reviewed

在这里插入图片描述

countries_reviewed.reset_index()     # reset_index()转换为常规的dataframe类型

在这里插入图片描述

countries_reviewed.reset_index().sort_values(by='len')      # 默认升序

在这里插入图片描述

countries_reviewed.reset_index().sort_values(by='len', ascending=False)

在这里插入图片描述

5. Data types & dealing with missing data

5.1 Data types

import pandas as pd

reviews = pd.read_csv("wine-reviews/winemag-data-130k-v2.csv", index_col=0)
pd.set_option("display.max_rows", 2)

reviews.dtypes

在这里插入图片描述

reviews.points.dtype

在这里插入图片描述

reviews.points.astype('float64')       # 将points的int64类型转换为float64类型

5.2 Missing data handling

reviews.country.isnull().sum()

63

reviews[reviews.country.isnull()]

在这里插入图片描述

reviews.region_2.fillna("Unknown")       # fillna用于将缺失的NA值替换成别的

在这里插入图片描述

DataFrame.dropna()                          # 去掉有缺失项的行
DataFrame.dropna(axis='columns')            # 去掉有缺失项的列
DataFrame.dropna(how='all')                 # 去掉所有项均缺失的行
DataFrame.dropna(thresh=2)                  # 保留至少有两个非空项的行

还有一种处理数据的方法：replace，例如DataFrame.replace(“A”, “B”)，意为将A替换为B
关于replace有很多用法，具体可查看官方文档:http://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.replace.html#pandas.DataFrame.replace

6. Renaming & Combining

这部分用的比较少，就不详细写了：）

reviews.rename(columns={'points': 'score'})
reviews.rename(index={0: 'firstEntry', 1: 'secondEntry'})

combined_products = pd.concat([gaming_products, movie_products])

left = canadian_youtube.set_index(['title', 'trending_date'])
right = british_youtube.set_index(['title', 'trending_date'])

left.join(right, lsuffix='_CAN', rsuffix='_UK')
yq9333
关注
  • 2
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python+pandas数据分析：用python实现Kaggle的Titanic数据分析例子
叶子叶来
07-04 2万+
> 在数据处理方向上，R语言相比，python更接近编程语言，先学习pandas包的内容，之后再学习sklearn包运用； **思路：** > ①对每个变量进行数据探索，然后将其作图，然后又变量被舍弃，比如Embarked，有变量被拆分，比如性别Female和male，有变量被合并之类的。 > ②对于train集合和test集合都是一起对变量做取舍，方便建模使用。 > ③用不同的模型拟合train集合，然后会给不同的模型打分，提交打分最高的那个模型，这需要sklearn包来实现，它自带了很多算法。
Kaggle-Pandas入门教程笔记
weixin_44936560的博客
07-11 557
自己学习Kaggle-Pandas课程的笔记
【数据处理】在kaggle学pandas
weixin_44810165的博客
04-28 1269
一些Pandas基础知识。
在kaggle上的pandas学习总结
LXJSLK的专栏
11-12 809
在kaggle上的pandas学习总结
kaggle课程（五）Panda
阿尔基亚的玫瑰蜜
03-21 327
一、基础学习creating, reading and writing 1. Creating pandas有两个主要的对象：DataFrame和Series. DataFrame： import pandas as pd pd.DataFrame({'Bob': ['I liked it.', 'It was awful.'], 'Sue': ['Pretty go...
【Python｜Kaggle】机器学习系列之Pandas基础练习题（一）
海到无边天作岸 山登绝顶我为峰
08-13 3569
前言 Hello！小伙伴！ 非常感谢您阅读海轰的文章，倘若文中有错误的地方，欢迎您指出～   自我介绍 ଘ(੭ˊᵕˋ)੭ 昵称：海轰 标签：程序猿｜C++选手｜学生 简介：因C语言结识编程，随后转入计算机专业，有幸拿过一些国奖、省奖…已保研。目前正在学习C++/Linux/Python 学习经验：扎实基础 + 多做笔记 + 多敲代码 + 多思考 + 学好英语！   初学Python 小白阶段 文章仅作为自己的学习笔记 用于知识体系建立以及复习 题不在多 学一题 懂一题 知其然 知其所
kaggle平台学习复习笔记 | pandas
lijiamingccc的博客
01-04 668
您可以在这个数据集中看到CSV文件有一个内置索引，panda并没有自动获取该索引。为了使panda使用该列作为索引（而不是从头创建一个新列），我们可以指定一个index_col。另一个值得一提的groupby（）方法是agg（），它允许您同时在DataFrame上运行一系列不同的函数。要选择NaN条目，可以使用pd.isnull（）（或其伴随的pd.notnull（））的数据，显示字段的平均值，最大值，最小值等。
kaggle上的pandas小技巧
yuanzhoulvpi的博客
07-11 384
kaggle上有很多大神，对数据处理非常有心得。感觉是时候做一次总结。 这一次主要是介绍kaggle上的titanic数据集的一个notebook。链接为：https://www.kaggle.com/startupsci/titanic-data-science-solutions 这个notebook主要的还是面向入门的python数据处理用户。 Q1：如何获得pandas里面数据框（DataFrame）的列名字，如何提取，如何修改？ 对于上面的train这个数据的列名字，可以使用tra.
跟着Kaggle学习Pandas-附件资源
03-05
跟着Kaggle学习Pandas-附件资源
【Kaggle 学习笔记】 | Pandas
12-21
创建，读取和保存 两个结构单元DataFrame，Series # DataFrame pd.DataFrame({'Bob': ['I liked it.', 'It was awful.'], 'Sue': ['Pretty good.', 'Bland.']}, index=['Product A', 'Product B']) ...
kaggle男性体脂率机器学习数据集
11-04
kaggle-bodyfat男性体脂率机器学习数据集，可以用于男性体脂率分析和预测
数据分析入门 | kaggle泰坦尼克任务（二）—＞pandas基础
菜菜的菜园子
03-15 1146
kaggle泰坦尼克任务（二）pandas基础
葡萄酒数据集(wine.csv)
03-07
UCI网站上的机器学习样本数据集，包含了13个不同的特征，对178个葡萄酒数据样本的化学特征做出了描述，包含了列表，是一个csv表格。
用pandas划分数据集实现训练集和测试集
12-17
1、使用model_select子模块中的train_test_split函数进行划分 数据：使用kaggle上Titanic数据集 划分方法：随机划分 # 导入pandas模块，sklearn中model_select模块 import pandas as pd from sklearn.model_select import train_test_split # 读取数据 data = pd.read_csv('.../titanic_dataset/train.csv') # 将特征划分到 X 中，标签划分到 Y 中 x = data.iloc[:, 2:] y = data.l
【Kaggle教程】Pandas
py今天刷题了吗
06-08 269
Creating data（创建数据） Reading data files （读取数据） 2- Indexing, Selecting & Assigning 索引：都是行优先 : i 表示index : 索引 设置索引 条件选择 Summary functions Maps Exercise: Summary Functions and Maps 5 - Exercise: Data Types and Missing Values 读取数据 index_col 在默认为None的时候，pan
Python Pandas数据处理入门（Kaggle Titanic竞赛数据）
热门推荐
fisfog的学习coffee
09-01 2万+
Kaggle数据竞赛是学习ML的一种有效途径。
Kaggle酒推荐，winemag-data-130k-v2.csv
人工智能曾小健
09-10 392
import pandas as pd import matplotlib.pyplot as plt import numpy as np import seaborn as sns from scipy.stats import kurtosis,skew from scipy import stats 函数定义 def resumetable(df): print(f"Dataset Shape: {df.shape}") summary = pd.DataFram...
kaggle入门之pandas
li123chen的博客
03-14 364
创建 读写 # 创建dataframe格式数据 fruits = pd.DataFrame([[30,21]],columns=['Apples','Bananas']) fruit_sales = pd.DataFrame([[35,21],[41,34]],columns=['Apples','Bananas'],index=['2017 Sales','2018 Sales']) # 创建S...
2024-2030全球及中国PCB接触式探头行业研究及十五五规划分析报告.docx
最新发布
04-18
2024-2030全球及中国PCB接触式探头行业研究及十五五规划分析报告
kaggle pandas creating题目
09-19
Kaggle 是一个数据科学竞赛平台，提供了大量的数据集和机器学习问题供用户解决。Pandas 是 Python 中一个非常强大的数据处理库，可以帮助我们高效地处理和分析数据。 根据题目要求，我们需要使用 Pandas 创建一个...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值