【留学必备】编程入门指南（五）：Python和R的数据导入与清洗

本文链接：https://blog.csdn.net/Shudan_/article/details/139434842

在数据分析的过程中，数据导入和清洗是至关重要的步骤。数据的质量直接影响分析结果的准确性和可靠性。今天我们来介绍基本的数据导入和清洗技巧，以及如何使用 Pandas（Python）和 dplyr（R）进行基本的数据分析操作。

数据导入和清洗

Python 中的数据导入和清洗

Python 中最常用的数据分析库是 Pandas。Pandas 提供了强大的数据导入和清洗功能。

数据导入

Pandas 可以轻松地导入 CSV 文件、Excel 文件和 SQL 数据库等多种格式的数据。

import pandas as pd

# 导入 CSV 文件
df = pd.read_csv('example.csv')

# 导入 Excel 文件
df_excel = pd.read_excel('example.xlsx')

# 从 SQL 数据库导入数据
import sqlite3
conn = sqlite3.connect('example.db')
df_sql = pd.read_sql_query('SELECT * FROM table_name', conn)

数据清洗

数据清洗包括处理缺失值、去除重复数据、数据类型转换等操作。

# 查看数据的基本信息
df.info()

# 处理缺失值
df = df.dropna()  # 删除缺失值
df = df.fillna(0)  # 用0填充缺失值

# 去除重复数据
df = df.drop_duplicates()

# 数据类型转换
df['column_name'] = df['column_name'].astype('int')

R 中的数据导入和清洗

R 中最常用的数据导入和清洗库是 readr 和 dplyr。

数据导入

readr 提供了简单易用的函数来导入 CSV 文件和其他格式的数据。

library(readr)

# 导入 CSV 文件
df <- read_csv('example.csv')

# 导入 Excel 文件
library(readxl)
df_excel <- read_excel('example.xlsx')

# 从 SQL 数据库导入数据
library(DBI)
conn <- dbConnect(RSQLite::SQLite(), 'example.db')
df_sql <- dbGetQuery(conn, 'SELECT * FROM table_name')

数据清洗

dplyr 提供了便捷的数据清洗函数。

library(dplyr)

# 查看数据的基本信息
glimpse(df)

# 处理缺失值
df <- df %>% drop_na()  # 删除缺失值
df <- df %>% replace_na(list(column_name = 0))  # 用0填充缺失值

# 去除重复数据
df <- df %>% distinct()

# 数据类型转换
df <- df %>% mutate(column_name = as.integer(column_name))

基本数据分析

使用 Pandas 进行基本数据分析（Python）

Pandas 提供了丰富的函数来进行数据分析。

import pandas as pd

# 计算描述性统计
summary = df.describe()

# 分组汇总
grouped = df.groupby('column_name').mean()

# 筛选数据
filtered = df[df['column_name'] > 10]

# 数据排序
sorted_df = df.sort_values(by='column_name', ascending=False)

使用 dplyr 进行基本数据分析（R）

dplyr 是 R 中强大的数据操作包，提供了简洁的语法进行数据分析。

library(dplyr)

# 计算描述性统计
summary <- df %>% summarise(across(everything(), list(mean = mean, sd = sd)))

# 分组汇总
grouped <- df %>% group_by(column_name) %>% summarise(mean_value = mean(target_column))

# 筛选数据
filtered <- df %>% filter(column_name > 10)

# 数据排序
sorted_df <- df %>% arrange(desc(column_name))