前言
1.训练数据在本篇博客绑定的资源栏目
2.Kaggle上的“泰坦尼克号”数据集这个典型的数据集相信大家并不陌生，以此为切入点，让我们来看看数据分析到底是个啥玩意！
逻辑概要
这是一个典型的分类问题。目标是利用机器学习模型,根据泰坦尼克号事故中乘客的个人特征,预测他们在灾难中的生存结果。以下仅是简单示例介绍，具体之后文章会逐步细分详细讲解其中涉及的方法与应用。
1. 数据预处理
首先需要对原始数据集进行预处理。包括:利用描述 statistics分析特征,补充缺失值,将分类变量进行编码等操作。这一步汇总数据质量,为后续建模奠定基础。
2. 可视化分析
利用探索性数据分析技术对数据进行可视化。例如不同特征下生存率分布,可以揭示特征与标签之间的潜在关系。
3. 模型训练与验证
选择逻辑回归、决策树等经典分类模型。根据训练集训练模型,利用穿透测试或k折交叉验证评估模型性能,选择效果最好的模型。
4. 测试并解读
在测试集上进行预测,计算准确率或AUC指标。观察错误样本,结合EDA结果理解模型效果和局限性。
5. 改进与展望
提出模型可以优化的地方,如利用额外特征等。将方法应用到其他场景,探讨分类问题在实务中的应用前景。
数据预处理
1.拿到未知数据，先大致浏览其列属性
#导入pandas库并将其重命名为pd，用于数据分析和处理。
import pandas as pd
#导入numpy库并将其重命名为np，用于科学计算和数组操作。
import numpy as np
#这两个是pandas中常用的数据结构。
from pandas import Series,DataFrame
#函数读取名为"train.csv"的CSV文件，并将数据加载到名为data_train的DataFrame对象中。
data_train = pd.read_csv("train.csv")
#印出data_train的列名，即数据集中的特征名称。
data_train.columns
字段的具体解释如下：
PassengerId => 乘客ID
Pclass => 乘客等级(1/2/3等舱位)
Name => 乘客姓名
Sex => 性别
Age => 年龄
SibSp => 堂兄弟/妹个数
Parch => 父母与小孩个数
Ticket => 船票信息
Fare => 票价
Cabin => 客舱
Embarked => 登船港口
2.数据的基本信息描述
data_train.info()
这些信息告诉了我们，各字段属性的数据个数以及数据类型。再仔细观察可发现有些属性的数据不全，比如说：
Age（年龄）属性只有714名乘客有记录
Cabin（客舱）更是只有204名乘客是已知的
data_train.describe()进一步对数值型属性的数据进行统计描述
数据的直观可视化的简单分析
# 可视化乘客性别与幸存情况的关系
sns.catplot(x='Sex', y='Survived', hue='Pclass', kind='bar', data=data_train)
plt.title('Survival Rate by Gender and Passenger Class')
plt.xlabel('Gender')
plt.ylabel('Survival Rate')
plt.show()
这段代码使用Seaborn库的countplot函数创建了一个计数柱状图，显示了乘客的幸存情况。横轴表示是否幸存，纵轴表示乘客数量。这个图表可以帮助我们了解存活和未存活乘客的数量分布情况。
# 可视化不同客舱等级的幸存率
sns.barplot(x='Pclass', y='Survived', data=data_train)
plt.title('Survival Rate by Passenger Class')
plt.xlabel('Passenger Class')
plt.ylabel('Survival Rate')
plt.show()
上述代码使用Seaborn的barplot函数创建了一个条形图，展示了不同客舱等级的幸存率。横轴表示客舱等级，纵轴表示幸存率。通过这个图表，我们可以比较不同客舱等级的乘客幸存率，从而了解客舱等级与幸存率之间的关系。
# 可视化乘客性别与幸存情况的关系
sns.catplot(x='Sex', y='Survived', hue='Pclass', kind='bar', data=data_train)
plt.title('Survival Rate by Gender and Passenger Class')
plt.xlabel('Gender')
plt.ylabel('Survival Rate')
plt.show()
这段代码使用Seaborn的catplot函数创建了一个分类条形图，展示了乘客性别和幸存情况之间的关系，并根据客舱等级进行了分组。横轴表示性别，纵轴表示幸存率。
二分类模型
逻辑回归
这是一个典型的二分类问题，其中标签可以是生存或非生存。
以下代码，展示了如何使用逻辑回归模型进行预测：
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score
# 读取数据集
data = pd.read_csv("train.csv")
# 数据预处理
data.dropna(subset=['Age', 'Sex', 'Pclass'], inplace=True)
data['Sex'] = data['Sex'].map({'female': 0, 'male': 1})
# 特征选择
selected_features = ['Age', 'Sex', 'Pclass']
X = data[selected_features]
y = data['Survived']
# 拆分数据集为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
# 创建逻辑回归模型并进行训练
model = LogisticRegression()
model.fit(X_train, y_train)
# 在测试集上进行预测
y_pred = model.predict(X_test)
# 评估模型性能
accuracy = accuracy_score(y_test, y_pred)
print(f'Accuracy: {accuracy}')
上述代码中，我们首先读取了包含乘客数据的"train.csv"文件。然后进行了数据预处理，删除了缺失值，并将性别特征转换为数值编码。接下来，我们选择了一些特征（年龄、性别和船舱等级）作为输入特征，并将生存标签作为输出。
然后，我们将数据集拆分为训练集和测试集，并创建了一个逻辑回归模型。模型在训练集上进行训练，并在测试集上进行预测。最后，我们使用准确率作为评估指标来衡量模型的性能。
PS：实际的机器学习任务可能需要更复杂的特征工程、模型选择和调参步骤。此外，可能还需要进行交叉验证、超参数调优和模型解释等进一步的分析。
随机森林
除了逻辑回归模型之外，还有许多经典的机器学习模型可以用于二分类问题，例如决策树、随机森林、支持向量机、朴素贝叶斯等。每个模型都有其自身的优点和适用场景。
以下代码，演示了如何使用随机森林模型进行预测：
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import accuracy_score
# 读取数据集
data = pd.read_csv("train.csv")
# 数据预处理
data.dropna(subset=['Age', 'Sex', 'Pclass'], inplace=True)
data['Sex'] = data['Sex'].map({'female': 0, 'male': 1})
# 特征选择
selected_features = ['Age', 'Sex', 'Pclass']
X = data[selected_features]
y = data['Survived']
# 拆分数据集为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
# 创建随机森林模型并进行训练
model = RandomForestClassifier()
model.fit(X_train, y_train)
# 在测试集上进行预测
y_pred = model.predict(X_test)
# 评估模型性能
accuracy = accuracy_score(y_test, y_pred)
print(f'Accuracy: {accuracy}')
ps：选择适合数据和任务的模型是一个迭代的过程，进行不同的性能评估才能最终选择较为适合的模型。
测试并解读
如下代码展示了一些常见的EDA（数据探索性分析）操作，包括查看数据前几行、统计信息、特征之间的相关性、绘制柱状图和直方图等。
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
# 读取数据集
data = pd.read_csv("train.csv")
# EDA分析
# 查看数据前几行
print(data.head())
# 查看数据统计信息
print(data.describe())
# 查看特征之间的相关性
correlation = data[['Survived', 'Age', 'Pclass']].corr()
print(correlation)
# 绘制生存与性别的柱状图
#sns.countplot(x='Survived', hue='Sex', data=data)
#plt.show()
# 绘制生存与船舱等级的柱状图
sns.countplot(x='Survived', hue='Pclass', data=data)
plt.show()
# 绘制年龄分布的直方图
sns.histplot(data['Age'].dropna(), kde=True)
plt.show()通过运行上述代码，可以获取以下信息：
-
数据预览：通过打印数据的前几行，可以了解数据的整体结构和特征。
-
统计信息：通过查看数据的统计信息，如均值、标准差、最小值和最大值，可以对数据的分布有更全面的了解。
-
特征相关性：通过计算特征之间的相关性矩阵，可以了解不同特征之间的线性关系强度。在这个例子中，我们计算了'Survived'、'Age'和'Pclass'之间的相关性。
-
可视化分析：通过绘制柱状图和直方图，可以直观地观察生存与性别、船舱等级以及年龄分布之间的关系。
如下：
这些EDA分析结果可以方便我们更好地理解数据集的特征分布、相关性以及可能的模式。结合这些分析结果和模型的预测结果，可以更准确地评估模型的效果和局限性，并针对性地进行改进。
改进与展望
在给定的代码和数据集上，有几个方面可以进行模型优化和改进：
-
特征工程：除了添加额外特征，还可以进行特征工程来创建更有信息量的特征。例如，可以从乘客姓名中提取出称号（如Mr、Mrs、Miss等）作为新的特征，或者将乘客的家庭成员数量与乘客本身的特征进行组合。这些衍生特征可能会捕捉到更多的模式和关联，提高模型的性能。
-
模型集成：考虑使用模型集成技术，如投票法、堆叠（stacking）或提升（boosting），将多个模型的预测结果进行集成，以获得更强大的预测性能。
-
添加额外特征：当前代码中仅使用了年龄（Age）、性别（Sex）和船舱等级（Pclass）作为预测特征。如果可以的话，尝试添加其他特征，如乘客的家庭成员数量、登船港口、票价等。这些额外特征可能包含有用的信息，有助于提高模型的性能。
1711
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
