【30天从入门到放弃】我的机器学习之路 4

最新推荐文章于 2023-07-16 20:44:06 发布

Shaun_Xi

最新推荐文章于 2023-07-16 20:44:06 发布

阅读量237

点赞数

分类专栏：数据挖掘文章标签：机器学习 kaggle python 大数据数据挖掘

本文链接：https://blog.csdn.net/weixin_39793644/article/details/112483888

版权

数据挖掘专栏收录该内容

7 篇文章 0 订阅

订阅专栏

周末注册了kaggle，为了先熟悉一下这个平台。今天用了大半天的时间刷完了一个新手副本任务--泰坦尼克号存活率预测（这个应该算是kaggle上的“hello world”级别的项目了，借这个项目正好复习一下整个流程，关于上一期时序预测的题，咱们暂且往后排。）

一、赛题背景

1912年4月15日，泰坦尼克号在处女航中撞上冰山后沉没，造成了2224名乘客和船员中的1502人遇难，即32%的存活率。
海难导致这么多人丧生的原因之一是没有足够的救生艇容纳乘客和船员。
虽然在沉船事件中幸存下来有一些运气因素，但有些人群，如妇女、儿童和上层社会的人比其他人更有可能幸存下来。

二、数据概况

数据字典如下，原始数据中主要包括了姓名、性别、年龄、同行人数、船票等级、船票编号、票价、客舱号、登船港口等

原始的训练集和测试集在后台回复【Titanic】即可获取。

三、解题过程

以下步骤可以直接用kaggle的notebook进行编辑，也可以自己安装anaconda、jupyter，不再赘述。

1.导入必要的包

# data analysis and wranglingimport pandas as pdimport numpy as npimport random as rnd
# visualizationimport seaborn as snsimport matplotlib.pyplot as plt%matplotlib inline
# machine learningfrom sklearn.linear_model import LogisticRegressionfrom sklearn.svm import SVC, LinearSVCfrom sklearn.ensemble import RandomForestClassifierfrom sklearn.neighbors import KNeighborsClassifierfrom sklearn.naive_bayes import GaussianNBfrom sklearn.linear_model import Perceptronfrom sklearn.linear_model import SGDClassifierfrom sklearn.tree import DecisionTreeClassifier

2.数据集载入

train_df = pd.read_csv('../input/train.csv')test_df = pd.read_csv('../input/test.csv')combine = [train_df, test_df] # 放在同一个list，方便后续同时对两个数据集操作
train_df.head()

3.数据集预览

各种特征的数据类型是什么?
哪些特征包含空值、空值或空值?
数值类特征值在样本中的分布是怎样的?
类别型的特征值的分布是怎的?

train_df.info()print('_'*40)test_df.info()
train_df.describe()train_df.describe(include=['O'])

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 891 entries, 0 to 890
Data columns (total 12 columns):
PassengerId    891 non-null int64
Survived       891 non-null int64
Pclass         891 non-null int64
Name           891 non-null object
Sex            891 non-null object
Age            714 non-null float64
SibSp          891 non-null int64
Parch          891 non-null int64
Ticket         891 non-null object
Fare           891 non-null float64
Cabin          204 non-null object
Embarked       889 non-null object
dtypes: float64(2), int64(5), object(5)
memory usage: 83.6+ KB
________________________________________
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 418 entries, 0 to 417
Data columns (total 11 columns):
PassengerId    418 non-null int64
Pclass         418 non-null int64
Name           418 non-null object
Sex            418 non-null object
Age            332 non-null float64
SibSp          418 non-null int64
Parch          418 non-null int64
Ticket         418 non-null object
Fare           417 non-null float64
Cabin          91 non-null object
Embarked       418 non-null object
dtypes: float64(2), int64(4), object(5)
memory usage: 36.0+ KB

4.EDA和特征选择

Correlating：需要知道各个特征和存活率之间的相关性，这一步是做探索性分析，验证假设

# 分析ageg = sns.FacetGrid(train_df, col='Survived')g.map(plt.hist, 'Age', bins=20)

结论：

在模型训练中考虑age特征。
需要补齐age的null值。
需要划分年龄组(创造3个)。

# 分析 Pclassgrid = sns.FacetGrid(train_df, col='Survived', row='Pclass', size=2.2, aspect=1.6)grid.map(plt.hist, 'Age', alpha=.5, bins=20)grid.add_legend();

结论：

在模型训练中考虑Pclass特征。

# 分析 Embarked、Pclass、Sexgrid = sns.FacetGrid(train_df, row='Embarked', size=2.2, aspect=1.6)grid.map(sns.pointplot, 'Pclass', 'Survived', 'Sex', palette='deep')grid.add_legend()

结论：

在模特训练中加入Sex特征。
补齐并增加Embarked特征。

# 分析 Embarked、Fare、Sexgrid = sns.FacetGrid(train_df, row='Embarked', col='Survived', size=2.2, aspect=1.6)grid.map(sns.barplot, 'Sex', 'Fare', alpha=.5, ci=None)grid.add_legend()

结论：

在模特训练中加入Fare分段后的特征。

5.特征工程

Completing：由于年龄、登船港口和存活率存在明显的相关性，所以需要补齐缺失值

Correcting：由于某些特征完全不相关，或者缺失值过多的情况下，要考虑放弃这类特征

Creating：我们有时还需要创建/提取一些特征值，可能是特征值的组合、简化、数值化等

Classifying：还可以在前面提到的问题描述的基础上增加一些分类型的特征值，如是否为女性、小孩等。

Correcting--精简数据集

print("Before", train_df.shape, test_df.shape, combine[0].shape, combine[1].shape)
train_df = train_df.drop(['Ticket', 'Cabin'], axis=1)test_df = test_df.drop(['Ticket', 'Cabin'], axis=1)combine = [train_df, test_df]
print("After", train_df.shape, test_df.shape, combine[0].shape, combine[1].shape)

Before (891, 12) (418, 11) (891, 12) (418, 11)

After (891, 10), (418, 9), (891, 10), (418, 9)

Creating--从已有的数据中提取标签

# 从Name中提取title的特征for dataset in combine:    dataset['Title'] = dataset.Name.str.extract(' ([A-Za-z]+)\.', expand=False)
for dataset in combine:    dataset['Title'] = dataset['Title'].replace(['Lady', 'Countess','Capt', 'Col',\   'Don', 'Dr', 'Major', 'Rev', 'Sir', 'Jonkheer', 'Dona'], 'Rare')
    dataset['Title'] = dataset['Title'].replace('Mlle', 'Miss')    dataset['Title'] = dataset['Title'].replace('Ms', 'Miss')    dataset['Title'] = dataset['Title'].replace('Mme', 'Mrs')
train_df[['Title', 'Survived']].groupby(['Title'], as_index=False).mean()
# 转为数值类特征title_mapping = {"Mr": 1, "Miss": 2, "Mrs": 3, "Master": 4, "Rare": 5}for dataset in combine:    dataset['Title'] = dataset['Title'].map(title_mapping)    dataset['Title'] = dataset['Title'].fillna(0) # 精简数据集train_df = train_df.drop(['Name', 'PassengerId'], axis=1)test_df = test_df.drop(['Name'], axis=1)combine = [train_df, test_df]

# 从Parch和SibSp提出FamilySize特征for dataset in combine:    dataset['FamilySize'] = dataset['SibSp'] + dataset['Parch'] + 1
# 从Famil提取出IsAlone特征for dataset in combine:    dataset['IsAlone'] = 0    dataset.loc[dataset['FamilySize'] == 1, 'IsAlone'] = 1train_df[['IsAlone', 'Survived']].groupby(['IsAlone'], as_index=False).mean()
train_df = train_df.drop(['Parch', 'SibSp', 'FamilySize'], axis=1)test_df = test_df.drop(['Parch', 'SibSp', 'FamilySize'], axis=1)combine = [train_df, test_df]

# 提取一个交叉特征Age*Classfor dataset in combine:    dataset['Age*Class'] = dataset.Age * dataset.Pclass

--转换枚举类特征

Converting

for dataset in combine:    dataset['Sex'] = dataset['Sex'].map( {'female': 1, 'male': 0} ).astype(int)

--转换l连续数值特征

test_df['Fare'].fillna(test_df['Fare'].dropna().median(), inplace=True)train_df['FareBand'] = pd.qcut(train_df['Fare'], 4)train_df[['FareBand', 'Survived']].groupby(['FareBand'], as_index=False).mean().sort_values(by='FareBand', ascending=True)
for dataset in combine:    dataset.loc[ dataset['Fare'] <= 7.91, 'Fare'] = 0    dataset.loc[(dataset['Fare'] > 7.91) & (dataset['Fare'] <= 14.454), 'Fare'] = 1    dataset.loc[(dataset['Fare'] > 14.454) & (dataset['Fare'] <= 31), 'Fare']   = 2    dataset.loc[ dataset['Fare'] > 31, 'Fare'] = 3    dataset['Fare'] = dataset['Fare'].astype(int)
train_df = train_df.drop(['FareBand'], axis=1)combine = [train_df, test_df]

Completing

--补齐连续数值特征

我们可以考虑三种方法来完成数值连续特征。

1.一个简单的方法是在均值和标准偏差之间生成随机数。
2.更准确的猜测缺失值的方法是使用其他相关特征。在我们的案例中，我们注意到年龄、性别和Pclass之间的相关性。使用Pclass和性别特征组合的年龄中位数猜测年龄值。比如，Pclass=1&Gender=0, Pclass=1&Gender=1，依此类推…
3.结合方法1和2。不是根据中位数，而是在平均值的标准差范围之内使用随机数。

方法1和3将在模型中引入随机噪声。多次执行的结果可能不同。所以更推荐方法2。

grid = sns.FacetGrid(train_df, row='Pclass', col='Sex', size=2.2, aspect=1.6)grid.map(plt.hist, 'Age', alpha=.5, bins=20)grid.add_legend()

# 计算各种组合下的年龄均值guess_ages = np.zeros((2,3))guess_ages
for dataset in combine:    for i in range(0, 2):        for j in range(0, 3):            guess_df = dataset[(dataset['Sex'] == i) & \                                  (dataset['Pclass'] == j+1)]['Age'].dropna()
            # age_mean = guess_df.mean()            # age_std = guess_df.std()            # age_guess = rnd.uniform(age_mean - age_std, age_mean + age_std)
            age_guess = guess_df.median()
            # Convert random age float to nearest .5 age            guess_ages[i,j] = int( age_guess/0.5 + 0.5 ) * 0.5                for i in range(0, 2):        for j in range(0, 3):            dataset.loc[ (dataset.Age.isnull()) & (dataset.Sex == i) & (dataset.Pclass == j+1),\                    'Age'] = guess_ages[i,j]
    dataset['Age'] = dataset['Age'].astype(int)
# 年龄补齐后，处理成标签还需要进行分层处理train_df['AgeBand'] = pd.cut(train_df['Age'], 5)train_df[['AgeBand', 'Survived']].groupby(['AgeBand'], as_index=False).mean().sort_values(by='AgeBand', ascending=True)
for dataset in combine:        dataset.loc[ dataset['Age'] <= 16, 'Age'] = 0    dataset.loc[(dataset['Age'] > 16) & (dataset['Age'] <= 32), 'Age'] = 1    dataset.loc[(dataset['Age'] > 32) & (dataset['Age'] <= 48), 'Age'] = 2    dataset.loc[(dataset['Age'] > 48) & (dataset['Age'] <= 64), 'Age'] = 3    dataset.loc[ dataset['Age'] > 64, 'Age']    train_df = train_df.drop(['AgeBand'], axis=1)combine = [train_df, test_df]train_df.head()

--补齐枚举值特征

本场景下，Embarked只缺了两个值，可以直接用出现频率最高的来填充

freq_port = train_df.Embarked.dropna().mode()[0]# 'S'
for dataset in combine:    dataset['Embarked'] = dataset['Embarked'].fillna(freq_port)    train_df[['Embarked', 'Survived']].groupby(['Embarked'], as_index=False).mean().sort_values(by='Survived', ascending=False)
for dataset in combine:    dataset['Embarked'] = dataset['Embarked'].map( {'S': 0, 'C': 1, 'Q': 2} ).astype(int)

6.模型训练

现在我们已经准备好训练集了。但是在机器学习领域一共有60多种预测建模算法可供选择。我们必须了解问题的类型和解决方案的需求，将范围缩小到我们可以评估的少数几个模型。本场景适合的模型有：

Logistic Regression
KNN or k-Nearest Neighbors
Support Vector Machines
Naive Bayes classifier
Decision Tree
Random Forrest
Perceptron

（各个模型详细原理可以查看菜单中数据挖掘的部分内容）

X_train = train_df.drop("Survived", axis=1)Y_train = train_df["Survived"]X_test  = test_df.drop("PassengerId", axis=1).copy()X_train.shape, Y_train.shape, X_test.shape

# 用多种模型进行训练# Logistic Regressionlogreg = LogisticRegression()logreg.fit(X_train, Y_train)Y_pred = logreg.predict(X_test)acc_log = round(logreg.score(X_train, Y_train) * 100, 2)
# Support Vector Machinessvc = SVC()svc.fit(X_train, Y_train)Y_pred = svc.predict(X_test)acc_svc = round(svc.score(X_train, Y_train) * 100, 2)
# KNNknn = KNeighborsClassifier(n_neighbors = 3)knn.fit(X_train, Y_train)Y_pred = knn.predict(X_test)acc_knn = round(knn.score(X_train, Y_train) * 100, 2)
# Gaussian Naive Bayesgaussian = GaussianNB()gaussian.fit(X_train, Y_train)Y_pred = gaussian.predict(X_test)acc_gaussian = round(gaussian.score(X_train, Y_train) * 100, 2)
# Perceptronperceptron = Perceptron()perceptron.fit(X_train, Y_train)Y_pred = perceptron.predict(X_test)acc_perceptron = round(perceptron.score(X_train, Y_train) * 100, 2)
# Linear SVClinear_svc = LinearSVC()linear_svc.fit(X_train, Y_train)Y_pred = linear_svc.predict(X_test)acc_linear_svc = round(linear_svc.score(X_train, Y_train) * 100, 2)
# Stochastic Gradient Descentsgd = SGDClassifier()sgd.fit(X_train, Y_train)Y_pred = sgd.predict(X_test)acc_sgd = round(sgd.score(X_train, Y_train) * 100, 2)
# Decision Treedecision_tree = DecisionTreeClassifier()decision_tree.fit(X_train, Y_train)Y_pred = decision_tree.predict(X_test)acc_decision_tree = round(decision_tree.score(X_train, Y_train) * 100, 2)
# Random Forestrandom_forest = RandomForestClassifier(n_estimators=100)random_forest.fit(X_train, Y_train)Y_pred = random_forest.predict(X_test)random_forest.score(X_train, Y_train)acc_random_forest = round(random_forest.score(X_train, Y_train) * 100, 2)# 对比各模型的准确度

models = pd.DataFrame({    'Model': ['Support Vector Machines', 'KNN', 'Logistic Regression',               'Random Forest', 'Naive Bayes', 'Perceptron',               'Stochastic Gradient Decent', 'Linear SVC',               'Decision Tree'],    'Score': [acc_svc, acc_knn, acc_log,               acc_random_forest, acc_gaussian, acc_perceptron,               acc_sgd, acc_linear_svc, acc_decision_tree]})models.sort_values(by='Score', ascending=False

# 选择较为合适的模型，跑出结果后可以直接submit了，完活！submission = pd.DataFrame({        "PassengerId": test_df["PassengerId"],        "Survived": Y_pred    })# submission.to_csv('../output/submission.csv', index=False)

总结：

至此，也算是完整地在kaggle上体验过了一个题目。

1.从赛题分析、数据预览、EDA、特征工程、模型训练，到最终的预测结果（除了没有找到submit按钮，有可能是被墙了的原因，有空再研究看看）

2.整个过程中都能学到很多新的知识，尤其是特征工程这一块，各种处理非常巧妙，但又很合情合理，有时间还是可以亲自上手处理一下。

3.关于模型训练部分，之前虽然总结过，但是真正使用起来的时候，还是得理解具体的原理、适合的场景。

最后，强烈安利大家也试着把代码刷一遍，顺便电影也可以刷一遍啊。

本系列往期内容：

【30天从入门到放弃】我的机器学习之路

【30天从入门到放弃】我的机器学习之路 2

【30天从入门到放弃】我的机器学习之路 3