Tensorflow1.0基础学习--1.titanic分类问题

最新推荐文章于 2023-10-23 20:31:10 发布
最新推荐文章于 2023-10-23 20:31:10 发布
阅读量294 收藏
点赞数
文章标签： tensorflow
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38851271/article/details/115909919
版权

Tensorflow1.0基础学习--1.titanic分类问题

库文件

1.pandas
2. numpy
3. sklearn
4. tensorflow1.0

思维导图

在这里插入图片描述

一、数据读入及预处理

data = pd.read_csv('./data/train.csv')
data.info()

########
# 一、数据读入及预处理
# 取用部分特征字段用来分类，并将缺失字段补0
data['Sex'] = data['Sex'].apply(lambda s: 1 if s == 'male' else 0)
data = data.fillna(0)
dataset_X = data[['Sex', 'Age', 'Pclass', 'SibSp', 'Parch', 'Fare']]
# dataset_X = dataset_X.as_martix()
# 高版本pandas没有as_matrix函数，采用np.array代替
dataset_X = np.array(dataset_X)
# 创建Deceased字段，取值为Survived字段取非
data['Deceased'] = data['Survived'].apply(lambda s: 1 - s)
dataset_Y = data[['Deceased', 'Survived']]
dataset_Y = np.array(dataset_Y)
# 使用sklearn中的train_test_split函数将标记数据进行切割。切分成数据集和测试集两部分。验证数据占20%
X_train, X_test, Y_train, Y_test = train_test_split(dataset_X, dataset_Y, test_size=0.2, random_state=42)
########

二、构建计算图

#######
# 二、构建计算图
# 1.使用placeholder声明输入占位符
X = tf.placeholder(tf.float32, shape=[None, 6])
Y = tf.placeholder(tf.float32, shape=[None, 2])
# 2.声明参数变量
weights = tf.Variable(tf.random_normal([6, 2]), name='weights')
bias = tf.Variable(tf.zeros([2]), name='bias')

saver = tf.train.Saver(max_to_keep=3)  # 在要存储的变量后定义saver,max_to_keep定义了需要保存的版本数量
# 3.构造向前传播计算图
Y_pred = tf.nn.softmax(tf.matmul(X, weights) + bias)  # matmul为乘法算子
# 4.声明代价函数
# 本例程采用交叉熵作为代价函数（cross entropy）
cross_entropy = -tf.reduce_sum(Y * tf.log(Y_pred + 1e-10), reduction_indices=1)
# 注：在计算log（）函数时最好机上一个极小误差，使计算合法
# 批量样本的代价值为所有样本交叉熵的平均值
cost = tf.reduce_mean(cross_entropy)
# 5.加入优化算法
# 使用随机梯度算法SGD优化器来最小化代价，系统自动构建反向传播部分的计算图
train_op = tf.train.GradientDescentOptimizer(0.001).minimize(cost)
# 计算图声明完成
#######

三、构建训练迭代过程

#######
# 三、构建训练迭代过程
# 通过session接口完成
# 通过with语句将session作为上下文管理器进行操作，退出作用域自动释放资源。
# gpu模式，在出现显存不足时会报错。采用下两行代码对tf.session进行配置
config = tf.ConfigProto()
config.gpu_options.allow_growth = True

with tf.Session(config=config) as sess:
    # 初始化所有变量，必须最先执行！！！！
    tf.global_variables_initializer().run()
    # 以下为训练迭代。10轮。
    for epoch in range(10):
        total_loss = 0
        for i in range(len(X_train)):
            feed = {X: [X_train[i]], Y: [Y_train[i]]}
            # 通过session.run接口触发执行
            _, loss = sess.run([train_op, cost], feed_dict=feed)
            total_loss += loss
        print('Epoch: %04d, total loss = %.9f' % (epoch + 1, total_loss))
        saver.save(sess, './saved_model/my_model.ckpt', global_step=epoch)# 循环保存模型。名称为my_model.ckpt。后缀为epoch次数
    print('Training complete!')
    # save_path = saver.save(sess, "model_sess1.ckpt")# 保存模型
    pred = sess.run(Y_pred, feed_dict={X: X_test})
    correct = np.equal(np.argmax(pred, 1), np.argmax(Y_test, 1))
    numpy_accuracy = np.mean(correct.astype(np.float32))
    print("Accuracy on validation set (numpy): %.9f" % numpy_accuracy)
# 评估校验数据集中的准确率
#######

四、进行预测


#######
# 四、进行预测
# 通过session接口完成
# 通过with语句将session作为上下文管理器进行操作，退出作用域自动释放资源。
# gpu模式，在出现显存不足时会报错。采用下两行代码对tf.session进行配置
config = tf.ConfigProto()
config.gpu_options.allow_growth = True
testdata = pd.read_csv('./data/test.csv')
testdata.info()

testdata['Sex'] = testdata['Sex'].apply(lambda s: 1 if s == 'male' else 0)

X_test = testdata[['Sex', 'Age', 'Pclass', 'SibSp', 'Parch', 'Fare']]

with tf.Session(config=config) as sess:
    ckpt = tf.train.get_checkpoint_state('./saved_model')
    if ckpt and ckpt.model_checkpoint_path:
        saver.restore(sess, ckpt.model_checkpoint_path)

    predictions = np.argmax(sess.run(Y_pred, feed_dict={X: X_test}), 1)
    submission = pd.DataFrame(
        {
            "PassengerId": testdata["PassengerId"],
            "Survived": predictions
        }
    )
    submission.to_csv("titanic_sub.csv", index=False)

完整代码

titanic_model.py

import pandas as pd
from sklearn.model_selection import train_test_split
import numpy as np
import tensorflow as tf

data = pd.read_csv('./data/train.csv')
data.info()

########
# 一、数据读入及预处理
# 取用部分特征字段用来分类，并将缺失字段补0
data['Sex'] = data['Sex'].apply(lambda s: 1 if s == 'male' else 0)
data = data.fillna(0)
dataset_X = data[['Sex', 'Age', 'Pclass', 'SibSp', 'Parch', 'Fare']]
# dataset_X = dataset_X.as_martix()
# 高版本pandas没有as_matrix函数，采用np.array代替
dataset_X = np.array(dataset_X)
# 创建Deceased字段，取值为Survived字段取非
data['Deceased'] = data['Survived'].apply(lambda s: 1 - s)
dataset_Y = data[['Deceased', 'Survived']]
dataset_Y = np.array(dataset_Y)
# 使用sklearn中的train_test_split函数将标记数据进行切割。切分成数据集和测试集两部分。验证数据占20%
X_train, X_test, Y_train, Y_test = train_test_split(dataset_X, dataset_Y, test_size=0.2, random_state=42)
########

#######
# 二、构建计算图
# 1.使用placeholder声明输入占位符
X = tf.placeholder(tf.float32, shape=[None, 6])
Y = tf.placeholder(tf.float32, shape=[None, 2])
# 2.声明参数变量
weights = tf.Variable(tf.random_normal([6, 2]), name='weights')
bias = tf.Variable(tf.zeros([2]), name='bias')

saver = tf.train.Saver(max_to_keep=3)  # 在要存储的变量后定义saver,max_to_keep定义了需要保存的版本数量
# 3.构造向前传播计算图
Y_pred = tf.nn.softmax(tf.matmul(X, weights) + bias)  # matmul为乘法算子
# 4.声明代价函数
# 本例程采用交叉熵作为代价函数（cross entropy）
cross_entropy = -tf.reduce_sum(Y * tf.log(Y_pred + 1e-10), reduction_indices=1)
# 注：在计算log（）函数时最好机上一个极小误差，使计算合法
# 批量样本的代价值为所有样本交叉熵的平均值
cost = tf.reduce_mean(cross_entropy)
# 5.加入优化算法
# 使用随机梯度算法SGD优化器来最小化代价，系统自动构建反向传播部分的计算图
train_op = tf.train.GradientDescentOptimizer(0.001).minimize(cost)
# 计算图声明完成
#######

#######
# 三、构建训练迭代过程
# 通过session接口完成
# 通过with语句将session作为上下文管理器进行操作，退出作用域自动释放资源。
# gpu模式，在出现显存不足时会报错。采用下两行代码对tf.session进行配置
config = tf.ConfigProto()
config.gpu_options.allow_growth = True

with tf.Session(config=config) as sess:
    # 初始化所有变量，必须最先执行！！！！
    tf.global_variables_initializer().run()
    # 以下为训练迭代。10轮。
    for epoch in range(10):
        total_loss = 0
        for i in range(len(X_train)):
            feed = {X: [X_train[i]], Y: [Y_train[i]]}
            # 通过session.run接口触发执行
            _, loss = sess.run([train_op, cost], feed_dict=feed)
            total_loss += loss
        print('Epoch: %04d, total loss = %.9f' % (epoch + 1, total_loss))
        saver.save(sess, './saved_model/my_model.ckpt', global_step=epoch)# 循环保存模型。名称为my_model.ckpt。后缀为epoch次数
    print('Training complete!')
    # save_path = saver.save(sess, "model_sess1.ckpt")# 保存模型
    pred = sess.run(Y_pred, feed_dict={X: X_test})
    correct = np.equal(np.argmax(pred, 1), np.argmax(Y_test, 1))
    numpy_accuracy = np.mean(correct.astype(np.float32))
    print("Accuracy on validation set (numpy): %.9f" % numpy_accuracy)
# 评估校验数据集中的准确率
#######

titanic_test.py

import pandas as pd
import numpy as np
import tensorflow as tf

#######
# 二、构建计算图
# 1.使用placeholder声明输入占位符
X = tf.placeholder(tf.float32, shape=[None, 6])
Y = tf.placeholder(tf.float32, shape=[None, 2])
# 2.声明参数变量
weights = tf.Variable(tf.random_normal([6, 2]), name='weights')
bias = tf.Variable(tf.zeros([2]), name='bias')

saver = tf.train.Saver()  # 在要存储的变量后定义saver
# 3.构造向前传播计算图
Y_pred = tf.nn.softmax(tf.matmul(X, weights) + bias)  # matmul为乘法算子
# 4.声明代价函数
# 本例程采用交叉熵作为代价函数（cross entropy）
cross_entropy = -tf.reduce_sum(Y * tf.log(Y_pred + 1e-10), reduction_indices=1)
# 注：在计算log（）函数时最好机上一个极小误差，使计算合法
# 批量样本的代价值为所有样本交叉熵的平均值
cost = tf.reduce_mean(cross_entropy)
# 5.加入优化算法
# 使用随机梯度算法SGD优化器来最小化代价，系统自动构建反向传播部分的计算图
train_op = tf.train.GradientDescentOptimizer(0.001).minimize(cost)
# 计算图声明完成
#######

#######
# 四、进行预测
# 通过session接口完成
# 通过with语句将session作为上下文管理器进行操作，退出作用域自动释放资源。
# gpu模式，在出现显存不足时会报错。采用下两行代码对tf.session进行配置
config = tf.ConfigProto()
config.gpu_options.allow_growth = True
testdata = pd.read_csv('./data/test.csv')
testdata.info()

testdata['Sex'] = testdata['Sex'].apply(lambda s: 1 if s == 'male' else 0)

X_test = testdata[['Sex', 'Age', 'Pclass', 'SibSp', 'Parch', 'Fare']]

with tf.Session(config=config) as sess:
    ckpt = tf.train.get_checkpoint_state('./saved_model')
    if ckpt and ckpt.model_checkpoint_path:
        saver.restore(sess, ckpt.model_checkpoint_path)

    predictions = np.argmax(sess.run(Y_pred, feed_dict={X: X_test}), 1)
    submission = pd.DataFrame(
        {
            "PassengerId": testdata["PassengerId"],
            "Survived": predictions
        }
    )
    submission.to_csv("titanic_sub.csv", index=False)

继续你的创作。

数据集下载

  1. titanic数据集下载.

参考文章

  1. 《深度学习原理与TensorFlow实践》
  2. tensorflow显存不足报错
  3. TensorFlow中tf.train.Saver类说明
  4. python 报错 AttributeError DataFrame object has no attribute as_matrix
Destiny未
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
七 多层感知机代码实例
weixin_42373620的博客
03-10 499
文章目录 引包 import pandas as pd import keras import numpy as np data = pd.read_csv('./dataset/tt/train.csv')##此次所用数据为之前逻辑回归实例所用数据 data.head() data.info() 预处理数据集 y = data.Survived x = data[['Pclass', 'Se...
泰坦尼克号沉船生还预测
空字符
06-05 1009
在前面的几篇文章中，笔者陆续介绍了几种决策树的生成算法以及常见的集成模型。接下来在这篇文章中，笔者将以泰坦尼克号生还预测（分类）为例来进行实战演示；并且还会介绍相关的数据预处理方法，例如缺失值填充和类型特征转换等。 1 数据集预处理 我们本次用到的数据集为泰坦尼克号生还预测数据集（公众号回复”数据集“即可获取），原始数据集一共包含891个样本，12个特征维度。但是需要注意的是，这12个特征维度不一定都会用到，我们只选择我们认为有用的就行；同时存在一些样本的某些特征维度出现缺失值的状况，因此我们需要对其进行填
python预处理之特征值转换
m0_63170394的博客
10-23 180
将 "Sex" 列中所有值为 "male" 的行转换为 1，而将所有值为 "female" 的行转换为 0，是通过先将 "Sex" 列中的每个值与 "male" 进行比较，将比较结果转换为布尔值（True 或 False），然后使用 astype() 函数将布尔值转换为整数（True 转换为 1，False 转换为 0）实现的。eg：如果 "Embarked" 列包含三个不同的特征值 S, C, Q，则在应用上述代码后，S 将被转换为 0，C 将被转换为 1，Q 将被转换为 2。
【数据挖掘】Kaggle泰坦尼克号分类与预测
Alex_SCY的博客
11-04 3966
一：题目解读 1.1数据读取 读取训练集的数据。 data = pd.read_csv('data/train.csv') data.head() 1.2字段解释 PassengerId: 乘客ID Survived: 是否生存，0代表遇难，1代表还活着 Pclass: 船舱等级：1Upper，2Middle，3Lower Name: 姓名 Sex: 性别 Age: 年龄 SibSp: 兄弟姐妹及配偶个数 Parch:父母或子女个数 Ticket: 乘客的船票号 Fare: 乘客的船票价 Cabin:
[Python] Pandas批量处理身份证信息，判别男性和女性
Kaneki0001的博客
05-24 2412
写在最前面： 正确的代码直接看最后哈，前面是我瞎摸的过程。 本想直接之间用apply，取身份证前17位，除10取余，再除2取余。再判断结果是0还是1，是0就是女性，是1就是男性。 代码1： import pandas as pd data = pd.read_csv('文件路径') data['sex'] = data['LICENSE_ID'].apply(lambda r : (int(r[:17]))%10%2) 运行报错：TypeError: 'flo...
knn-class-1-titanic.rar_The Class_kNN c code_titanic
09-21
the code for taitanic algorithm in c++
.archchapter-0301-titanic.ipynb
10-18
.archchapter-0301-titanic.ipynb
end-to-end-process-for-titanic-problem.ipynb
03-26
end-to-end-process-for-titanic-problem.ipynb
Kaggle-Titanic-train.csv泰坦尼克数据集
07-09
泰坦尼克号生还情况预测 Kaggle 是一个流行的数据科学竞赛平台，由 Goldbloom 和 Ben Hamner 创建于 2010 年。
任务三、titanic数据集分类问题
03-18
任务说明：分别用下列方法完成titanic数据集分类，给分析每种方法参数设置、方法优缺点分析 logistic回归 决策树 SVM 神经网络
泰坦尼克号逻辑回归二分类代码
03-20
根据各种特征 判断是否登船 里头有参考网站 kaggle TensorFlow python3.5 完整代码 可以解决机器学习多特征二分类的困扰
titanic_分类_泰坦尼克_随机森林_
10-02
R语言和python 做泰坦尼克号生还者分类问题，使用随机森林等
数据分析泰坦尼克数据集
05-26
Titanic数据集是非常适合数据科学和机器学习新手入门练习的数据集。 数据集为1912年泰坦尼克号沉船事件中一些船员的个人信息以及存活状况。这些历史数据已经非分为训练集和测试集，你可以根据训练集训练出合适的模型并预测测试集中的存活状况。
基于Titanic数据集的二元分类
weixin_47546087的博客
09-01 887
给定Titanic数据集，属于机器学习任务中一个经典数据集。实验首先对数据集进行数据分析和清理，然后分别采用Logistic Regression（逻辑回归）、Support Vector Machines（SVM,支持向量机）、Decision Tree Classifier（决策树分类器）、Random Forest Classifier（随机森林分类器）等机器学习工具，以准确率为性能评测指标，进行生存预测的二元分类算法性能评估与结果分析。通过训练和测试，随机森林分类和SVM在准确率性能上效果较好。
机器学习基础——分类算法之决策树、随机森林、Titanic乘客生存分类
qq_47250064的博客
08-16 966
对于决策树和随机森林两个模块进行介绍，用kaggle里面的泰坦尼克号数据集预测生存分类进而巩固算法。随机森林对于相同的数据集进行运算准确率更高，普适性更强。
Titanic 泰坦尼克数据集 特征工程 机器学习建模
weixin_37763484的博客
12-07 1506
泰坦尼克数据集分析、建模过程，整体比较完整，分享出来，希望能帮助大家
从泰坦尼克来做数据分类预测
vs412237401的博客
03-03 3734
泰坦尼克空难简介：1912年4月15日，载着1316号乘客和891名船员的豪华巨轮“泰坦尼克号”与冰山相撞而沉没，这场海难被认为是20世纪人间十大灾难之一。1985年，“泰坦尼克号”的沉船遗骸在北大西洋两英里半的海底被发现。美国探险家洛维特（比尔·帕克斯顿 饰演）亲自潜入海底，在船舱的墙壁上看见了一幅画，洛维持的发现立刻引起了一位老妇人（格劳瑞亚·斯图尔特 饰演）的注意。已经是101岁高龄的露丝称
【数据挖掘实战】之kaggle练习赛titanic
messiran10的专栏
02-20 2176
之前基本完成了pandas基础知识的学习，现在结合实际工程实例来进一步理解巩固pandas的用法。 参考博客资料：http://www.cnblogs.com/north-north/p/4353365.html 一.读取数据 df = pd.read_csv('train.csv',header=0) 使用pandas的read_csv函数可以轻松读取csv文件的内容。在读取了数据文
kaggle c download titanic unzip -o titanic.zip
最新发布
12-10
在这个命令中，我们使用kaggle命令行工具下载并解压Titanic数据集。 首先，我们需要在命令行环境中执行这条命令。"kaggle c download"是kaggle命令行工具的一部分，用于下载竞赛数据集。"titanic"是数据集的名称，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值