python和机器学习

本文介绍了使用Python进行数据科学和机器学习的基本流程,以泰坦尼克号乘客生存预测为例,涵盖了数据收集、数据准备、探索性分析、数据建模以及模型验证的过程。
摘要由CSDN通过智能技术生成

python基础和机器学习视频资料包括:Python基础,Python web 机器学习和深度学习等视频
数据科学 VS 随机
一个比较经典问题:预测二元事件的结果。 换句话说,就是它不是发生就是没有发生。 例如,你赢了或者没有赢,你通过了考试或者没有通过考试,你被接受或者不被接受等。 常见的业务场景就是用户流失或留存,另现实案例是医疗事件的死亡率或生存率分析。二元事件产生了一个有趣的现象,因为我们统计知道,随机猜测应该达到50%的准确率,而不需要创建一个单一的算法或编写一行代码。这篇文章,我使用机器学习入门经典例子Titanic:Machine Learning from Disaste(泰坦尼克号乘客生存预测)来实际操作,将对应的算法应用在给出的数据集上进行预测。
数据工作的基本流程

定义问题: 我们首先需要解决的是我们将面临一个什么问题,需要我们做什么,俗话说的磨刀不误砍柴工,首先看清对手是谁才能有的放矢。

收集数据: 根据确定的数据分析对象,抽象出在数据分析中所需要的特征信息,然后选择合适的信息收集方法,将收集到的信息存入数据库。对于海量数据,选择一个合适的数据存储和管理的数据仓库是至关重要的。

准备消费数据: 把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中,从而为企业提供全面的数据共享。如果执行多数的数据挖掘算法,即使是在少量数据上也需要很长的时间,而做商业运营数据挖掘时数据量往往非常大。数据规约技术可以用来得到数据集的规约表示,它小得多,但仍然接近于保持原数据的完整性,并且规约后执行数据挖掘结果与规约前执行结果相同或几乎相同。在数据库中的数据有一些是不完整的(有些感兴趣的属性缺少属性值)、含噪声的(包含错误的属性值),并且是不一致的(同样的信息不同的表示方式),因此需要进行数据清理,将完整、正确、一致的数据信息存入数据仓库中。不然,挖掘的结果会差强人意。通过平滑聚集、数据概化、规范化等方式将数据转换成适用于数据挖掘的形式。对于有些实数型数据,通过概念分层和数据的离散化来转换数据也是重要的一步。

探索性分析: 根据数据仓库中的数据信息,选择合适的分析工具,应用统计方法、事例推理、决策树、规则推理、模糊集,甚至神经网络、遗传算法的方法处理信息,得出有用的分析信息。

数据建模: 像描述性和推论性统计数据一样,数据建模可以总结数据或预测未来的结果。 您的数据集和预期结果将决定可供使用的算法。 重要的是要记住,算法是工具,而不是魔杖。 你仍然必须是知道如何为工作选择正确的工具的工匠。 一个比喻就是要求有人给你一把飞利浦剃须刀,他们给你一把螺丝刀或者一把锤子。 充其量,它显示完全缺乏了解。 最糟糕的是,这使得项目不可能完成。 数据建模也是如此。 错误的模型可能导致最差的表现,甚至会导致错误的结论。

模型验证和模型使用: 用训练数据对模型进行训练之后,就可以用于预测数据。

在这里插入图片描述
一Python 基础
在这里插入图片描述
二,Python web 和机器学习
在这里插入图片描述
三 量化交易
在这里插入图片描述
在这里插入图片描述
链接:https://www.vifaka.com/item/fa9227a13b6ce85c

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值