![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Pyhton 机器学习进阶
文章平均质量分 81
Pyhton 机器学习提高
我是小白呀
吾本布衣, 出自纽约, 四周大山. 箪瓢屡空, 环堵萧然, 不弊风日. 吾好读书, 滴水石穿, 笨鸟先飞, 求知不断, 方能立足. 不羡孔北海之座上客常满, 但求吾辈架上书常在. 涸辙遗鲋, 暮成枯, 人而无志, 与彼何殊. Self-study Computer Science. 愿为 open source 自效微力. 天高地阔,欲往观之.
因为啥也不会, 默默做一只小白
展开
-
k-means & DBSCAN 总结
聚类算法的总结: k-means 算法 和 DBSCAN 算法.原创 2021-04-26 11:19:04 · 2838 阅读 · 77 评论 -
逻辑回归 总结
逻辑回归 总结概述Sigmoid 函数逻辑回归实现案例一概述逻辑回归 (Logic Regression) 本质上就是线性回归. 虽然逻辑回归被称为回归, 但实际上是一个分类模型, 用作二分类问题. 逻辑回归的决策边界可以是非线性的.Sigmoid 函数Sigmoid 函数将任意的输入映射到了 [0, 1] 区间. 我们在线性回归中可以得到一个预测值, 再将该值映射到 Sigmoid 函数中. 这样我们就完成了由值到概率的转换, 即分类任务.预测函数:分类任务:逻辑回归实现impor原创 2021-03-02 09:48:10 · 2567 阅读 · 10 评论 -
线性回归 总结
线性回归 总结概述例子通俗解释数学推导误差评估方法梯度下降下降方法概述线性回归的定义是: 目标值预期是输入变量的线性组合. 线性模型形式简单, 易于建模, 但却蕴含着机器学习中一些重要的基本思想. 线性回归, 是利用数理统计中回归分析, 来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法, 运用十分广泛.优点: 结果易于理解, 计算不复杂缺点: 对非线性的数据拟合不好例子数据: 工资和年龄 (2 个特征)目标: 预测银行会贷款给我多少钱 (标签)工资年龄额度原创 2021-03-02 09:25:00 · 2570 阅读 · 5 评论 -
机器学习 K近邻
机器学习 K近邻 KNN (k-neareast neighbor) 是解决分类与回归问题最基本的机器学习算法之一, 该算法没有显式的训练过程. 本节内容包括: k近邻是什么, K近邻案例实战.原创 2021-01-30 12:18:01 · 1438 阅读 · 0 评论 -
机器学习进阶 第二节 第十一课
基于协同过滤的推荐系统概述用户行为数据简介用户行为分析基于物品的协同过滤算法计算物品相似度计算被推荐物品的兴趣概述为了让推荐结果符合用户口味, 我们需要深入了解用户和物品. 用户的兴趣是不断变化的, 但用户不会不停的更新兴趣描述. 最后, 很多时候用户并不知道自己喜欢什么. 因此, 我们需要通过算法自动发觉用户行为数据. 从用户的行为中推测用户的兴趣, 从而给用户推荐满足他们兴趣的物品. 通常我们会给用户推荐其他用户看过的物品, 或者是浏览物品相关的类似商品.基于用户行为分析的意见算法是个性化推荐系统原创 2020-12-19 05:20:13 · 1130 阅读 · 0 评论 -
机器学习进阶 第二节 第十课
推荐系统评测概述推荐系统的实验方法离线实验用户调查在线试验评测指标用户满意度预测准确度评分预测TopN 推荐概述什么才是好的推荐系统? 这是推荐系统需要解决的首要问题. 一个完整的推荐系统一般存在 3 个参与方: 用户, 物品系统者和提供推荐系统的网站.推荐系统的实验方法在介绍推荐系统的指标之前, 首先看一下获取这些指标的主要实验方法. 主要有 3 种: 即离线实验, 用户调查和在线实验.离线实验离线试验的方法一般由如下几个步骤组成:通过日志系统获取用户行为数据, 并按照一定格式生成一个标准原创 2020-12-18 14:49:27 · 1082 阅读 · 0 评论 -
机器学习进阶 第二节 第九课
推荐系统概述什么是推荐系统工作原理个性化推荐系统的应用概述在研究图和涉及推荐系统之前, 了解上面是好的推荐系统至关重要.什么是推荐系统假设以下, 如果你想买牛肉干, 你有多少种方法? 假设附近有一个 24 小时便利店, 你可以走进店里, 看看所有的货架, 转一圈找到牛肉干, 然后比较几个牌子的口碑或者自己喜欢的牌子, 掏钱付款. 如果附近有沃尔玛, 你可以走进店里, 按照分类指示牌走到食品所在的区域, 然后在货架上仔细寻找你需要的牛肉干, 找到后付款. 如果你很懒, 不想出门, 可以打开淘宝, 在搜原创 2020-12-18 05:35:47 · 1637 阅读 · 0 评论 -
机器学习进阶 第二节 第八课
k-means 案例分析概述代码概述手写数字数据上 K-means 聚类的演示.代码from sklearn.datasets import load_digitsfrom sklearn.metrics import silhouette_scorefrom sklearn.cluster import KMeansdef kmeans(): """ 手写数字聚类过程 :return: None """ # 加载数据 ld = load_原创 2020-12-18 03:34:50 · 1743 阅读 · 0 评论 -
机器学习进阶 第二节 第七课
非监督学习之 k-means概述sklearn.cluster.KMeans方法属性概述K-means 通常被称为劳埃德算法, 这在数据聚类中是最经典的, 也是相对容易理解的模型. 算法执行的过程分为 4 个阶段.首先, 随机设 K 个特征空间内的点作为初始的聚类中心然后, 对于根据每个数据的特征向量, 从 K 个聚类中心寻找聚类新分配的类簇, 通过取分配给每个先前质心的所有样本的平均值来创建新的质心. 重新对 K 个聚类中心做计算接着, 在所有的数据都被标记过聚类中心之后, 根据这些数据新分配原创 2020-12-17 13:58:47 · 1585 阅读 · 0 评论 -
机器学习进阶 第二节 第六课
非监督学习概述概述从本书开始, 将正式进入到监督学习 (Unsupervised Learning) 部分. 无监督学习, 顾名思义, 就是不受监督学习, 一种自由的学习方式. 该学习式不需要先验知识进行指导, 而是不断地自我认识, 自我巩固, 最后进行自我归纳. 在机器学习中, 无监督学习可以被简单理解为不为训练集提供对应的类别表示 (label), 其与有监督学习的对比如下:有监督学习 (Supervised Learning) 下的训练集:(x(1),y(1)),(x(2),y(2)),(x(原创 2020-12-17 11:47:25 · 1630 阅读 · 3 评论 -
机器学习进阶 第二节 第五课
回归算法之回归概述sklearn.linear_model.Ridge方法属性概述具有 L2 正则化的线性最小二乘法. 岭回归是一种专用于共线数据分析的有便估计回归方法, 实质上是一种改良的最小二乘估计法, 通过放弃最小二乘法的无偏性, 以损失部分信息, 降低精度为代价获得回归系数更为符合实际, 更可靠的回归方法, 对病态数据的拟合要强于最小二乘法. 当数据集中存在共线性的时候, 岭回归就会有用.sklearn.linear_model.Ridgeclass sklearn.linear_model原创 2020-12-17 10:54:59 · 1548 阅读 · 0 评论 -
机器学习进阶 第二节 第四课
欠拟合与过拟合概述线性回归逻辑回归解决过拟合的方法欠拟合过拟合概述机器学习中的泛化. 泛化即是, 模型学习到的概念在它处于学习的过程中时的模型没有遇见过的样本时候的表现. 在机器学习领域中, 当我们讨论一个机器学习模型学习和泛化的好坏时, 我们通常使用术语: 过拟合和欠拟合. 我们知道模型训练和测试的时候有两套数据, 训练集和测试集. 在对训练数据进行拟合时, 㤇照顾到每个点. 而其中有一些噪点, 当某个模型过度的学习训练数据细节和噪音. 以至于模型在新的数据上表现很差, 这样的话模型容易复杂, 拟合程原创 2020-12-17 09:37:51 · 1451 阅读 · 0 评论 -
机器学习进阶 第二节 第三课
线性回归案例分析波士顿房价预测美国波士顿地区房价数据描述波士顿地区房价数据分割训练与测试数据标准化处理使用最简单的线性回归模型LinearRegression和梯度下降估计SGDRegressor对房价进行预测性能评测完整代码波士顿房价预测使用 scikit-learn 中内置的回归模型对 “美国波士顿房价” 数据进行预测.美国波士顿地区房价数据描述from sklearn.datasets import load_bostonboston = load_boston()print bost原创 2020-12-17 06:33:13 · 1719 阅读 · 0 评论 -
机器学习进阶 第二节 第二课
回归算法之线性回归概述损失函数梯度下降算法LinearRegressionsklearn.linear_model.LinearRegression方法fit(x,y,sample_weight = None)predict(x)属性加入交叉验证概述线性回归的定义是: 目标值预期是输入变量的线性组合. 线性模型形式简单, 易于建模, 但却蕴含着机器学习中一些重要的基本思想. 线性回归, 是利用数理统计中回归分析, 来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法, 运用十分广泛.优点:原创 2020-12-15 01:30:49 · 1976 阅读 · 0 评论 -
机器学习进阶 第二节 第一课
回归算法概述概述回归是统计学中最有力的工具之一. 机器学习监督学习算法分类算法和回归算法两种. 其实就是根据类别标签分类型为离散型, 连续性而定义的. 回归算法用于连续型分布预测, 针对的是数值型的样本, 使用回归, 可以在给定输入的时候预测出一个数值. 这是对分类方法的提升, 因为这样可以预测连续数据而不仅仅是离散的类别标签.回归分析中, 只包括一个自变量和一个因变量. 且二者的关系可以用一条直线近似表示, 这种回归分析称为一元线性回归分析. 如果回归分析中包括两个以上的自变量, 且因变量和自变量之原创 2020-12-14 12:31:03 · 1892 阅读 · 0 评论 -
机器学习进阶 第一节 第十七课
分类算法之随机森林概述学习算法sklearn.ensemble (集成方法模块)属性方法泰坦尼克号乘客数据案例完整代码概述在机器学习中, 随机森林是一个包含多个决策树的分类器. 并且其输出的类别是由个别树输出的类别的众数而定. 利用相同的训练数搭建多个独立的分类模型, 然后通过投票的方式, 以少数服从多数的原则作出最终的分类决策. 例如, 如果你训练了 5 个树, 其中有 4 个树的结果是 True, 1 个树的结果是 False, 那么最终结果会是 True.在前面的决策当中我们提到, 一个标准的决原创 2020-12-14 11:54:41 · 1867 阅读 · 0 评论 -
机器学习进阶 第一节 第十六课
分类算法之决策树概述特征选择信息的度量和作用信息增益信息增益的计算概述决策树是一种基本的分类方法, 当然也可以用于回归. 我们一般只讨论用于分类的决策树. 决策树模型呈树形结构. 在分类问题中, 表示基于特征对实例的分类过程, 它可以认为是 if-then 规则的集合. 在决策树的结构中, 每一个实例都被一条路或者一条规则所覆盖. 通常决策树学习包括三个步骤: 特征选择, 决策树的生成和决策树的修建.优点: 计算复杂度不高, 输出结果易于理解, 对中间值的缺失不敏感. 可以解决处理逻辑回归等不能解决的原创 2020-12-14 05:24:54 · 2132 阅读 · 0 评论 -
机器学习进阶 第一节 第十四课
逻辑回归算法案例二级目录三级目录二级目录三级目录原创 2020-12-13 10:55:07 · 1333 阅读 · 0 评论 -
机器学习进阶 第一节 第十五课
分类器性能评估概述sklearn.metrics.classification_report概述在许多实际问题中, 衡量分类器任务的成功程度是通过固定的性能指标来获取. 一般常见使用的是准确率, 即预测结果正确的百分比. 然而有时候, 我们关注的负样本是否被正确诊断出来. 例如, 关于肿瘤的判定, 需要更加关心多少恶性肿瘤被正确的诊断出来. 也就是说, 在二类分类任务下, 预测结果 (Predicted Condition) 与正确标记 (True Condition) 之间存在不同的组合, 构造混淆矩原创 2020-12-13 10:29:24 · 1801 阅读 · 2 评论 -
机器学习进阶 第一节 第十三课
分类算法之逻辑回归概述逻辑回归sklearn.linear_model.LogisticRegression属性coef_Cs_特点分析概述逻辑回归 (Logistic Regression). 简称 LR. 它的特点是能够是我们的特征输入集合转化为 0 和 1 这个两类的概率. 一般来说, 回归不用在分类问题上, 因为回归是连续型模型, 而且受噪声影响比较大. 如果非要应用进入, 可以使用逻辑回归. 了解线性回归之后再来看逻辑回归可以更好的理解.优点: 计算代价不高, 易于理解和实现缺点: 容易欠原创 2020-12-12 13:11:19 · 1386 阅读 · 0 评论 -
机器学习进阶 第一节 第十二课
朴素贝叶斯概论概率论基础联合概率与条件概率联合概率条件概率贝叶斯公式词袋法的特征值计算TF 计算方法拉普拉斯平滑sklearn.naive_bayes.MultinomialNB朴素贝叶斯算法案例读取 20 类新闻文本的数据细节20 类新闻文本数据分割文本转换为特征向量进行 TF 特征抽取完整代码性能特点概论朴素贝叶斯 (Native Bayes) 是一个非常简单, 但是实用性很强的分类模型. 朴素贝叶斯分类器的构造基础是贝叶斯理论.概率论基础概率定义为一件事情发生的可能性. 事情发生的概率可以通过原创 2020-12-11 13:52:56 · 1398 阅读 · 0 评论 -
机器学习进阶 第一节 第十一课
k-近邻算法案例分析概述代码实现读入 Iris 数据集细节资料对 Iris 数据集进行分割对特征数据进行标准化完整代码概述本案例使用最著名的 “鸢尾” 数据集, 该数据集曾经被 Fisher 用在经典论文中, 目前作为教科书的数据样本预存在 Scikit-learn 的工具包中.代码实现读入 Iris 数据集细节资料from sklearn.datasets import load_iris# 使用加载器读取数据并且存入变量 irisiris = load_iris()# 查验数据规模原创 2020-12-10 14:47:50 · 1635 阅读 · 1 评论 -
机器学习进阶 第一节 第十课
k-近邻概述例子欧式距离二级目录三级目录概述k-近邻算法采用测量不同特征值之间的距离来进行分类.优点: 精度高, 对异常值不敏感, 无数据输入假定缺点: 计算复杂度高, 空间复杂度高使用数据范围: 数值型和标称型例子电影可以按照题材分类, 那每个题材又是如何定义的呢?假如两种类型的电影, 动作片和爱情片. 我们发现动作片中打斗镜头次数较多, 而爱情片中接吻镜头相对更多. 当然动作片中也有一些接吻镜头, 爱情片中也有一些打斗镜头. 所以不能单纯通过是否存在打斗镜头或者接吻镜头来判断影片的类原创 2020-12-10 08:25:23 · 1403 阅读 · 0 评论 -
机器学习进阶 第一节 第九课
模型校验-交叉验证概述训练集与测试集holdout methodk-折交叉验证estimator 的工作流程概述一般在进行模型的测试是, 我们会将数据分为训练集合测试集. 在给定的样本空间中, 拿出大部分样本作为训练集来训练模型, 剩余的小部分样本使用刚建立的模型进行预测.训练集与测试集训练集与测试集的分割可以使用 cross_validation 中的 train_test_split 方法. 大部分的交叉验证迭代器都内建一个划分数据前进行数据索引打散的选项, train_test_split 方原创 2020-12-10 06:02:57 · 1480 阅读 · 0 评论 -
机器学习进阶 第一节 第八课
模型的选择概述如何选择合适的算法模型监督学习中三类问题的解释分类问题回归问题标注问题概述算法是核心, 数据和计算是基础. 这句话很好的说明了机器学习中算法的重要性. 那么我们开看下机器学习的几种分类:监督学习分类 k-近邻算法, 决策树, 贝叶斯, 逻辑回归 (LR), 支持向量机 (SVM)回归 线性回归, 岭回归标注 隐马尔可夫模型 (HMM)无监督学习聚类 k-means如何选择合适的算法模型在解决问题的时候, 必须考虑下面两个问题: 1. 使用机器学习算法的目的, 想要算法完原创 2020-12-08 13:00:56 · 1387 阅读 · 0 评论 -
机器学习进阶 第一节 第七课
sklarn-learn 数据集概述sklearn.datasetsdatasets.load_()datasets.fetch_()datasets.make_()返回类型数据集目录获取小数据集数据集进行分割获取大数据集概述我们将介绍 sklearn 中的数据集类, 模块包括用于加载数据集的实用程序, 包括假造和获取流行参数集的方法. 它还具有一些人工数据生成器.sklearn.datasetsdatasets.load_()获取小规模数据集, 数据包含在 datasets 里.dataset原创 2020-12-08 06:44:14 · 1563 阅读 · 0 评论 -
机器学习进阶 第一节 第六课
机器学习简介机器学习组成表示 (模型): Representation评价 (策略): Evalution开发应用程序的步骤收集数据准备输入数据分析输入数据训练算法测试算法使用算法机器学习组成机器学习 = 模型 + 策略 + 算法其实机器学习可以表示为: Learning = Representation + Evalution + Optimzation. 机器学习主要由三部分组成, 即: 表示 (模型), 评价 (策略) 和优化 (算法).表示 (模型): Representation表示主要原创 2020-12-07 14:47:54 · 1385 阅读 · 0 评论 -
机器学习进阶 第一节 第五课
降维案例案例一步骤步骤一步骤二步骤三案例一探究: 用户对物品类别的喜好细分降维.数据:products.csv 商品信息order_products__prior.csv 订单与商品信息orders.csv 用户的订单信息aisles.csv 商品所属具体物品类别步骤合并各张表到一张表当中: pd.merge()建立一个类似行, 列数据使用 PCA 分析步骤一import pandas as pdfrom sklearn.decomposition import PCA原创 2020-12-07 14:06:18 · 1472 阅读 · 1 评论 -
机器学习进阶 第一节 第四课
特征选择概述主要方法VarianceThreshold 语法流程噪点其他特征选择方法sklearn 主成分分析 APIPCA 是什么PCA 语法PCA 流程 (代码演示)概述特征选择 (future selection): 目的是剔除不相关 (irrelevant) 或冗余 (redundant) 的特征, 从而达到减少特征个数.特征选择就是单纯地从提取到的所有特征中选择部分特征作为训练集特征. 特征在选择在选择前和选择后可以改变值, 也不该变值. 但是选择后的特征维数肯定比选择前小, 毕竟我们只选择原创 2020-12-07 03:32:50 · 1601 阅读 · 0 评论 -
机器学习进阶 第一节 第三课
特征预处理概述数值型数据标准缩放归一化sklearn 归一化 APIMinMaxScaler 语法归一化步骤归一化案例概述特征处理: 通过特定的统计方法 (数学方法)将数据转换成算法要求的数据.sklearn 特征处理 API: sklearn.preprocessing数值型数据标准缩放归一化归一化: 通过对原始数据进行变换把数据映射到 (默认为 [0,1] ) 之间.注: 作用于每一列, max 为一列的最大值, min 为一列的最小值. 那么 X’’ 为最终结果. mx, mi 分别为原创 2020-12-07 02:49:12 · 1502 阅读 · 0 评论 -
机器学习进阶 第一节 第二课
Scikit-learn 库概述安装特征抽取sklearn 特征抽取 API字典特征抽取DictVectorizer 语法流程文本特征抽取CountVectorizer 语法流程案例TF-IDFTfIdf公式TfidfVectorizer 语法流程概述Scikit-learn 库是 Python 语言的机器学习工具, 包括许多知名的机器学习算法的实现. Scikit-learn 文档完善, 容易上手, 有丰富的 API, 使其在学术界颇受欢迎. 目前稳定版本 0.23.安装创建一个机遇 Python原创 2020-12-06 13:25:17 · 1603 阅读 · 0 评论 -
机器学习进阶 第一节 第一课
什么是机器学习概述机器学习的价值机器学习的数据数据集的结构可用数据集结构组成特征工程概述机器学习是从数据中自动分析获得规律 (模型). 并利用规律对位置数据进行预测.机器学习的价值领域: 医疗, 航空, 物流, 电商…目的: 让机器学习程序替换手动的步骤, 减少企业的成本也提高企业的效率.例子: 一个汽车零售商将客户按照对汽车的喜好划分成不同的类, 这样营销人员就可以将新型汽车的广告手册直接邮寄到有这种喜好的客户手中, 从而大大增加了商业机会.机器学习的数据使用 csv 文件为什么不能使原创 2020-12-06 02:25:28 · 1602 阅读 · 0 评论