![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
First Snowflakes
捡贝壳
展开
-
CPU、GPU 和 TPU
张量处理单元(TPU,Tensor Processing Unit)是一种为机器学习而定制的芯片,它由谷歌从头设计。训练神经网络时,TPU 从内存加载数据,当神经网络中的节点对应的乘法被执行后,其结果将被传递到下一个乘法器,同时执行加法。在大量计算和数据传递的整个过程中,不需要执行任何的内存访问。https://blog.csdn.net/qq_38742161/article/details/105653000...原创 2021-04-16 00:17:29 · 168 阅读 · 0 评论 -
Tensorflow structure
Ref:https://github.com/horance-liu/tensorflow-internalshttps://www.jianshu.com/p/a5574ebcdeab原创 2021-04-15 23:16:52 · 156 阅读 · 0 评论 -
集成学习思想;Boosting算法族代表--Adaboost,GBDT; Bagging, 随机森林算法
集成学习思想:集成学习通过构建并结合多个学习器来完成学习任务,有时也被称为多分类器系统、基于委员会的学习等。集成学习通过将多个学习器进行结合,常可获得比单一学习器显著优越的泛化性能。个体学习器通常由一个现有的学习算法从训练数据产生,例如C4.5决策树算法,BP神经网络算法等,此时集成中只包含同种类型的个体学习器,例如 决策树集成中全是决策树,神经网络集成中全是神经网络,这样的集成同质...原创 2019-03-01 07:47:23 · 959 阅读 · 0 评论 -
机器学习理论 之 经验风险最小化(Empirical Risk Minimization)
该理论探讨的是模型在training set上的error 与 generation error的关系。 训练模型时,需要多少个样本,达到什么精度,都是由理论依据的。理论点:偏差方差权衡(Bias/variance tradeoff) 训练误差和一般误差(Training error & generation error) 经验风险最小化(Empiried risk mi...原创 2019-02-19 23:03:36 · 17042 阅读 · 1 评论 -
统计学习三要素以及常见的损失函数,经验风险与结构风险的关系
统计学习的三要素:模型,策略,算法。模型:统计学习首先要考虑的是学习什么样的模型。在监督学习过程中,模型就是所要学习的条件概率分布P(y|x)或决策函数。模型的假设空间包含所有可能的条件概率分布或决策函数。例如,假设决策函数是输入变量的线性函数,那么模型的假设空间就是所有这些线性函数构成的函数集合策略:有了模型的假设空间,统计学习接着需要考虑的是按照什么样的准则(损失函数)来选出空间...原创 2019-03-02 11:10:20 · 1417 阅读 · 0 评论 -
机器学习之 特征选择和特征降维
特征选择:对于一个学习任务来说,给定属性(特征)集,有的属性可能很关键,很有用,另一些属性则可能没有什么用.对当前任务有用的属性称为“相关特征(relevant feature)”,没有用的属性称为“无关特征(irrelevant feature)”。从给定的特征集合中选择出相关特征子集的过程,称为“特征选择”。 特征选择是一个数据预处理的过程。特征选择的必要性:1) 现实任务中常会遇...原创 2019-03-02 22:20:41 · 1308 阅读 · 0 评论 -
机器学习之异常点检测算法
https://www.cnblogs.com/pinard/p/9314198.html转载 2019-03-02 22:39:24 · 930 阅读 · 0 评论 -
后验-先验-似然估计-贝叶斯公式-机器学习之朴素贝叶斯算法
无常的估计后验、先验、似然估计 概念:1.后验(知果求因)假设,隔壁小哥要去15公里外的一个公园,他可以选择步行走路,骑自行车或者开车,然后通过其中一种方式花了一段时间到达公园。这件事中采用哪种交通方式是因,花了多长时间是果。假设我们已经知道小...原创 2019-02-26 20:31:15 · 3144 阅读 · 0 评论 -
天池平台 --- 工业AI大赛智能制造质量预测
赛题:https://tianchi.aliyun.com/competition/entrance/231633/information基于Python的解决方案:原始jupyter文件,网盘: 链接:https://pan.baidu.com/s/1guIwAlk9zvI3ULcZ8kkBnw 提取码:g0xs主要关注数据处理的方法,神经网络建立的方法,逻辑次要。相关工具包:...原创 2019-03-05 23:31:57 · 2763 阅读 · 9 评论 -
Kaggle手写数字识别 -- CNN
项目:https://www.kaggle.com/c/digit-recognizer 方法: 卷积神经网络CNN工具: tensorFlow;代码:导入工具包:import tensorflow as tfimport pandas as pdimport numpy as npimport pylab import matplotlib.pyplot as p...原创 2019-03-17 22:22:43 · 1444 阅读 · 0 评论 -
机器学习之 方差 vs 偏差
偏差(bias) 度量了学习算法的预测结果与真实结果的偏离程度,刻画描述了算法本身对数据的拟合能力,也就是训练出来的模型对训练样本的匹配程度。高偏差对应的是欠拟合问题。方差(variance) 度量了训练集的变化导致学习性能的变化,描述了数据扰动造成的影响。高方差对应的是过拟合问题。Ref:https://www.cnblogs.com/daguankele/...原创 2019-02-28 21:58:00 · 210 阅读 · 0 评论 -
机器学习之 生成模型 vs 描述模型
生成模型(Generative Model):先学习得到联合概率分布P(x,y), 即特征x和标记y共同出现的概率。然后,再由此获得P(y|x),即在特征x出现的情况下,标记y出现的概率。例如,在朴素贝叶斯算法中,先根据样本数据得到P(y),P(x|y),得到了这两者也就意味着得到了联合概率分布,两者相乘即可得到,然后,可以根据贝叶斯公式推导出P(y|x)。判别模型(Discri...原创 2019-02-28 19:44:43 · 379 阅读 · 0 评论 -
特征值分解, 奇异值分解
Ref:https://en.wikipedia.org/wiki/Eigendecomposition_of_a_matrixhttp://www.cnblogs.com/pinard/p/6251584.htmlhttps://en.wikipedia.org/wiki/Diagonalizable_matrixhttps://wenku.baidu.com/...原创 2019-01-05 14:39:19 · 170 阅读 · 0 评论 -
PCA-主成分分析-的理解
推导过程可以参考:点击打开链接有m个样本,每个样本都是n维的列向量,对其进行PCA时,首先构造矩阵X=[],然后求的特征值和特征向量(其为半正定矩阵,特征值都非负数)。如果要压缩到t维(t<=n),则取前t个最大的特征值对应的特征向量作为投影方向,相当于新的坐标基。每一个样本都向这t个向量投影,得到t个投影值,从而每个向量都转换成了t维。后续继续补充。参考:机器学习实战...原创 2018-03-14 19:52:26 · 346 阅读 · 0 评论 -
推荐系统中的协同滤波算法___使用SVD
学会观察他人的恐惧,我们会清晰地看到自己。--- 雾满拦江对于推荐方法,基于内容 和 基于协同过滤 是目前的主流推荐算法,很多电子商务网站的推荐系统都是基于这两种算法的。协同过滤 是一种基于相似性来进行推荐的算法,主要分为 基于用户的协同过滤算法 和 基于项目的协同过滤算法,第3种是...原创 2018-03-14 20:42:41 · 1191 阅读 · 0 评论 -
随机森林的优点
Author: Frank随机森林是基于决策树的一种经典的机器学习方法,其由许多课决策树构成,这些决策树是根据带标签的样本数据建立而来。建立各个决策树时采用随机抽样的方法,即从全部标记样本中随机选出部分样本,然后使用这些样本的部分特征建立一课决策树。对未标记样本做预测时,随机森林里的每一个决策树都需要预测出一个结果,然后综合考虑所有结果给出最终的预测。随机森林的优点:a. 对于很多数据集表现良好,...原创 2018-03-09 15:37:43 · 3794 阅读 · 0 评论 -
梯度下降法Vs牛顿下降法
Author: Frank在机器学习领域中,梯度下降法和牛顿下降法是两个非常有分量的方法。两者在本质上都是为了寻找极值点的位置,但是牛顿下降法的收敛速度更快。下面以单变量函数为例来进行基本的解释。牛顿下降法的递推公式: 梯度下降算法的递推公式: xn+1=xn−μ∗f′(xn)方法比较:一般称 梯度下降法用平面去拟合当前的局部曲面,牛顿法用二次曲面来拟合。下图中红色的收敛轨迹代表牛顿法,另一条为梯...原创 2018-03-09 19:40:23 · 4086 阅读 · 0 评论 -
把下面的题目看一遍整理下
http://blog.csdn.net/xwd18280820053/article/details/77529906原创 2018-03-19 15:22:41 · 141 阅读 · 1 评论 -
聚类算法概述1--相似性度量
一 聚类中的相似性度量:以下方法适用于直接对raw data进行相似性的度量,或者对比提取features之后的dada的相似性。1:距离1)Lr norm距离: 如果是L1 norm,那就是绝对值/曼哈顿距离(Manhattan distance),d(i,j)=|xi-xj|+|yi-yj|。 如果是L2 norm,那就是著名的欧式距离(Euclidean distance)了...原创 2018-03-19 15:47:40 · 1631 阅读 · 0 评论 -
经典推荐算法学习
推荐系统有两种常用的算法:基于内容和基于协同滤波,很多网站的推荐系统都是基于这两种算法。1. 基于内容推荐算法以电影评分预测为例,根据用户对电影的评分来预测用户对其未评分电影的打分。具体方法是针对每一部电影提取出一个特征向量n维特征向量V,对于每一个用户,假设其对电影的预测评分为trans(u)*V, u为n维向量。然后,利用梯度下降法求解假设的向量的值即可。具体可以参考Ng在coursera上...原创 2018-03-13 20:29:39 · 2646 阅读 · 0 评论 -
Mahalanobia Distance(马氏距离)的解释
马氏距离有多重定义:1)可以表示 某一个样本与DataSet的距离。2)可以表示两个DataSet之间的距离。1) The Mahalanobis distance of an observation {\displaystyle {\vec {x}}=(x_{1},x_{2},x_{3},\dots ,x_{N})^{T}} from a set of observations with mea...原创 2018-04-18 13:03:10 · 1997 阅读 · 0 评论 -
协方差矩阵
https://www.cnblogs.com/terencezhou/p/6235974.html原创 2018-12-27 22:23:11 · 242 阅读 · 0 评论 -
机器学习好的文章
1 经验风险最小化:点击打开链接https://www.cnblogs.com/wallacup/p/6071515.html2 L1 L2正则化https://www.zhihu.com/question/23536142点击打开链接http://blog.csdn.net/jinping_shi/article/details/52433975点击打开链接3转载 2018-02-05 12:12:23 · 189 阅读 · 0 评论