![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习算法基础
lucky0han
永远保持低姿态,你才能不断成长。
展开
-
支持向量机浅析
有一个二维平面,平面上有两种不同的数据,分别用圈和叉表示。由于这些数据是线性可分的,所以可以用一条直线将这两类数据分开,这条直线就相当于一个超平面,超平面一边的数据点所对应的y全是-1,另一边所对应的y全是1。这个超平面可以用分类函数表示,当f(x)等于0的时候,x便是位于超平面上的点,而f(x)大于0的点对应y=1的数据点,f(x)小于0的点对应y=-1的点,如下图所示:...转载 2020-04-06 23:58:41 · 422 阅读 · 0 评论 -
机器学习算法基础知识点复习2——L1与L2正则化、梯度、散度、旋度、拉普拉斯算子、傅里叶变换
正则化我们所说的正则化,就是在原来的loss function的基础上,加上了一些正则化项或者称为模型复杂度惩罚项。以线性回归为例:结构风险最小化: 在经验风险最小化的基础上(也就是训练误差最小化),尽可能采用简单的模型,以此提高泛化预测精度。举一个通俗的栗子:当针对样本(1,1,1,1)有w1(1,0,0,0)与w2(1/4,1/4,1/4,1/4)计算得到的结果相同,此时选...原创 2020-03-21 15:13:17 · 2231 阅读 · 0 评论 -
机器学习算法基础知识点复习1——损失函数、激活函数
基础名词:泛化能力:通常将学习方法对未知数据的预测能力称为泛化能力。过拟合:如果一味的追求模型对于训练数据的预测能力,所选模型的复杂度往往会比“真模型”更高,我们成这种现象为过拟合。损失函数:用来度量预测结果好坏的程度的函数。目标函数:即我们的求解目标的数学表达式,也是我们希望优化的函数。相对熵(KL散度):相对熵又称KL散度,如果我们对于同一个随机变量 x 有两个单独的概率分...原创 2020-02-29 23:22:54 · 2941 阅读 · 0 评论 -
Python——机器学习常用库
(1)核心库与统计:Numpy、Scipy、Pandas、StatsModels。(2)可视化:Matplotlib、Seaborn、Plotly、Bokeh、Pydot、Scikit-learn、XGBoost/LightGBM/CatBoost、Eli5。(3)深度学习:Tensorflow、PyTorch、Keras。(4)分布式深度学习:Dist-keras/elephas/s...转载 2019-11-29 16:45:55 · 254 阅读 · 0 评论 -
卷积神经网络和深度神经网络的区别是什么?
作者:飘哥链接:https://www.zhihu.com/question/29366638/answer/864113705DNN是指深度神经网络,它是一个很广的概念,某种意义上CNN、RNN、GAN等都属于其范畴之内。DNN与CNN(卷积神经网络)的区别是DNN特指全连接的神经元结构,并不包含卷积单元或是时间上的关联。DNN是指包含多个隐层的神经网络,根据神经元的特点,可以分为ML...转载 2019-11-28 11:29:25 · 21315 阅读 · 0 评论 -
贝叶斯深度学习——基于PyMC3的变分推理
目前机器学习的发展趋势目前机器学习有三大趋势:概率编程、深度学习和“大数据”。在概率编程(PP)方面,有许多创新,它们大规模使用变分推理。在这篇博客中,我将展示如何使用PyMC3中的变分推理来拟合一个简单的贝叶斯神经网络。我还将讨论桥接概率编程与深度学习能够为将来研究开创怎样的有趣途径。大规模概率编程概率编程可以灵活创建自定义概率模型,主要关注从数据中洞悉和学习。这种方法本质上是...转载 2019-11-26 13:02:46 · 803 阅读 · 2 评论 -
机器学习常用库官方文档
statsmodelshttp://www.statsmodels.org/stable/datasets/index.html?highlight=datasetsmissingnohttps://github.com/ResidentMario/missingnoseabornhttps://github.com/mwaskom/seabornpandashttps...原创 2019-09-09 21:03:59 · 521 阅读 · 0 评论 -
numpy100题
https://github.com/rougier/numpy-100/blob/master/100_Numpy_exercises.md原创 2019-09-08 18:18:25 · 312 阅读 · 0 评论 -
Python——numpy
Numpy介绍:Numpy是用来存储和处理大型矩阵,比Python自身的嵌套列表结构要高效的多,本身是由C语言开发。这个是很基础的扩展,其余的扩展都是以此为基础。Numpy常用操作定义矩阵变量并输出变量的一些属性:# -*-coding:utf-8-*-import numpy as np# 用np.array()生成矩阵arr=np.array([[1,2,3], ...原创 2019-09-08 18:15:56 · 120 阅读 · 0 评论 -
PIL、pandas、numpy、scripy
Numpyhttps://blog.csdn.net/z4909801/article/details/78375495PILhttps://www.jianshu.com/p/e8d058767dfaPandashttps://www.jianshu.com/p/7414364992e4?utm_source=oschina-appScripyhttps://www....原创 2019-03-30 13:07:52 · 150 阅读 · 0 评论 -
函数齐次性
比如一个系统,输入为x,其响应为f(x);当输入为ax,其响应为af(x),即:f(ax)=af(x)则称系统具有一次齐次性,其中a为任意常数一般地,在数学里面,如果一个函数的自变量乘以一个系数,那么这个函数将乘以这个系数的k次方,我们称这个函数为k次齐次函数,也就是:如果函数 f(v)满足f(ax)=a^k f(x),其中,x是输入变量,k是整数,a是非零的实数,则称f(...原创 2019-09-11 12:07:04 · 3100 阅读 · 1 评论 -
用可视化思维解读统计自由度
想通过这篇文章解释一下degree of freedom,不力求面面聚到,只希望看完这篇文章后,对degree of freedom 这个陌生而熟悉的概念,有一个形象和全新的理解。什么是自由度(degree of freedom)自由度并不是一个很好解释的概念。多数人最早接触到degree of freedom 应该是在Excel里面run regression后,输出的表格中的一个指标...转载 2019-09-04 09:30:47 · 255 阅读 · 0 评论 -
最小二乘法详细推导过程
转载自:http://blog.csdn.net/marsjohn/article/details/54911788在数据的统计分析中,数据之间即变量x与Y之间的相关性研究非常重要,通过在直角坐标系中做散点图的方式我们会发现很多统计数据近似一条直线,它们之间或者正相关或者负相关。虽然这些数据是离散的,不是连续的,我们无法得到一个确定的描述这种相关性的函数方程,但既然在直角坐标系中数据分布接近一...转载 2019-09-05 13:14:56 · 64761 阅读 · 6 评论 -
AI算法
ML的常用算法有个常识性的认识,没有代码,没有复杂的理论推导,就是图解一下,知道这些算法是什么,它们是怎么应用的,例子主要是分类问题。决策树、随机森林算法、逻辑回归、SVM、朴素贝叶斯、K最近邻算法、K均值算法、Adaboost算法、神经网络、马尔可夫。1. 决策树 根据一些 feature 进行分类,每个节点提一个问题,通过判断,将数据分为两类,再继续提问。这些问题是根据已有数据学习...转载 2019-05-27 23:08:11 · 1672 阅读 · 0 评论 -
GD\BGD\SGD
在讨论GBDT前,先来看看什么是GD,BGD和SGDGD(Gradient Descent,梯度下降):求损失函数最小值:梯度下降;求损失函数最大值:梯度上升。假设线性模型:其中θ是参数。损失函数为:那么每次GD的更新算法为:BGD(Batch Gradient Descent,批量梯度下降):在更新参数时使用所有的样本来进行更新。SGD(Sto...转载 2019-10-11 21:42:39 · 294 阅读 · 0 评论 -
傅里叶变换
作者:言东链接:https://www.zhihu.com/question/21040374/answer/37911622来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。所谓信号,从狭义上说可以认为是自然界中作为信息载体的各类波,一般来说简谐震动产生的正弦波是最常见的研究对象。针对正弦波,在数学上有一系列的工具可以对其进行分析。因此,对于自然界存在的所有波...转载 2019-12-03 17:49:24 · 628 阅读 · 0 评论 -
对张量的理解
作者:White Pillow链接:https://www.zhihu.com/question/23720923/answer/32739132来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。对于不能翻墙的同学,我做个大致的内容摘要(多图)。两点说明:1、本人非数学物理专业出身……这方面也没深入研究过,所以一些翻译用词可能不当,欢迎批评指正~2、可能前...转载 2019-12-02 09:46:32 · 226 阅读 · 0 评论 -
协同过滤
作者:秋山居士链接:https://zhuanlan.zhihu.com/p/75871384来源:知乎随着信息技术的和互联网的发展,人们逐渐从信息匮乏的时代走入了信息过载的时代。在这个时代,我们每天都要面对各式各样的选择,通常会以周围朋友或家人的意见而做出选择。然而,面对海量的网络资源和商品信息,用户要从中做出最适合的选择不是一件容易的事情。因为他们可能没有足够的知识和时间对这些可供...转载 2019-12-03 23:45:59 · 876 阅读 · 0 评论 -
数据的归一化与标准化
在机器学习中,数据归一化是非常重要,它可能会导致模型坏掉或者训练出一个很奇怪的模型,为了让机器学习的模型更加适合实际情况,需要对数据进行归一化处理。1.机器学习中常用的归一化方法:2. 不同归一化方法分析:2.1 线性变换和极差法(线性归一化)将原始数据线性化的方法转换到[0 1]的范围,该方法实现对原始数据的等比例缩放。通过利用变量取值的最大值和最小值(或者最大值)将原始数据转换为...转载 2019-12-03 22:57:07 · 481 阅读 · 0 评论 -
什么是深度学习的卷积?
作者:论智链接:https://zhuanlan.zhihu.com/p/42090228来源:知乎近年来,随着一些强大、通用的深度学习框架相继出现,把卷积层添加进深度学习模型也成了可能。这个过程很简单,只需一行代码就能实现。但是,你真的理解“卷积”是什么吗?当初学者第一次接触这个词时,看到堆叠在一起的卷积、核、通道等术语,他们往往会感到困惑。作为一个概念,“卷积”这个词本身就是复杂、...转载 2019-12-01 23:24:04 · 444 阅读 · 0 评论 -
深度学习——卷积核
知识点整理,原文链接:https://towardsdatascience.com/a-comprehensive-introduction-to-different-types-of-convolutions-in-deep-learning-669281e582151. 卷积与互相关互相关是两个函数之间的滑动点积或滑动内积。卷积是一个过滤函数g反转后与函数h的滑动点积或滑动内积。...转载 2019-12-01 13:16:46 · 3121 阅读 · 0 评论