人工智能
姜球球
这个作者很懒,什么都没留下…
展开
-
人工智能算法学习笔记(二)——线性模型之线性回归
根据上一篇开篇的那个思维导图,还是从有监督机器学习开始,其中的线性回归应该是绝大多数机器学习的入门算法。那么就从线性回归开始学习吧。一、线性模型根据周志华老师的《机器学习》(俗称西瓜书)中的定义,线性模型是指其通过属性的线性组合来进行预测的函数:f(x)=w1∗x1+w2∗x2+w3∗x3+...+wd∗xd+bf(x)=w_1*x_1+w_2*x_2+w_3*x_3+...+w_d*x_d...原创 2019-02-02 21:14:31 · 1381 阅读 · 0 评论 -
人工智能算法学习笔记(一)——开篇
在前期复习过高等数学,线性代数以及概率论数理统计的基础知识后,又学习了Python3,终于开始踏入人工智能学习的道路。这条道路虽然艰难,但不忘初心,方得始终! 从现在开始,我将写一个系列的人工智能算法的笔记,将学习过程中遇到的概念,知识点,算法逻辑,容易踩到的坑等进行总结。为了自己能够更理解,同时也将此在CSDN上进行分享,期待有更多的大咖来进行批评指导交流,共同进步。 首先上一...原创 2019-01-30 22:06:23 · 1444 阅读 · 0 评论 -
人工智能算法学习笔记(六)——岭回归、LASSO回归
通过前面的学习,我们知道了线性回归模型的回归系数表达式是:β=(XTX)−1XTy\beta =\left ( X^TX \right )^{-1}X^Tyβ=(XTX)−1XTy现在的问题是,能保证回归系数一定有解吗?答案是不一定,这是有条件的,从该式可以看出来,必须确保矩阵XTXX^TXXTX是满秩的,即XTXX^TXXTX可逆。但在实际的数据当中,自变量之间可能存在高度自相关性,这样就会...原创 2019-02-22 15:27:21 · 1068 阅读 · 0 评论 -
人工智能算法学习笔记(三)——线性模型之逻辑回归
这几天在学习凸优化理论,凸优化(convex optimization)是最优化问题中非常重要的一类,也是被研究的很透彻的一类。对于机器学习来说,如果要优化的问题被证明是凸优化问题,则说明此问题可以被比较好的解决。上一章中的梯度下降法就是针对凸函数进行的一种迭代算法。今后还会涉及到诸如牛顿法,拟牛顿法等更多的凸优化算法。好了,言归正传,这章记录逻辑回归的点点滴滴。。。我在一篇文章中偶然看到一句话...原创 2019-02-18 16:37:15 · 633 阅读 · 0 评论 -
人工智能算法学习笔记(四)——偏差、方差、误差
最近在看周志华老师的西瓜书模型评估与选择时,其中对于偏差(Bias)、方差(Variance)等概念有些理解模糊,经过上网查询学习后进行了深刻的理解,下面将我所学到的内容记录如下,和大家共同交流。首先,需要明确的一点是,Bias和Variance是针对Generalization(泛化)而言的。在机器学习中,一般是定义一个误差函数(Loss Function),学习的过程就是最小化loss的过...原创 2019-02-19 16:29:45 · 1307 阅读 · 1 评论 -
人工智能算法学习笔记(七)——SoftMax回归
要学习softmax回归,就不得不提到前面学习过的逻辑回归。为什么呢?直接给出结论:因为类别数 k = 2 时,SoftMax 回归退化为逻辑回归!原因在后面的推导过程中给出。一、什么是SoftMax回归在机器学习尤其是深度学习中,softmaxsoftmaxsoftmax(PS:该函数被称作柔性最大值传输函数)是个非常常用而且比较重要的函数,尤其在多分类的场景中使用广泛。他把一些输入映射为0...原创 2019-02-28 20:40:02 · 592 阅读 · 0 评论 -
人工智能算法学习笔记(五)——正则化
上篇文章中讲解了偏差、方差、误差,其中提到了过拟合,那么本文将深入展开过拟合及其解决方案。一、竹篮打水一场空——过拟合要直观解释过拟合,先上图:图1明显分类有欠缺,称之为欠拟合,图2虽然有两个点分类错误,但是可以理解,毕竟现实世界是有噪音干扰的,该模型在容错情况下刚好,而图3分类全部正确,我们发现在训练集上该模型无比完美!请先不要高兴太早,这很可能是因为模型过拟合了。过拟合的直观解释是模...原创 2019-02-21 10:51:36 · 785 阅读 · 0 评论