机器学习：新手入门概览（一）

AAI机器之心

已于 2024-05-05 10:44:24 修改

阅读量62

点赞数

文章标签：机器学习人工智能 ai AI编程

于 2023-12-12 16:31:09 首次发布

原文链接：https://juejin.cn/post/6844903549269360648?from=search-suggest

版权

机器学习：新手入门概览（一）

定义

百度百科定义：

机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。它是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域，它主要使用归纳、综合而不是演绎。

分类

通常分为有监督学习(supervised Learning)和无监督学习(unsupervised Learning)。从 Andrew Ng 与 Geoffrey Hinton 的访谈录像中，Hinton 提到无监督学习一直是科学家们所追逐的最终目标，但目前困难重重，仅就当前来看，监督学习发展的更为迅速，所涌现的科研成果也更为丰富。

应用领域

最主要的应用领域有：专家系统、认知模拟、规划和问题求解、数据挖掘、网络信息服务、图象识别、故障诊断、自然语言理解、机器人和博弈等领域。

其中图像识别属于计算机视觉(Computer Vision, CV)领域，当前流行的卷积神经网络（Convolutional Nerual Network, CNN）等深度学习算法并非 CV 领域一直使用的算法，而是在深度神经网络 AlexNet 等模型表现极为出色之后，才被众人认可。自此，机器学习在 CV 领域的应用才全面发展起来。

博弈领域的问题以增强学习(Reinforcement Learning, RL)为主要算法，著名模型为 AlphaGO。其中涉及的算法有深度神经网络（Deep Neural Network, DNN）（其中包含 CNN 和其它类型的深度神经网络），蒙特卡洛方法，Q-learning等，其中前两者在有大量数据的情况下表现突出。

自然语言处理(Natural Language Processing, NLP)中包含自动分词，句法/词性分析，自然语言生成，机器翻译等领域，其中循环神经网络（Recurrent Neural Network, RNN）在机器翻译中表现出了强大的能力。

学术

由于近年机器学习发展速度极快，相对于学术期刊，国际学术会议中的各类论文更新更快，因此各类与机器学习相关的会议非常值得关注。

顶级或者高水平会议：
机器学习领域：ICML, NIPS,COLT,ECML
计算机视觉与机器学习混合：CVPR,ICCV,ECCV
机器学习与数据挖掘大杂烩：AAAI,IJCAI
主要是数据挖掘领域：KDD,SDM,ICDM
其他机器学习领域比较知名的：UAI,AISTATS
其他数据挖掘领域比较知名的：CIKM,PKDD
主要是数据库方向的，部分包含机器学习与数据挖掘：SIGMOD,VLDB，ICDE
交叉领域：WWW,SIGIR
顶级或者高水平期刊：
机器学习相关领域：
TPAMI, IJCV,JMLR
数据挖掘相关领域：
TKDE,TKDD,TIST,TODS,TOIS,KIS
作者：知乎用户
链接：https://www.zhihu.com/question/20224890/answer/136485243
来源：知乎

常用模型

这里提到的只是其中一部分机器学习模型及算法，主要是监督学习的模型。

线性回归 Linear Regression

计算与目标函数的误差，通过不断调整参数来减小误差。通常分为两个主要函数：

误差（损失）函数(loss function)：常用的函数为 mse（mean squared error function）
优化函数（optimizer）：包括梯度下降算法（Gradient Descent），牛顿法，以及衍生出的如 sgd(Stochastic Gradient Descent)，Levenberg–Marquardt算法等等。

而在梯度下降算法等优化函数中，需要根据具体问题进行超参数（Hyperparameter）的调整，如学习速率(Learning Rate)决定了算法下降的快慢以及能否找到全局最优值。这一点在之后的神经网络中有更多相关的算法与讨论，但并没有可靠的公式可以依赖，多数依靠经验来做出判断和调整，这也是机器学习有时被称为“炼丹”的原因之一。

逻辑回归 Logistic Regression

在线性回归的基础上进行改造，总体上架构类似，只是在最后的输出时加入激活函数(Activation Function)。在最后的输出效果上，二项分类中最后输出的是 1 或 0，表示是否。而多项分类输出的是一个维度为类别数量 n 的（或 n+1 多出的一个元素在目标不属于任何类别时为 1）向量，如[0 0 1 0 0]。

损失函数：交叉熵损失函数(cross entropy loss function)
激活函数：常用的激活函数有 sigmoid 函数（用于二项分类），softmax 函数（用于多项分类）。

多项分类有时也称为 softmax 回归

sigmoid 函数图像——引用来源：百度百科

支持向量机 Support Vector Machine

简单来讲即为将低维度中看起来不可分的样本，映射至高维度空间之中，然后使得样本变得可分。而在向高维度的映射过程中，SVM 借助核函数的特性在映射的同时避免了随着而来的高计算代价，因而在分类问题中表现良好。
在知乎的回答中，很多人的图例解释的很清楚。

图片引用来源：知乎 https://www.zhihu.com/question/21094489

决策树 Decision Tree

决策树(Decision Tree）是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。——百度百科

其中改进的算法还有随机森林（Random Forest） 算法等，其中随机森林由多个决策树组成，依旧是一种预测分类器。

神经网络 Neural Network

机器学习中的神经网络指的实际上是前馈神经网络（Feedforward Neural Network）,所谓前馈，是指在模型的运算过程中，后层的神经元只接收前面神经元的输入信息，而不会立即给予反馈。神经网络由三个部分组成：输入层，隐藏层和输出层。而其中最为复杂多变的是隐藏层，通过隐藏层中不同的连接方式，组成了各类复杂的神经网络。神经网络本身的厉害之处，笔者认为，是特征的自行提取，随着网络的一步步深入，所提取的特征也从低级特征逐渐变为高级特征，这也是不少的 CNN 网络可以用来迁移学习的原因之一。

例如，当神经网络识别一只猫的图像时，低层神经层提取的是猫的颜色、边沿等低级特征，往上一层之后，这些特征会进行组合，变为了三角形、四边形，再往上，会逐渐变成眉毛、嘴巴等人类可识别的特征。在真实情况中可能与例子不完全一样，但性质是类似的。

更多关于神经网络的例子与解释，还可以参考我的另一篇文章。

图片来源：https://p1-jj.byteimg.com/tos-cn-i-t2oaga2asx/gold-user-assets/2018/1/10/160e06eadc4d24f8~tplv-t2oaga2asx-image.image

神经网络的深浅

关于神经网络的层数与深度，据笔者所知，暂时没有一个较为明确的定义。但一般来讲，深度神经网络的隐藏层至少在两层以上，随之而来的各种技巧与最初的神经网络也有较大的不同，整体来说，无需纠结于深浅的区分。

神经网络的组成

通常来讲，最基本的神经网络的公式中有三个基本参数, a, w 与 b。其中 a 是指的神经元的值， w 为权重（weights），而 b 是偏置参数（bias）。除了这三个重要参数之外，还有 g 表示激活函数，所以后一层的值可通过 g(aw + b) 得到。

神经网络的反向传播算法

正是反向传播(Back Propogation, BP)算法的出现，解决了多层神经网络的隐含层权重等问题。BP 算法的基本原理为根据计算得出的损失函数(loss function) ，使用优化函数(optimize function)对各个神经元的权重进行调整，进而使得输出结果拟合最终结果。

神经网络的激活函数

激活函数的意义： 常常有人说，没有激活函数的神经网络就是个悲剧。是因为神经网络模型本身，在没有激活函数时，只能解决线性问题，而对于非线性分类，则是无能为力的。而在加入了激活函数之后，模型具有了解决非线性问题的能力，能够处理的问题也大大增多。

常见激活函数： 有之前提到的sigmoid函数，softmax函数，以及tanh函数，还有著名的 ReLu函数，它的出现大大加快了深度神经网络训练的速度。还有 RMSprop函数以及 Adam 函数，它们的出现在一定程度上消除了优化过程中算法来回摆动的问题。之后还有Adam衍生出的其他激活函数。

激活函数在神经网络中的表示： 激活函数本身，在神经网络中也是一层神经层，只不过只是对前面一层的结果套用激活函数进行处理，然后将结果直接传入下一层。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

😝有需要的小伙伴，可以点击下方链接免费领取或者V扫描下方二维码免费领取🆓

在这里插入图片描述