花十分钟,让你变成AI产品经理(一)
先说一下你阅读本文可以得到什么。你能得到AI的理论知识框架;你能学习到如何成为一个AI产品经理并且了解到AI产品经理如何在工作中发挥作用,以及AI产品经理需要从哪些方面锻炼能力。最重要的是,通过本文,一切都特别快(手打滑稽)。
PS:目前只针对弱人工智能(我喜欢简称,此处我们简称为“弱智”)进行学习。
首先我们必须要掌握的是AI的专业知识框架,然后了解AI的市场情况,最后要明白AI产品经理的工作流程及在项目的价值体现。本文致力于让完全没有学习过AI的朋友可以轻松读懂,获取干货。即使你不能完整理解AI也没关系,最起码看完本文之后你可以完美装13,文末会有特别的装13技巧送给你。
一、AI是什么
1、AI的定义
凡是通过机器学习,实现机器替代人力的技术,就是AI。机器学习是什么呢?机器学习是由AI科学家研发的算法模型,通过数据灌输,学习数据中的规律并总结,即模型内自动生成能表达(输入、输出)数据之间映射关系的特定算法。这整个过程就是机器学习。
AI模型是个“中间件”,不能直接与用户完成交互,所以AI还是需要借助传统的应用程序,应用程序直接与用户进行交互,同时提交输入数据给模型,模型处理后返回输出数据给应用程序,应用程序再转化为合适的呈现方式反馈给用户。
AI解决方案比互联网解决方案有什么优势:再也不需要去归纳总结知识和规律,然后进行越来越复杂的编程,只需要用数据喂养机器,让机器完成所有工作。而且传统的互联网解决方案遇到需要求变时,是个头痛的事,因为直接让工程师对程序、算法进行修改的过程中会需要考虑很多既有程序带来的限制及改动后的未知风险(同时也容易造成人力成本更高),而AI模型是可以迁移、叠加利用的,所以需求变化时,少了很多既有积累的东西带来的问题。
2、AI的根基
AI的根基从数学理论开始,数学理论(包括:线性代数、概率论、统计学、微积分)的基础上我们得以有机器学习理论,机器学习理论(包括:监督学习、无监督学习、强化学习、迁移学习、深度学习)的基础上我们得以有基础技术,基础技术(包括:机器学习ML、深度学习DL、语音识别ASR、语音合成TTS、计算机视觉CV、机器视觉MV、自然语言理解NLU、自然语言处理NLP、专家系统)的基础上AI应用得以实现。
3、机器学习理论详解及算法模型介绍
关于模型算法的结果导向理解:1、对数据进行分类,2、找到输入数据与输出数据之间的规律。机器学习方式有多种,每种机器学习方式又有多种算法。机器学习方式可以配合利用,且各种算法模型也可以结合利用。
机器学习的抽象流程是:训练机器阶段,让模型对输入数据进行分类,且找到规律;测试阶段,数据进入模型时,模型对数据进行分类,每一个测试数据都归类到训练数据类别中对应的一个类别,然后根据训练找到的规律计算出输出值(即答案);欠拟合或者过拟合的情况下,要清洗训练数据、调整参数以及重复训练;达到最佳拟合后,机器学习完成。
3.1、监督学习
通俗解释:准备好许多组问题和对应答案,然后对机器说:当你看到这个问题的时候,你就告诉人家这个答案。多次重复这样的训练,然后机器从每一次的训练问题和对应答案中找到了其中的规律(即算法)。然后你跟你朋友吹嘘说,我的机器机灵得跟猴似的,不信你问它问题。你这位朋友开始提一大堆问题,提的问题大可以跟你训练的问题不同,机器人只是根据自己之前总结的规律推测出答案给对方。如果发现机器人说出的答案中错误太多,那你就要修理修理它,再重新用更丰富的有标记答案的问题训练一番,直到你的机器被人提问时回答准确率特别高,达到你的期望了。这时候你就可以放心的跟你朋友炫耀:我的机器机灵得跟猴似的。
专业解释:准备样本(样本通常准备两组:训练数据和测试数据),先将训练数据(即标记样本)给到机器,同时提供标准答案(有答案的样本数据属于“标记样本”),机器尽量从训练数据中找到因变量和自变量之间的关系,让自己推测的答案尽量跟标准答案靠近。训练过程中机器尝试生成我们需要的算法,这个算法就是我们要机器学习出来的结果。然后我们给机器测试样本(测试数据),不提供标准答案,看机器推理出答案的准确率怎么样,如果准确率太低(欠拟合),那我们就要调整模型的参数,并且再训练机器,接着又用测试数据测试,直到机器达到了我们期望的准确率。抽象一个最简单的逻辑公式:线性代数y=kx。我们提供n组x值及对应y值作为训练数据,模型经过计算推测出k值(推测出k值这个过程我们叫做“回归”),然后我们再用m组测试数据,但是此时只输入x值,看机器得出的y值是否跟我们已知的正确答案y值是否相同。当有多个纬度的特征时,应该抽象公式应该是y=kx1+kx2+kx3,或者y=k1x1+k2x2+k3x3。当然还有可能要考虑其他一些参数,此时公式应该为y=kx1+kx2+kx3+b,或y=k1x1+k2x2+k3x3+b。参数b是我们的AI工程师可以直接调整的,以便让机器训练的结果最接近我们想要的结果。
监督学习的算法分类
1)KNN临近算法
在训练阶段时,机器将训练数据进行分类(根据数据的feature,即数据的特征)。(逻辑推理出,在某些情况下模型可以找出来的数据之间的映射不止一条,即可能每一类数据会有一个映射关系。)当测试数据输入时,机器会根据输入数据的特征判断该输入数据跟哪一类的训练数据为同一类,在此判断基础上,机器便决定用哪一个映射关系来推测当下输入测试数据对应的输出数据(即答案)。机器是如何判断测试时的输入数据更接近哪一类训练数据的呢?用数学逻辑解释就是,模型内是一个多维空间,有一个多维坐标,每一纬是一个特征,当一个训练数据输入时,该数据坐落在坐标上某一点,训练数据量大了之后,模型里的坐标上有无数点。当测试数据输入后,根据测试数据的特征在坐标上为它找到一个点,机器会找与该点欧式距离最近的点(训练数据的点)是哪一个,并且将该点视为与找到的距离最近的训练数据的点为同一类。
举个栗子:Mary喜欢玩探探,在她眼里,探探里的男银分3类。第一类是不喜欢,左划;第二类是喜欢,右划;第三类是超级喜欢,点星星。第一类男银的共同点是单眼皮、低鼻梁、秃顶、着装安ta之类的运动服;第二类的共同点是双眼皮、高鼻梁、茂密的头发、着装笔挺小西装;第三类的共同点是带名牌手表,照片旁边有一辆跑车。AI了解Mary后,开始为Mary把关。当AI看到一个男银上探探,就会看这个男银是否单眼皮,鼻梁接近于高还是低,头发多少,着装随时还是成熟,然后将这个男银为第一类或者第二类,第一类的直接帮Mary划掉,第二类的直接帮Mary点喜欢。还有,当AI看到一个男银带名牌表,有豪车,直接帮Mary点一个超级喜欢。然后Mary不用那么累地全部都要点一遍,AI帮她选的人她都挺满意,她一脸的满足。
2)决策树ID3算法
基于“决策树”的理论的一种算法。根据数据特征进行分支,直到不可再分支,此时决策树成形,数据也被分出一类来,成形的一个决策树表现了这一类数据的所有特征。决策树ID3算法与KNN算法的区别在于:KNN算法需要始终保存并持续使用所有训练数据,决策树ID3算法完成决策树之后,可以不再保存所有的训练数据了(可以清清内存),只需要将决策树模型保留下来,便可以对新数据进行高准确率地分类。
3)logistic逻辑回归算法
当特征和结果不满足线性时(函数大于一次方时),就可以用逻辑回归算法。逻辑回归是一个非线性模型,它的因变量(x)跟线性回归函数不相同。逻辑回归同样用来解决分类问题,呈二项分布(示意图1),它只输出两种结果,0或1(实际情况是输出为0~0.5,或0.5~1,小于0.5取值0,大于等于0.5取值1),0和1分别代表两个类别。
逻辑回归的基础公式:
示意图1:
4)支持向量机SVM
主要优势就是可以判断到分类是否正确。先给大家举一个例,当我们要分割一个平面,会用一条线,即分割二维数据用一维数据;如果我们要分割一个立体空间,会用一个面,即分割三维数据用二维数据。理解例子后,就可以理解SVM的原理了。SVM的原理就是用一个N-1维的“分割超平面”线性分开N维数据。训练数据进入模型空间以后作为一个点,我们计算该点到“分割超平面”的距离(即函数间隔,注意,函数间隔在多维空间里是值可正可负的),该函数间隔为正值,则判断分类正确,弱该函数间隔为负值,则分类错误。
5)朴素贝叶斯分类算法
首先说明一点:KNN算法、决策树ID3算法、logistic回归算法、SVM都是属于判别方法,而朴素贝叶斯算法是属于生成方法。朴素贝叶斯算法的逻辑是:每一个训练数据输入时,计算该数据被分到每一个类别的概率,最后视概率最大的那一个为该输入数据的类别。
公式:
3.2、无监督学习
通俗解释:你准备一大堆问题丢给你的机器,每一个问题都不告诉它答案,叫它自己把问题分类了。它开始识别所有问题分别都是什么特征,然后开始将这些问题分类,比如A类、B类、C类。分类好了之后,你又对你朋友炫耀:我的机器机灵得跟猴似的,不信你问它问题。然后你朋友问它: “女朋友说自己感冒了应该怎么回复她?”机器想了想,发现这个问题跟自己归类的A类问题一样,于是它就随口用A类问题里的一个代表性问题作为回答:“女朋友说自己大姨妈来了该怎么回复,你就怎么回复。”你的朋友觉得机器是理解了他的问题,但是他还是不知道该怎么回复女朋友啊,失望的走了。这个时候你发现你的机器回答方式不好呀,于是你告诉机器,不要用问题回答问题,你顺便给了他的A类问题一个统一答案,就是“多喝热水”。然后你叫你朋友再问一次机器,你朋友又来问了一次机器:“女朋友说自己感冒了我该怎么回复。”机器马上回答:“叫她多喝热水呀。”你朋友一听,恍然大悟,开开心心地走了。
专业解释:机器学习是否有监督,就看训练时输入的数据是否有标签(标签即标注输入数据对应的答案)。无监督学习即训练时输入数据无标签,无监督学习利用聚类算法。无监督学习不利用“回归”方式找到规律。其他的跟监督学习基本相同。
1)K-聚类(聚类算法)
K-means聚类是一种矢量量化的方法,给定一组向量,K-means算法将这些数据组织成k个子集,使得每个向量属于最近的均值所在的子集。在特征学习中,K-means算法可以将一些没有标签的输入数据进行聚类,然后使用每个类别的质心来生成新的特征。
2)主成分分析法
容我偷个懒,这个我自己还未真正学习懂,所以就不写了,后面出现未具体解释的东西都是我还未学习明白的内容。争取只写我真正自己学懂的东西,怕未完全明白的基础上写的东西容易出现误导。但是我会在接下来的学习中把余下的AI知识都学好,并尽量再发文跟大家分享。
3.3、半监督学习
半监督学习其实就是监督学习和非监督学习的方法合并利用,训练数据有一部分是有标签的,有一部分是无标签的,通常无标签的数据量比有标签的数据量大很多。半监督学习的好处是,1)降低打标签的人工成本的情况下让模型可以得到很好的优化;2)大量的没办法打标签的数据得以被利用起来,保证训练数据的量,从而让训练结果更佳。狭义上【半监督学习】要分为transductive SVM、inductive SVM、Co-training、label propagation;我们可以尝试用另外一种方法分类【半监督学习】,即“分类半监督”、“聚类半监督”。“分类半监督”举例说明就是先用标签数据进行训练,然后加入无标签数据训练,无标签数据输入时,会数据特征及特征值,看该数据与有标签数据分类中哪一类更接近,就视为该类数据;或者是,看该数据与有标签数据哪一个最接近(找最接近的方法在KNN算法中讲过),则该无标签数据被当作是最接近的标签数据。“聚类半监督”通常是在有标签数据的标签不确定的情况下利用(比如这个输入数据的答案可能是xxx),“聚类半监督”就是重点先完成数据的分类,然后尝试根据标签数据训练提供的标签预测结果。
1)S3VM算法
2)S4VM算法
3)CS4VM算法
4)TSVM算法
3.4、强化学习
通俗解释:你准备一大堆问题,每个问题有多个答案选项,其中只有一个选项是正确答案。手里拿着皮鞭,让你的机器一个个问题的从选项里挑答案回答,回答正确了,你就温柔的默默它的头,回答错误了,你就抽它丫的。所有问题都回答完了之后,再重复一次所有问题。然后你就发现,你的机器每一次重复,正确率都提高一些,直到最后正确率达到你的期望值了,这时候机器基本也从抚摸和抽打中找到了每一个问题的正确答案。机器通过一次次去猜测问题和答案之间的规律(即算法),一次次更新规律,最后也找到了最准确那条规律(最佳算法),这时,它机灵得跟猴一样。(当然实际过程里,只需要奖励机制就够了,但是你想同时给惩罚机制,也可以的。)
专业解释:我自己的理解,把强化学习理论分一和二,其中一是完全按照马尔科夫决策过程的理论,需要理解环境,在每一步动作时都得到一个反馈并计算下一步该怎么动作更好。二是不需要理解环境,只需要在执行完之后接收环境反馈的信号,然后它才明白之前的动作好不好,并且自行修正。
强化学习理论一(强化学习有多种算法,当使用某些算法,比如agent需要理解环境、分析环境,并且要推测出完成一个动作得到奖励的概率或者下一步完成各种动作的概率,则完全按照MDP的原理解释即可):MDP(马尔可夫决策过程)指一个智能体在可与环境发生交互的情况下采取行动,改变自己的状态获得奖励,这样一个循环过程就是马尔科夫决策过程。马尔科夫决策过程包含4元组:S(状态集,即所有状态的合集)、A(动作集,即所有动作的合集)、P(状态转移概率)、R(回报)。马尔可夫的核心:在一个状态下,可以采取一些动作,每一个动作都有一个“转化状态”且可以得出对应“转化状态”的概率。而强化学习的目标就是学习怎样让每一次行动都是为了达到最有价值的“转化状态”上。
1) model based(算法:Qleaning, Sarsa, Policy Gradients)
理解真实环境,建立一个模拟环境的模型,有想象能力,根据想象预判结果,最后选择想象中结果最好的那一种作为参考进行下一步。
2)policy based(算法:Policy Gradients, Actor-critic)
通过感官分析环境,推测出下一步要进行的各种动作的概率,取概率最大的作为实际行动的参考。
3)value based(算法:Qleaning, Sarsa)
推测出所有动作的价值,根据价值最高的作为实际动作的参考。
4)On policy(算法:Sarsa, Sarsa lambda)
必须亲自参与
5)Off policy(算法:Qleaning, Deep-Q-Network)
可亲自参与;也可以不亲自参与,通过观看其他人或机器,对其他人或机器进行模仿。
强化学习理论二(强化学习有多种算法,当使用某些算法,比如agent不需要理解环境、分析环境时):机器做决策正确时奖励(奖励来自于环境提供的信号,所以强化学习是在与环境交互的动态中进行),错误时不奖励或惩罚。强化学习不纠结于找出一条规律/算法,它只关心结果输出时能否得到奖励。之前提到的机器学习都是解决分类问题,而强化学习是解决“决策”问题。强化学习中的4个要素分别是:agent(一个智能体,可以为一个算法模型)、environment(环境,环境对于agent是独立的,它可以是一个硬件设备、强化学习之外的某种机器学习模型等,它的任务就是当action结束后用它的方式给agent一个信号)、action(动作)、reward(奖励)。agent能够执行多种action,但它每次只能选择一个action来执行,agent任意执一个action来改变当前状态,一个action被执行后,environment会通过观测得出一个observation,这个observation会被agent接收,同时会出现一个reward也会被agent接收(这个reward也来自于environment,environment或environment中的一个单位可以通过推测action结束时达到的效果是否是AI工程师想要的效果来决定这个reward是正值还是负值,当然负值相当于是“惩罚”了),agent在执行action时并不会知道结果会怎样,当agent接收到environment的observation之后,agent知道结果是怎样了;同时environmen反馈的reward让agent知道,执行这个action后得到的新状态有没有被鼓励。agent的原则就是获取鼓励呀,所以agent就算是明白了下次同样的节点上执行action时,是继续刚才的执行还是换一个action执行。就这样,最后agent就按照人类的预期来执行动作了。
1)model free(算法:Qleaning, Sarsa, Policy Gradients)
不理解环境,等待环境反馈,根据反馈进行下一步。
2)Monte-carlo update(算法:Policy Gradients, Monte-carlo leaning)
等待所有过程结束,事后总结所有转折点
3)Temporal difference update(算法:Qleaning, Sarsa)
过程中每一步都总结一下
4)On policy(算法:Sarsa, Sarsa lambda)
必须亲自参与
5)Off policy(算法:Qleaning, Deep-Q-Network)
可亲自参与;也可以不亲自参与,通过观看其他人或机器,对其他人或机器进行模仿。
3.5、迁移学习
通俗解释:当你的机器用以上几种方式中任何一种方式学习完之后,你叫你的机器把学习后找到的规律(算法)给我牢记于心咯。然后换一种学习方式,让它继续学习,叫它用第二种方法学习的时候别忘了之前学习到的东西。连续用多种方法让你的机器学习,它肯定比猴更机灵。
专业解释:将一个已经开发过的任务模型(源域)重复利用,作为第二个任务模型(目标域)的起点。深度学习中会经常用到迁移学习,迁移时(复用时),可以全部使用或部分使用第一个模型(源任务模型),当然这取决于第一个模型的建模逻辑是否允许。迁移学习是特别好的降低(获取样本数据、打标签)成本的方法。
1)样本迁移法
看看目标域的样本数据跟源域中训练数据哪部分相似,把目标域中这部分样本数据的特征值照着相似的源域中的样本数据的特征值调整,尽量调到一样,然后再把调过的数据权重值提高。这个方法是最简单的迁移学习方法,不过人工去调,如果经验不足,容易造成极大误差。
2)特征迁移法
找到源域同目标域的数据中的共同特征,将这些共同特征的数据都放到同一个坐标空间里,形成一个数据分布。这样就可以得到一个数据量更大且更优质的模型空间。(之前提到很多模型算法对输入数据分类时都要依靠模型里虚拟的空间,这个空间的质量越好,分类效果越好)。
3)模型迁移法
源域的整个模型都迁移到目标域。最完整的迁移,但是可能会因为源域模型的特有的那些对目标域来说没有的数据、特征、特征值等,在目标域中反而会有干扰效果(类似与“过拟合”)。
4)关系迁移法
当两个域相似时,可以直接将源域的逻辑网络关系在目标域中进行应用。比如我们将人的大脑神经网络的逻辑关系迁移到AI神经网络中,因为从逻辑上这两者我们觉得是一样的。
3.6、深度学习
深度学习可以理解为是多个简单模型组合起来,实现多层神经网络,每层神经网络(也可以叫做神经元)处理一次数据,然后传递到下一层继续处理。这种多层的结构比起浅层学习的模型优势在于,可以提取出数据特征(无需人工提取)。“深度”并没有绝对的定义,语音识别的模型中4层神经网络就算深了,但在图像识别的模型中,20层也不算很深。
1)DNN深度神经网络
深度神经网络是深度学习最基础的神经网络。有很多层(每一层为一个神经元)从上往下排列,每一个层相互连接。有个缺点就是,正因为每一层之间连接起来,出现了参数数量膨胀问题。这样的情况下容易过拟合(实现了局部最佳但整体拟合不佳)。
2)CNN卷积神经网络
卷积神经网络有“卷积核”,这个“卷积核”可以作为介质连接神经元,用“卷积核”连接神经元时就不需要每一层都连接了。
3)RNN循环神经网络
因为DNN还有一个缺点,无法对时间序列上发生的变化进行建模,如果在语音识别、自然语言处理等应用中使用AI模型时,数据的时间顺序影响很大。所以RNN就出现了,RNN能弥补DNN的缺点,可以在时间序列上发生的变化进行建模。
4、重要的关键词解释
4.1、拟合
拟合是用来形容训练结束后效果好坏的。
1)欠拟合
当训练数据少、数据质量差的时候,训练出来的模型质量就差(或者说损失函数过大),这时进行测试的时候,就会出现误差大,即“欠拟合”状况。
2)过拟合
在训练阶段,反复用同样的训练数据进行训练,可以让训练效果变得更好(损失函数小),但同时机器会因为要达到最好的训练效果,将训练数据中不重要的特征或只有训练数据才有的某些特征进行利用得太重或开始学习不需要的细节,也就是说机器对训练数据太过依赖,最后就会出现在训练数据上表现特别好,但在其他数据上表现不佳。这样的情况叫做“过拟合“。
3)最佳拟合
欠拟合、过拟合都不是我们需要的。我们要的是最佳拟合。所以我们在训练机器时要注意平衡。最佳点在哪里呢?最佳点在训练的损失函数还在减小,而测试的损失函数在减小之后突然开始增大的该点上。此时我们就达到了“最佳拟合”。
4.2、泛化性
训练好的模型在其他数据上的表现好坏用泛化性形容。在其他数据上表现越好,泛化性越高。
4.3、损失函数
用于评估“不准确”的程度,它是衡量模型估算值和真实值差距的标准。损失函数(loss)越小,则模型的估算值和真实值的差距越小,通常情况下我们要把loss降到最低。
4.4、香农熵
形容信息量大小。机器学习中重要是用于衡量特征的数量多少。一个数据的特征越多,说明我们可以从这个数据中获得的信息越多,也就可以说香农熵高。顺便提一下,决策树的生成过程,就是降低香农熵的过程。
4.5、标签
指给数据标记的答案。标记好答案的数据叫做“标签数据”。
4.6、特征值
特征(feature)的值。比如房子有特征(feature):空间、价格。它的特征值:(空间)200平方米、(价格)1500万。一般在机器学习的监督学习中,我们需要对训练数据进行特征提取的处理(可以把这个过程叫“标记数据”),即标记好每个数据有哪些特征和对应特征值。
当特征值损失的情况:
在实际的机器学习过程中,有时候会发生数据缺失的问题,比如一个数据有X个特征,但是由于意外发生,我们只得到部分(小于X)特征的值,在这种情况下,为了不浪费整个样本资源,且可以顺利的继续机器学习,我们需要有一些弥补措施:1)认为设置某些特征的特征值(根据经验),然后利用;2)找到相似的另一组样本,用另一组样本的特征平均值代替缺失的特征值;3)用其他的机器学习模型专门针对缺失的特征值进行学习然后利用该模型找出缺失特征值;4)使用已有特征值的均值来替代未知特征值;5)在机器学习过程中用一些方法,让机器忽略已缺失特征值的数据。
4.7、类别
物以类聚人以群分,特征相同的数据就是同一类别。机器学习中特别重要的一个步骤就是利用算法将数据分类(学习算法里边会提到多种实现数据分类的算法),机器会尽量将所有输入数据进行分类,分类的逻辑就是通过数据的“特征”,特征接近的数据会被机器认为是同一类别的数据。
4.8、分类&聚类
分类是目前最简单也是效果最好的一类算法(比如KNN、决策树ID3、logistic回归、SVM等都属于分类算法)。分类算法的前提条件是训练数据必须带有标签。
聚类是目前相对分类更复杂同时效果更差的一类算法(无监督学习就是用聚类算法)。聚类算法的优势是可以训练数据不需要标签。表面上看来分类算法比聚类算法好用很多,那我们还要用聚类算法的理由是什么呢?其实,在实际情况下,训练机器时,要给数据打标签是个人工消耗极大的工作,不仅工作量大,很多时候对数据打准确的标签难度也大。
4.9、决策树
根据数据的特征值对数据进行不断分支,直到不可再分支(附 决策树形象图)。决策树的每一次对数据分支,就消耗一个特征值。当所有特征值消耗完后,决策树成形。决策树的每一个节点,即每一次对特征分支时,通常以yes/no的判断形式进行划分(所以才叫“决策树”嘛)。决策树帮助机器对数据进行分类(根据特征,决策树的分裂点即特征分别点),决策树形成后,满足一条分枝上所有分裂点条件的为同一类数据。要注意的是,有时候决策树分枝太长,会导致过拟合。因为决策树很可能把训练数据中不太有代表性的特征放在分裂点上,这样形成的决策树不适应与训练数据之外的数据了。如果出现这种情况,需要“剪枝”,枝越长,说明模型可能越依赖训练数据,在枝的长短上,要做一个平衡,平衡的原则请参考本文提到的“欠拟合”与“过拟合”的关键词解释。
我们用最简单的决策树二叉树抽象示意图来表达我们招聘产品经理时的一个面试判断过程:
有时候分裂点上有数值判断,这些数值都叫做“阈值”。在决策树中,对阈值的使用越合理,训练形成的决策树效果越好,用在数据上越精确。请查看简化决策树示意图2:
4.10、知识图谱
知识图谱是模拟物理世界的实物与实物之间的关系,知识图谱呈现为无限扩散的类网状结构。它的结构组成为“实体”–“关系”–“实体”,以及“实体”–“属性”–“值”。知识图谱使得AI找到一个信息时,同时也获得了更多跟跟这个信息相关的其他信息。希望大家可以具体去看知识图谱相关书籍,该知识还是相对容易看明白的。
知识图谱简化示意图:
其中“老狼–女朋友–斯嘉丽约翰逊”,就是实体–关系–实体,“老狼–生日–3月29”和“斯嘉丽约翰逊–罩杯–D”就是实体–属性–值。举一个利用知识图谱的常见栗子:当有人问AI:“老狼有女朋友吗?”AI有自然语言处理的支撑,就可以识别到这个人在向它提问,且在询问老狼的女朋友这件事。同时有知识图谱的支撑,AI就可以准确回答:“老狼有个叫斯嘉丽约翰逊的女朋友,是个D罩杯的美女呢。”
5、基础技术
5.1、语音识别(ASR)
一句话定义就是:将人类声音转化成文字的过程。
按识别范围分类为“封闭域识别”和“开放域识别”。封闭域识别:在预先指定的字/词集合内进行识别。如此可将声学模型和语音模型进行剪裁,识别引擎的计算量也变低。可以将引擎封装于嵌入式芯片或本地化SDK,脱离云端,且不会影响识别率。开放域识别:在整个语言大集合中识别。引擎计算量大,直接封装到嵌入式芯片或本地SDK中,耗能高且识别效果差,所以一般都只以云端形式提供。(更详细的介绍可看文末分享的脑图)
5.2、计算机视觉(CV)
一句话定义:计算机对生物视觉的模拟。通过采集图片、视频进行处理,以获取相应场景的三维信息。
计算机视觉的三步骤为成像、早起视觉、识别理解。其中成像原理跟相机原理相同,成像质量受光照影响、模糊、噪声、分辨率的影响,我们需要去找到好的方法来解决光照、模糊等问题。早期视觉又有图像分割(将特定影像分割成“区域内部属性一致”而“区域间不一致”的技术)、边缘求取(找到图像中的亮度变化剧烈的像素点构成的集合,即找出轮廓)、运动及深度估计三种方法。识别理解是最后一步,即把一张图片对应到一个文字或标签(根据机器找到的映射关系得出输出)。
计算机视觉的三种应用介绍:人脸识别、多目标跟踪、光学符号识别。
1)人脸识别的技术流程:人脸采集–人脸检测–图像预处理–特征提取–人脸匹配与识别。在实际流程当中,每一个环节都有对应的注意事项,详情请看老狼在文末准备的脑图。
2)多目标追踪的技术流程:图像采集–图像预处理–基于深度学习的多目标检测识别–多目标跟踪–输出结果。在实际流程当中,每一个环节都有对应的注意事项,详情请看老狼在文末准备的脑图。
3)光学符号识别的技术流程:图像采集–图像预处理–特征提取–文字定位–光学识别。在实际流程当中,每一个环节都有对应的注意事项,详情请看老狼在文末准备的脑图。
5.3、自然语言处理(NLP)
一句话定义:自然语言处理(NLP)是指机器理解并解释人类写作、说话方式的能力。
NLP又包含NLU(自然语言理解)、NLG(自然语言生成)。自然语言处理中最重要的3个环节是分词、锁定关键词、文本相似度计算。因为目前机器的语言识别其实都是基于对词的识别,任何句子进行自然语言处理时第一步都是要分词,比如:“我是产品经理”,分词后变成“我-是-产品-经理”。分词之后,要找到“关键词”,“关键词”是提供重要信息、最多信息的词,比如在“我是产品经理”句子被分词后,机器会选择“产品”、“经理”为该句子“关键词”。文本相似度有欧氏距离、曼哈顿距离等算法,详情看老狼的脑图。
6、技术分层
从技术实现的效果的角度将AI技术进行分层:1)认知,通过收集、解析信息对世界和环境进行认知。包括图片处理技术、语音识别、自然语言识别技术。2)预测行为和结果。比如在用户行为研究的基础上根据对用户当前行为的识别,预测用户下一步想做什么,然后主动满足用户。3)确定实现的方式和路径。比如AI代替医生给病人看病,得出病症和治病方案。
7、AI的常用语言及框架
市场上有的AI框架包括TensorFlow、Caffe、Torch、Theano等等,目前大部分工程师利用的是Tensorflow。AI编程可以利用多种计算机语言,目前最常用的是C++和python。
想要实操练习的小伙伴,到Google官方网站,按照官方的教程安装TensorFlow,安装好之后,你就可以用它提供的多个API来训练机器学习模型了。
8、AI的价值
互联网的价值在于降低成本、提高效率;而AI 可以替代人力,让成本直接为0,其蕴含的市场价值比互联网技术的市场价值更高。
(未完待续)
如何转行/入门AI产品经理?
现在社会上大模型越来越普及了,已经有很多人都想往这里面扎,转行/入门AI产品经理,但是却找不到适合的方法去学习。
作为一名资深码农,初入大模型时也吃了很多亏,踩了无数坑。现在我想把我的经验和知识分享给你们,帮助你们学习AI大模型,能够解决你们学习中的困难。
我已将重要的AI大模型资料包括市面上AI产品经理入门手册、AI大模型各大白皮书、AGI大模型系统学习路线、AI大模型视频教程、实战学习,等录播视频免费分享出来,需要的小伙伴可以扫取。

一、AGI大模型系统学习路线
很多人学习大模型的时候没有方向,东学一点西学一点,像只无头苍蝇乱撞,我下面分享的这个学习路线希望能够帮助到你们学习AI大模型。
二、AI产品经理入门手册
三、AI大模型视频教程
四、AI大模型各大学习书籍
五、AI大模型各大场景实战案例
六、结束语
学习AI大模型是当前科技发展的趋势,它不仅能够为我们提供更多的机会和挑战,还能够让我们更好地理解和应用人工智能技术。通过学习AI大模型,我们可以深入了解深度学习、神经网络等核心概念,并将其应用于自然语言处理、计算机视觉、语音识别等领域。同时,掌握AI大模型还能够为我们的职业发展增添竞争力,成为未来技术领域的领导者。
再者,学习AI大模型也能为我们自己创造更多的价值,提供更多的岗位以及副业创收,让自己的生活更上一层楼。
因此,学习AI大模型是一项有前景且值得投入的时间和精力的重要选择。