人工智能学习

数学基础：

线性代数：scalar, vector, matrix, tensor

概率论：条件独立，条件概率，数据期望，P

导数：极限值，极小点，极大眯，鞍点，梯度下降

深度学习理论：正向传播、反向传播、计算损失，更新参数（模型与训练数据集不断拟合）

数据集：训练集，验证集（8：2分），预测集。

案例：识别验证码【预测结果，可信度（概率）】，车牌端到端识别，手写数字识别

 

规则+数据=》传统编程=》答案

数据+答案（带结果标注的数据）=》机器学习=》规则

机器学习的对象：

带标签训练数据=》训练集【80%】+训练-》规则/模型=》验证集（20%）=》无标签的测试数据/预测集=》答案

 

机器学习分类：按任务类型分类=》回归问题+分类问题+聚类问题+降维问题

按学习方式分类：有监督学习【分类+回归】+无监督学习【聚类+降维】+强化学习【评价学习，再励学习，动物和人类，条件反射】【奖励：增加发生概率，惩罚：减少发生概率】

机器学习方法三要素：机器学习方法=模型（业务建模，数学表达）+策略（损失函数，拟合）+算法（求解，梯度下降法，牛顿法推导）

模型评估：准确率、精度，召回率（recall，查全率）

 

 

回归模型

分类模型：朴素贝叶斯、决策树

聚类模型：高斯混合聚类

降维模型：奇异值分解

深度学习：词向量模型Word2Vec， Doc2Vec， 深度神经网络模型。

 

单层神经网络：Input layer=》output Layer

多层神经网络：Input layer=》Hidden Layer=》output Layer

循环神经网络：Input layer=》Hidden Layer=》Hidden Layer=》output Layer

带反馈

====================

计算机自主从数据中归纳出模式和规则。

传统程序：人类识别现象，分析和设计出规则，然后处理新数据。

智能程序：智能框架从数据中分析学习，然后归纳出规则和模型，然后处理新数据。

智能框架建立模型的方式：分类、回归，聚集、降维，评价和反馈（强化学习）。

 

产品经理发现现象，然后改进，不断提高指标。

后面是数据越来越多，不断观察数据，然后分析和设计规则，发现这方面不如让一个AI程序来处理，自己总结规律，从数据中学习出来的规则，比产品经理设计出来的规则更好。

优点：面对新规则时，大量规则的维护时，24小时不知累，

 

计算机自身根据人类输入的数据等信息制订规则，而非由人类对其施予的规则。

在机器学习中，计算机以人类给予的不太完善的规则和和数据为基础，对其不断进行完善和调整，我们将这一过程称为学习。

监督学习：事先给予计算机正确敏据，然后使其自动学习规则和模式的方法。

学习阶段，预测（predict）阶段。

 

监督学，分类

无监督学习，分割

强化学习，学习行动模式，条件反射，操作性学习。

强化学习：

马尔可夫决策过程（Markov Decision Processes,MDPs）MDPs 简单说就是一个智能体（Agent）采取行动（Action）从而改变自己的状态（State）获得奖励（Reward）与环境（Environment）发生交互的循环过程。MDP 的策略完全取决于当前状态（Only present matters），这也是它马尔可夫性质的体现。

 

卷积神经网络中每层卷积层（Convolutional layer）由若干卷积单元组成，每个卷积单元的参数都是通过反向传播算法最佳化得到的。卷积运算的目的是提取输入的不同特征，第一层卷积层可能只能提取一些低级的特征如边缘、线条和角等层级，更多层的网路能从低级特征中迭代提取更复杂的特征。

 

深度学习，多阶段验证，多层。

我们将隐藏层为两层及以上的神经网络的学习称为深度学习。多层神经网络，循环神经网络。

最低数据量，让计算机学习由人类制作少量优质数据，并利于其模型制作大量的监督数据。

 

机器学习：向系统提供数据（训练数据或学习数据）并通过数据自动确定系统的参数（变量值）

该不该缓存，远程调用，中断，这些都要根据多种条件作出决策，多项数据，全部记录入，然后学习决策是否远程调用。

 

TensorFlow=Tensor（张量）+Flow（层之间的流动，数据流图）

人工智能=》机器学习=》深度学习，神经网络的新称谓深度学习。

numpy，MNIST 数据集，Keras

====================

动手学人工智能：

斯坦福大学吴恩达机器学习公开课：欢迎参加《机器学习》课程

https://haokan.baidu.com/v?vid=4881698990612435335&pd=bjh&fr=bjhauthor&type=video

 

 

机器学习导论(ML Zero to Hero, part 1)

https://www.youtube.com/watch?v=KNAWp2S3w94&list=RDCMUC0rqucBdTuFTjJiefW5t-IQ&index=1

 

 

TensorFlow 教程

https://www.tensorflow.org/tutorials/

https://www.tensorflow.org/tutorials/quickstart/advanced

端到端的开源机器学习平台，

TensorFlow 是一个端到端平台，无论您是专家还是初学者，它都可以让您轻松地构建和部署机器学习模型。

 

TensorFlow与Github

https://github.com/tensorflow

https://www.tensorflow.org/js

 

基本分类：对服装图像进行分类

https://www.tensorflow.org/tutorials/keras/classification?hl=zh_cn

https://github.com/tensorflow/docs-l10n/blob/master/site/zh-cn/tutorials/keras/classification.ipynb

 

 

飞桨

https://www.paddlepaddle.org.cn/

飞桨(PaddlePaddle)是集深度学习核心框架、工具组件和服务平台为一体的技术先进、功能完备的开源深度学习平台，已被中国企业广泛使用，深度契合企业应用需求，拥有活跃的开发者社区生态。提供丰富的官方支持模型集合，并推出全类型的高性能部署和集成方案供开发者使用。

 

 

 

=============

什么是机器学习：

在特定狭窄的领域，在数据中学习规则。

传统程序是：输入数据+规则=输出答案

人工智能是：输入大量训练+答案/结果（有标注，无标注，评价反馈改进【条件反射】，输入和答案/结果有强弱关联）=规则模型

 

推荐算法：分类-》搜索-》推荐，导航将越来越少，让信息到人。

推荐系统是AI非常的切入点。

 

产品=》理论=》框架代码=》应用场景=》工作和招聘+GPU，5个方面都了解，算是阶段性告一段落。

 

https://keras.io/zh/initializers/

 

 

 

 

================

《深度学习推荐系统》，王喆

男士看到的天猫，女士看到的天猫，应该是不一样的。

 

 

度量和评估（评估指标）过后，才有改进

知识图谱和知识架构

四项能力，岗位对能力的要求。

目录：为什么，之前，当下，介绍，评估，知识图谱，发展历史时间线，技能需要。

作者是学霸，写作表述能力，图形化能力很强。

 

====================

《AI超级入门》

《简明的TensorFlow2》

《深度学习与TensorFlow 实战》

《深度学习推荐系统》

《PyTorch边做边学深度强化学习》

《深度学习实战之PaddlePaddle》

《机器学习基础，从入门到求职》

 

 

工作职责
1、负责核心推荐、搜索引擎的系统设计与架构演进，结合业务场景需求进行设计优化和问题发掘，并针对性进行架构设计，不断提升系统的稳定性、效率，支持策略和业务的高度迭代，提升系统效果；
2、结合产品业务、策略迭代、深度模型演进的等多方面的需求，对数据流处理、离线数据生成、在线检索推荐等系统中进行架构优化以及新模块的设计落地工作，提升业务策略的承载与迭代效率；
3、挖掘系统瓶颈，通过代码与设计优化、多机房服务部署等工作，提升系统的稳定性、处理速度以及优化资源等工作。
职位要求
1、精通Java语言编程，熟悉linux开发环境，具备扎实的数据结构和算法功底以及优秀的编码能力，5年以上的服务端工作经验；
2、具备服务端大型分布式系统研发经验，对解决具有挑战性问题充满激情，快速定位分析系统异常和解决问题的能力；
3、较强的责任心、良好的沟通能力和团队合作精神。
具备以下一项或多项加分：
a.大型互联网公司主持或参与过搜索、推荐、广告投放系统的核心系统研发工作
b.大型分布式系统的演进、异常定位与发现、资源优化等有相关经验
c.机器学习，数据挖掘，深度学习方面具备经验，对算法应用、特征工程或训练平台等方面的实践