阿里ACA学习记录

阿里ACA学习记录

阿里云人工智能助理工程师认证(ACA)

阿里动人工智能则理工程师认班(ACA)是西向人工智能技术致好者,入n学习都的专业技术认近,主要涉及人工奢能

群论,深硬学习排经网络及TnSOFlou基,阿里云机器学习与深学习开发平台P,阿里人工智跨,是对学

员入门人工智能基础,以及拿握阿里云人工智能产品技能水平的全面检发和能力认证,

五仅女持持有中国大违胃份证用参与,每次购买两次考试小会,认近也可反复购实,他呵一长号一以狂可领取~次证书

认证包价格

￥600

立即考试

购买认证

动手实验

官方认证

视频课程

得示:购天认证(或使用接权码兑换)后才可参与考

可在页面下方的课程学习

可在后台领取电子证书,

可获得认证相关实验课学

试,本商品不支持退款,如有待抹原因导动退款,订单

区域学习相关视频课程

习要消耗的沙箱点

作为您的专业凭证

对应的相关服务及数据记录将随退款作废.

课程目标
人工智能的定义、起源、发展阶段
当前的研究方向和发展趋势
人工智能的主要行业应用
机器学习的定义，主要类别
人工智能、传统机器学习、深度学习的联系与区别
深度学习技术体系
软硬件栈
深度学习的开发过程
常用开发工具
自然语言处理
图像智能处理
语音识别
知识图谱
应用场景

1.1人工智能概述
定义
基于不同维度的多种定义
定义一，计算机科学的一个分支，了解智能的实质，生产出一种新的能以人类智能相似的方式做出反映的智能机器
定义二，研究和开发用于模拟、延申和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学
定义三，智能体的某一特性方面呗精确的加以描述，使得机器可以对其模拟

人工智能与人类智能
图灵测试，1950，“Computing Machinery and Intelligence”论文

人工智能起源

人工智能起源

人工智能的理论基础

人工智能的发展得益于上个世纪逻辑科学,计算机科学,信息论,控制论等多学科的发展和交汇

人工智能基于一个基本假设,认为人的思维活动是可以用机械的方式替代和完成

数学原理

哥德尔的

希尔伯特的

图灵机

罗素和怀德海

不完备定理

宏伟构想

人工智能发展历史

达特茅斯会议,现代AI的诞生(1956年)

.AI的第一个浪潮(1956年-1974年)

AI的第一次寒冬(1974年-1980年)

.AI重整旗鼓(1980年-1987年)

.AI再次入冬(1987年到1993年)

实用型,功能型的AI(1993年以后)

深度学习,神经网络发展,人工智能第三次热潮(2006年以后)

专家系统，感知机，两大流派

早期发展热潮

专家系统

1956年-1974年

符号主义

基于逻辑推理的智能模拟方法模拟人的智能行为

专家系统:内部含有大量某个领域专家水平的知识和经验,利

用人类专家的知识和解决问题的方法处理领域问题

感知机

连接主义

TnpUteMATPHTS

主张模仿人类的神经元,用神经网络的连接机制实现人工智能

sheTpfan.tion

感知机:早期神经网络

w

t2

工元

第一次寒冬

1974年-1980年

算法局限NP难

局限性:人工智能所运用的数学模型和数学手

段被发现是有理论缺陷的,被认为是玩具模型

算力不足:在很多计算问题里面都有一个计算

StephenCook

复杂度的瓶颈,使得很多计算任务以指数级增

加复杂度

模型局限

RichardKarp

MarvinMinsky

多层神经网络和反向传播算法推动，但是只能在特定领域比较好，限制了发展

第二次发展热潮

多层神经网络

1980年-2000年

统计学派发展

统计学派取代专家系统

?机器学习

多层神经网络逐步发展,用于模式识别

反向传播算法出现,加速神经网络发展

反向传播算法

功能型,实用型AI

Hiddenlayer

Outputlayer

Inputlaycr

第三次发展热潮

摩尔定律

2006年至今

MOORE'S

TLLW4TESEENEPOON-124000009

LAW

新的数学工具与理论引

1Q800500

-Al岭店NU

卷积神经网络

4M(8491140000

餐5776

sjojsisue

8061330000

循环神经网络

Are(cv饭r2690

inte

计算能力的快速增加

40利

17酒

3009

CPU的发展

GeoffreyHinton

GPU,TPU的出现

ConvdlutinalNeuralNetworks(CNNs)

祥啤WESIOLCTTMNHRTE333S63200300

大数据的广泛应用

旺启省磨营咖店卖WaxAbolng

Shaed新ehis

大规模数据采集,存储和分析称为可能

Sawe6omecthne

odo

一-8

中*00000

机器学习之神经网络深度学习

809

-*0oooo

挑战：数据质量不高，没有明显的标识，考虑用半监督学习，无监督学习等方法解决

人工智能研究未来发展

研究发展趋势

.图像,视频,文本等生成与处理仍然是重要发展方向

半监督学习

物螨AI与

5G技术发展促进物端计算,AI与物端结合

自监督学习

边缘计算

AI框架本身基于人工智能方法优化

无监督学习

人工智能

发展

深度学习与推荐

AutoML:自动

网络结构搜索

系统整合

课程目录

1.人工智能简介

2.人工智能行业应用

2.5机器翻译

2.1应用概览

2.6知识图谱

2.2图像识别与物体检测

CONTENT

2.7机器人

2.3人脸识别

2.4智能语音交互

人工智能应用概览

四大应用领域:主要涉及语言,语音,文本,图像,自动控制等多领域

人工智能应用领域

图像处理

自然语言处理

机器人

智能语音交互

语音转换

图像分类

分词,实体,词性处理

物体检测

机器翻译

语音合成

人脸识别

知识图谐

图像识别与物体检测

自动驾驶

综合应用图像识别,物体检测等人工智

能技术,自动化控制汽车驾驶过程

感知应用

障碍物检测

交通标线识别

MediatedPerception

信号灯识别

lnputlmage

认知应用

DrivingControl

BehaviorRellex

驾驶行为规划

DircetPerccptiontours)

驾驶路径规划

人脸识别

人脸识别门禁,考勤

借助于人脸识别完成门禁准入和考勤打卡

人脸门禁

人脸考勤机人脸对比

智能门锁

人脸闸机

人脸检票

民航,高铁等行业使用人脸识别完成检票工作

安防行业

视频监控与对象检测,识别

智能语音交互

智能客服

基于语音识别和语音合成,提供行业客服功能

回答用户常见问题,有效节省人力开销

直播字幕

现场演讲场景,直播场景下,基于语音识别和语音转换,

将视频中的音频实时转写成字幕

支持实时转换和离线转换

直播场景下,还可以进一步对内容进行监控

机器翻译

信息交流

MCa

国际旅行,交流与贸易:口语翻译,文字翻译

信息发布

5性药

新闻,法律,公告,产品说明翻译

信息检索

跨语言检索

hald物年p号

poodoaoooa

AOdOOa:

a0OR

知识图谱

语义检索

.提供即问即答,提供多维度属性与信息

情报分析

检查不一致性信息实现公安情报分析,反欺诈情报分析

GODTI

m庆x

省款人

提供祖保

期有

136778990a

年宝日22年8赔

街敏人

朋友

强xx

镇名棉而年号啤肉街年9*5798

美人限响

韩用子

Y微

#x

A公司

BillGates

现在可伟

姚用子

款人

B公司

机器人

人工智能机器人

基于人工智能技术为机器人增加图像识别,物体检测,

语音转换等智能功能

应用领域

Artificial

Robotics

Intelligence

物流机器人:物体检测,路径规划

安防机器人:图像识别,实体跟踪

Artificially

翻译机器人:语音识别,机器翻译

Intelligent

Robots

1.2从机器学习到深度学习

阿里云大学

1.2从机器学习到深度学习

课程目录

1.1人工智能,机器学习与深度学习

1.2机器学习定义

1.3机器学习类型

1.4传统机器学习与深度学习

人工智能,机器学习与深度学习

一个目标

人工智能

三者统一:给机器赋予人的智能,让机器能够像人一样地思

考问题,做出决策

机器学习

两种途径

机器学习是实现人工智能的一种途径,让机器使用算法解析

数据,从中学习数据特征,并进行归纳判断

深度学习

深度学习是机器学习的一类重要方法,采用多层非线性函数

(即神经网络)学习数据特征,并进行判断,属于机器学习

解决图像,语音,文本等领域问题的一个重要分支

机器学习定义

机器学习

通过计算的手段,利用已有的数据(经验)开发可以用来对新数据进行预测的模型

主要研究能产生模型的算法

主要分类

基于学习方式的划分

基于学习策略的划分

机器学习

u

根据学习策略是否基于经典

根据学习是否需要输入数据,

分类

数学原理还是模拟人脑感知

以及输入数据是否需要标注

进行划分

进行划分

基于学习方式的划分

机器学习类别

无监督学习

5

有监督学习

强化学习

基于学习方式划分

有监督学习

输入数据

SupervisodLoacning

Data

为"训练数据",组训练数据有明确标识

学习过程

Neqve

将预测结果与"训练数据"的实际结果进行比较,

Training

不断调整预测模型,直到模型预测结果达到一个预

2BM中学物剂家小中

期的准确率

Modol

应用场景

库EK锅店6

分类,回归

Likethoodolmodcl

P(DIM

无监督学习

输入数据

Supervisedlearning

Unsupervisedlearning

并不被特别标识

学习过程

不存在目标变量,基于数据本身去识别变

量之间内在的模式和特征

应用场景

?关联分析,聚类

强化学习

一种机器学习方式

以"试错"的方式进行学习,通过与环境进行交互获得的奖赏指导行为,目标是使智能体获得最大

的奖赏或实现特定目标

输入数据

不要求预先给定任何数据,通过接收环境对动作的奖励(反馈)获得学习信息

输出

状态

模型参数调整

奖赏:

应用领域

环境

Acent

机器人控制,计算机视觉,自然语言处理

动作

基于学习策略的划分

基于

传统机器学习

学习策略

划分

基于统计,概率,线性代数等数学原理,通过分

析输入数据的模式,进行判断与预测

深度学习

机器学习的一个重要分支

通过模拟人类大脑感知与组织的工作方式,通过

人工神经网络构建,分析输入数据,进行判断与

预测

传统机器学习

深度学习

传统机器学习与深度学习

问题领域对比

传统机器学习

深度学习

分类:例如垃圾邮件识别,故障预

图像识别:例如图像分类,物体检

测等

测等

语音交互:例如语音转换,语音合

回归:例如销售预测,股市预测等

成等

自然语言处理:例如机器翻译,

聚类:例如用户画像

文本识别等

协同过滤:例如推荐系统

传统机器学习与深度学习

主要算法对比

深度学习

传统机器学习

分类:决策树,逻辑回归,随机森

图像识别:卷积神经网网络

林等

语音交互:循环神经网络,LSTM

回归:线性回归,岭回归等

自然语言处理:循环神经网络,

聚类:k-means,DBSCAN等

LSTM

协同过滤:Apriori,SVD等

传统机器学习与深度学习

技术栈对比

传统机器学习

深度学习

SparkMLlib,MaReduce

TensorFIow,PAI等

分布式开发框架

Mahout

TensorFlow,PyTorch,KeraCaffe

Sklearn

单机开发框架

PAI

编程语言

PythonC++

PythonC++Scala

硬件支持

CPU

CPU.GPU,TPU

执行时间对比

传统机器学习

深度学习

MB.GB级数据

GB,TB级数据

数据量

分钟级到小时级

执行时间

小时级到天级

1.3深度学习开发概览

阿里云大学

1.3深度学习开发概览

理论研究

深度学习技术体系

开发技术

算法知识

数学理论

软件

神经

硬件

机器

微积分

信息论

图论

线性代数

学习

开发

网络

概率

开发

深度学习理论基础研究

算法研发

深度学习技术体系

开发技术

数学理论

算法知识

神经

硬件

机器

信息论

微积分

软件

图论

网络

学习

线性代数

开发

概率

开发

深度学习算法研发

新模型

新算法

新网络结构

开发技术

深度学习技术体系

算法知识

数学理论

开发技术

机器

神经

硬件

信息论

微积分

软件

图论

开发

学习

开发

线性代数

概率

网络

深度学习框架与应用开发

深度学习开发框架

深度学习加速硬件

深度学习运行平台

深度学习应用

开发技术软件栈

典型代表

技术维度

开发语言

PythonC++.Scala

TensorFlow

Keras

开发框架

PyTorch

Caffe

深度学习软件技术栈

阿里云PAI平台

PAI-DSW

开发平台

PAI-Studio

PAI-EAS

阿里云人工智能产品:机器翻译,语音识别,图像识别等

API服务

课程目录

1.深度学习技术栈

2.深度学习开发过程

2.1总体流程

2.2数据准备

2.3特征工程

2.4模型设计

2.5数据预测

3.深度学习开发工具

总体流程

模型设计

数据预测

数据准备

特征工程

日b

数据集准备,包含

依赖数据的收集和

选择和提取合适的

使用获得的模型进

被标识的和未被标

特征提取,根据一

特征进行模型构建

行预测

定算法设计模型

识的数据

数据准备

采集数据,准备用于学习训练的训练数据集用于测试验证的测试数据集

对于监督学习,还需标注数据

数据预处理,例如图片灰度化,语音数据转换,数据整合等

标注为猫

cat.12493.jipg

cat.12495.jpg

cat.12494.jpg

cat.12492.ipg

cat.12496.jpg

标注为狗

dog.ijipg

dog.4.jpg

dog.2.ipg

dog.3.jpg

dog.5.jpg

特征工程

提取图片特征

Originalimage

深度学习的重要步骤

将领域知识输入特征提取器,降低数据复杂度,

使数据中的模式对学习算法更加明显

Horizontalgradients

使用算法或依据经验知识提取待分析数据的主要

特征

?以图像为例,提取像素值,形状或纹理等

Verticalgradients

模型设计

判断待分析问题所属类别,例如图片识别,语音识别,自然语言处理

依据现有算法或自行构建算法模型,即定义一系列函数

.通过在数据集上训练,获得模型参数,评估函数好与坏,即计算函数误差

Model

Asetof

'mongr

function

J...

Betterl

)-dog

GoodnessOf

functionf

supervisedLearning

functioninput:

Training

Data

functionoutput:"monkeycat""dog"

数据预测

使用训练好的模型

对新输入或新产生的数据进行预测,例如图片分类,器翻译等

对新输入的语音进行识别

)"Howareyou"'

对新输入的图片进行识别

)-"Cat"

S

开发工具概览

上手难

开发语言

API层次

部署模式

开发形式

开发框架

面向领域

易程度

大规模服务器,

高层和底层

深度学习神经网络

代码开发+模型调用

Python

移动端,嵌入

TensorFlow

较难

API

式

高层API

中等

深度学习神经网络

小规模服务器

Python

代码开发+模型调用

Keras

高层和底层

代码开发+模型调用

深度学习神经网络

PyTorch

较难

小规模服务器

Python

API

高层和底层

较难

深度学习神经网络

Caffe

代码开发+模型调用

小规模服务器

C++

API

拖拽式开发+模型调

传统机器学习

中等

云上部署

阿里云PAI

高层API

Python

深度学习神经网络

用

各种人工智能应用场景:人脸

Python,

阿里云人工智

容易

云上部署

调用API服务

应用API

识别,语音识别,图像搜索,

Java++

能产品

机器翻译,自然语言处理等

PHP

TensorFlow

面向深度学习的框架

谷歌于2015年11月9日正式开源

38074

可以很好地支持深度学习神经网络的

各种算法

16701

1517

同时其应用也不限于深度学习

8534

1525188121860

1735165

前置知识

早u(Suxr)

Python开发

JderadeaTemtorlowaThehoaTorc

IGHEIDEEPTRrNNJMkcrowoCoritTocki

神经网络基础知识

Keras

高级神经网络API

.用Python编写的一个高度模块化的神经网络库

,能够以Tensorflow等作为后端运行,支持GPU和CPU

用户友好,高度模块化,可扩展性强

充许简单而快速的原型设计,支持快速实验

前置知识

Python开发

神经网络基础知识

PyTorch

Torch神经网络库在Python上的衍生

采用动态计算图(dynamiccomputationalgraph)结构

产生的tensor放在GPU中加速运算

前置知识

Python开发

神经网络基础

Caffe

基于C++的深度学习框架

.纯粹的C++/CUDA架构,支持命令行,Python和MATLAB接口

可以在CPU和GPU直接无缝切换

上手快,速度快;模块化

前置知识

C++开发

神经网络基础

CUDA开发

阿里云机器学习平台PAI(PlatformofArtificialIntelligence)

基于云的人工智能开发工具-PAI

我为传统机器学习和深度学习提供了从数据处理,模型训练,服务部署到预测的一站式服务

组件

云端交互式代码开发工具PAI-DSW

机器学习可视化开发工具PAI-Studio

模型在线服务PAI-EAS

前置知识

神经网络基础

阿里云人工智能产品

基于云的人工智能API服务

针对常见的人工智能应用场景提供API服务调用

人脸识别,自然语言处理,语音合成,图像识别等

用户直接调用AP拼发应用即可

前置知识

人工智能基础知识

1.4自然语言处理基础

阿里云大学

1.4自然语言处理基础

分类，自然语言理解和生成

自然语言处理

定义

自然语言处理(NaturallanguageProcessing,NLP)工智能和语言学领域的一个分支

研究如何处理及运用自然语言,让计算机利用信息的语义结构(数据的上下文)来理解人类语言

的含义

自然语言生成

自然语言理解

自然语言处理

aS

aS

问答系统

机器翻译

文本摘要

文本分类

知识图谱

情感分析

●自动化研究所取得的成就，自动化研究，所取得的成就，自动化研究所，取得的成就
●许多朋友送来的礼物，许多，朋友送来的礼物，许多朋友，送来的礼物
●修改方案，既可以是名词，也可以是动词
●代词回指，我你他

主要技术

自然语言理解

理解给定文本的含义

文本内每个单词的特性与结构需要被理解

特别处理

词法歧义性:单词有多重含义

句法歧义性:语句有多重解析树

语义歧义性:句子有多重含义

回指歧义性:之前提到的短语或单词在后面句子中有不同的含义

主要技术

自然语言生成

从结构化数据中以可读地方式自动生成文本的过程

三阶段

文本规划:完成结构化数据中基础内容的规划.

语句规划:从结构化数据中组合语句,来表达信息流

实现:产生语法通顺的语句来表达文本

对于英语才有词干提取，中文没有
“修改方案”是名词还是动词，就是词性标注
“我爱北京天安门”，其中“北京”就是命名实体识别
把单词组成短语就是分块

NLP和深度神经网络学习

基于神经网络的NLP处理

神经网络模型

设计模型

语料预处理

训练模型

预处理过程

命名实体

词干提取

词性标注

分块

分词

识别

NLP和深度神经网络学习

基于神经网络的NLP处理

神经网络的使用

递归神经网络

卷积神经网络

深层神经网络

循环神经网络

文本

词性

语义

问答

情感

实体

机器

句子

分析

解析

翻译

识别

分类

标注

系统

提取

课程目录

1.自然语言处理

2.自然语言处理应用

2.1情感分析

2.2机器翻译

2.3知识图谱

情感分析

目标

基于自然语言处理,对文本分词,停用词等处理,最后分析文本或文档的正负面评价

Y

-C

WWichdrsSnThehehcrprababolicyto

Y(

-C

888出

PISLpONSPOLND

9Foat

Love

-C

wecomsand

1augh

happy

 

机器翻译

目标

.根据输入文本或文档,通过自然语言处理和神经网络将其翻译成目标语言的文本或文档

神经网络

词性/结构

输出翻译

输入文本

调整语序

处理

文本

分析

lnput

SloteFulModel

Output

lnputai

Rocurrent

lnputa2

OutputValue

NewralNetwork

lnputn3

知识图谱

应用场景

更好地查询复杂的关联信息,从语义层面理解用户意图,改进搜索质量

MeindaGates

夫妻

际川

MALAD

GaKee

BA696t

知识抽取

基于自然语言处理完成非结构化数据的处理

实体命名识别:从文本里提取出实体,并对每个实体做分类/打标签

关系抽取:把实体间的关系从文本中提取出来

实体统一:有些实体写法上不一样,但其实指向同一个实体

指代消减:代词指向哪个实体

ksn

Tmes

NYC

ThishotelismyfavoriteHilton

Evont

propertyinNYCLtislocated

Locatedot

LoctodMoor

righton42ndstreetnear

Rostaurant

TimesSquareinNewYork,it

isclosetoallsubways

Close.to

Closo_to

Broadwaysshowsandnextto

clpso.to

greatrestaurantslikeJunior's

Onganaabon

B01se0y

Vamr

Cheesecake,Virglil'sBBQ

咖6:s

BBO

SWsa

自然语言处理时知识图谱的基础

知识图谱构建

构建过程

上层应用

知识图谱

数据收集

知识图谱

定义业务

保存

与预处理

设计

问题

开发

自然语言处理

实体命名识别

关系抽取

实体统一

指代消减

图像智能处理

定义

.计算机科学的分支领域,获取图像后,基于计算机技术处理,分析和理解图像

对图像中的客观对象构建明确而有意义的描述

基于感知图像做出对客观对象和场景有用的决策

输入来源:

输出

相机,摄像头,视频文件等

对图像或图像序列对应的

图像智能处理

图像或图像序列

真实世界的理解

图像处理:灰度化,

增强对比度,旋度等

图像智能处理

关键技术应用

图像分类

对象检测

图像智能

处理

目标跟踪

语义分割

图像分类

概念

对图像中主体对象的视觉外观进行判断,确定图像的类别

应用场景

智能相册管理,图像打标,图片场景分类,图片检索等

图像分类

关键技术

输入:由N个图像组成的训练集,共有个类别,每个图像都被标记为其中一个类别.

训练:使用卷积神经网络和训练集训练一个分类器,来学习每个类别的外部特征.

预测:使用训练的网络模型预测一组新图像的类标签

Pwn

999899290000009

JURSG1

Ph

Pw

maxpooling

conwdlution*

nonlineanity

fullycornectodloycrsNxbinaryclassification

对象检测

概念

对图像中的多个对象进行识别,为其输出边界框和对象标签,同时确定其位置

应用场景

自动驾驶,车辆检测,人脸检测,运动目标检测,安防视频分析

对象检测

关键技术

基于区域的卷积神经网络

.扫描输入图像,通过寻找可能包含对象的区域,再在这些区域上运行卷积神经网络识别对象

基于SVM输出对象的边界框

R-CNN

LinearREgressionforboundingboxoffsets

Classifyregionswith

Bboxreg

SVMs

SVMs

Bboxrce

SVMs

BboxreR

SVMs

Forwardeach

COnVN

replonthrough

COnVN

ConvNet

COnVN

Warpedimageregions

Regionsoflnterest

(Rol)fromaproposal

method(-2k)

lnputimage

相比与对象检测，可以提供大小，体积等更细粒度的信息

语义分割

概念

让计算机根据图像的语,从像索的角度分割出图)片中的不同对象,对原中的每个像素都进行标注

应用场景

地理信息系统,无人车驾驶,医疗影像分析,机器人等

山y8eD

@a1

语义分割

关键技术

全卷积神经网络技术

?卷积化,上采样,跳跃结构

输入是一张图片,输出也是一张图片,学习像素到像素的映射,端到端的映射

forward/inference

backward/lenrning

segmmentationg.e.

pixelwiseprediction

256A09A096元

256

目标跟踪

概念

在特定场景跟踪某一个或多个特定感兴趣对象的过程,即在一段视频序列中对所框定的目标进行持

久的鲁棒性追踪

应用场景

自动驾驶,视频分析

目标跟踪

关键技术

两大类方法

工作原理

方法

示例

从当前顿知道目标区域80%是红色,20%是绿色

在当前顿对目标区域进行建模

生成式方法

在下一烦寻找与模型最相似的区域,即是预在下一顿,搜索算法去寻找最符合这个颜色比例

测位置

的区域

基于图像特征和机器学习,在当前桢中以目

标区域为正样本,背景区域为负样本

训练时告诉分类器目标80%是红色,20%是绿色,

判别式方法

通过机器学习方法训练分类器

以及背景中有橘红色

在下一顿中用训练好的分类器找最优区域

阿里云大学

1.6语音识别基础

语音识别

定义

以语音为研究对象,通过语音信号处理和模式识别让机器自动识别和理解人类口述的语言

与声学语言学语音学,信息理论,模式识别以及神经网络等学科都有非常密切的关系

基本原理

识别

语音

语音信号

特征提取

模式匹配

识别结果

输入

预处理

训练

模型库

语音识别系统

构建方法

在线识别

离线训练

信号处理

收集语音,语言

生成声学模型和

知识挖掘

数据库

语言模型

语音识别系统

"前端"模块:端点检测(去除多余的静音和非说话声,降噪,特征提取等

"后端"模块:利用"学模型"和"语言模型"对用户说话的特征向量进行统计模式

识别,得到其包含的文字信息

"自适应"反惯模块:对用户的语音进行自学习,对"学模型"和"语音模型"进行

必要的"校正",进一步提高识别的准确率

离线训练

在线识别

自适应反馈模块

后端模块

前端模块

对话系统

概念

实现人机口语对话的系统

通常面向一个狭窄领域,词汇量有限的系统

应用领域

智能客服,旅游查询,订票,数据库检索等

分帧类似分词，按照帧来处理

对话系统

关键技术

采集声音波形

进行声音分顿

10m董

 

对话系统

主要技术

波形转换

矩阵变换

S1029

--....

对话系统

主要技术

状态判断,判断为某个词语的概率为多少,完成语言识别

P(OUSY-0.45

S3

P(OUS2)-0.25

P(oUS3-0.75

P(OLS-0.45

P(OUS5-0.25

语音识别与神经网络

基于神经网络的语音识别

输入

输出

神经网络

[Hello]

我说[Hello]

纯文本

的声波

香油相和信号

语音识别与神经网络

基于神经网络的语音识别

输入

输出

Hello]

神经网络

我说[Hello

纯文本

的声波

输入

输出

有状态模型

说IA的

可能性

说/Bj的

可能性

循环神经网络

悦IC的

昨等

20毫秒的

模型现在的状态

音频切片

将影响下一次计算

课程目标

学习完本课程后,你将能够:

1.了解知识图谱的定义和基本概念

2.了解知识图谱的关键技术与构建

3.了解知识图谱的应用

知识图谱定义

一知识图请是指语义网络的知识库,即多关系图,包含多种类型的节点和多种类型的边,由

Google公司2012年提出

把所有不同种类的信息连接在一起而得到的一个关系网络,提供了从"笑系"的角度去分析

问题的能力

节点

节点

节点

节点

边

边

包含多种类型的节点和边

包含一种类型的节点和边

(不同形状和颜色代表不同种类的节点和边)

 

基本概念

实体:图中的节点,表达现实世界的事物

关系:图中的边,表达不同实体间的某种联系

.实体和关系拥有各自属性

现任职于

公司电话

甲公司

甲公司

小A

138X

年粉:25,

我位':遂业具

二二二--一

Isfatherof

张小宝

张大宝

通话

通话

同事

139X

朋友

136X

Hasphone

小C

小D

手三二二二

开通时间

公司电话

现任职于

曾任职于

132X

丙公司

137X

乙公司

小B

案例:风控知识图谱

案例:社交网络

用图数据库存放知识图谱

图谱构建过程

定义具体

数据收集

知识图谱

基于知识图谱

知识图谱

设计

业务问题

存储

开发应用

与预处理

知识抽取

数据采集

图谱设计

关键技术

数据采集

业务数据:结构化数据

网络数据:非结构化数据

数据库表(结构化数据)

网页(非结构化数据)

知识抽取

基于自然语言处理完成非结构化数据的处理

实体命名识别:从文本里提取出实体,并对每个实体做分类/打标签

关系抽取:把实体间的关系从文本中提取出来

实体统一:有些实体写法上不一样,但其实指向同一个实体

指代消减:代词指向哪个实体

知识抽取

自然语言处理技术示例

Isin

Times

NYC

ThishotelismyfavoriteHilton

Square

rtyinNYC!Itislocatd

property

Event

Locatedat

Righton42ndstreetnear

Locatednear

Restaurant

Isa

Hilton

TimesSquareinNewYorkit

hotel

property

isclosetoallsubways

Location

Close.to

Closeto

Broadwaysshowsandnextto

Close_to

Organization

greatrestaurantslikeJuniors

Virgil

Broadways

Cheesecake,VirgilsBBQ

Shows

BBQ

Junior

Cheesecakg

图谱设计

效率原则

一知识图请尽量轻量化,并决定哪些数据放在知识图谱,哪些数据不需要放在知识图谱

性别:"女"

性别:"女"

年龄:32

年龄:28

家乡:山东

家乡:河北

小王

小张

同事

认识时间:2017,

认识时长:3

语义搜索

更好地查询复杂的关联信息,从语义层面理解用户意图,改进搜索质量

Google

BIgatas

全日照片锅新回捷械姓塑理容

工月

货量构544000000条进果周村0976

WTOsgBGa

比尔?盖茨(BillGates)

BIIGates-Wikipodia

WIAmKarTCI(omotD29kmomo

企业家

dovdlsmstAoWlberomaeoofroeMcrea

查亨利蓝发三包KBE比宗孟发县名天国著名企业

NAwoTUSS8bLonAN2020PlAAGDSMyMa

家,挽责霜,教停工程韩,麻酱家他与保罗艾伦一起创障怡权公

Weansaattne1976-005scnt

BAARDWTtedthorosocarporiantbort

司慧任餐校量华长.CEO知甘深校体设计得,并拌有公司造过邮

BACAEsSBAGANACbotnEGeBock

誉殷,也是公司最大的个人服床,1995年套/2007年的(福布

斯全富豪慢中,比尔盖馍替经连转13年埠读性养租高

桂西百国

WEWC419ANORS6O街泽此页

生于:1935年10月28日(54万场通顿西恋

HomeIBilGatos

A80AwotLrgyorngbpelercmRlndlingoneleaodaaader

产净值:USS1088亿(202年日

rourdstonbyatandhetintaG-ielFebruay10,2020

知名赢:COTtourdadMcrosdh

AbonblBocesLookngtorewimoarreaacrugancchin

女比阿重尔重友,珍是传演界林盖萃,罗星钓油盖源

教鸡背:地倪6(1973年195年中年(1967年1973

其他用户还间了以下问题

WmatddBiGatesdo?

图书

委有10*项

 

反欺诈分别与识别

融合来自不同数据源的信息构成知识图谱

引入领域专家建立业务专家规则

通过数据不一致性检测,利用绘制出的知识图谱可以识别潜在的欺诈风险

王xx

电话

借款人

拥有

田xx

13812345xXX

段xX

提供担保

借款人

朋友

谢xx

就职于

谢X

父亲

甲公司

现在同事

就职于

借款人

乙公司

周x

金融投研情报分析

构建公司知识图谱

G公司

数据源:招股书,年报,公司公告,券

非上市公司

H公司

上市公司

商研究报告,新闻等半结构化表格和非

k公司

B公司

子公司

结构化文本数据

三

L公司

供应商

客户

分析:公司的股东,子公司,供应商,

A公司

竞争对手

M公司

D公司

客户,合作伙伴,竞争对手等信息

合作伙伴

E公司

N公司

用途:做更深层次的分析和更好的投资

x公司

决策

c公司

Y公司

F公司

阿里云大学

第二章神经网络基础

课程目标

学习完本章课程后,你将能够:

1.了解和掌握神经网络的定义,发展阶段

2.了解和掌握神经网络的组成,神经元模型及其工作机制,主要的神经网络类型

3.了解和掌握神经网络的关键技术,包括激活函数,偏置值,损失函数,前向传播和后

向传播机制,梯度消失,以及神经网络的整体训练过程

4.了解和掌握卷积神经网络,循环神经网络和生成对抗神经网络的定义,发展历程,主

要类型,应用场景,以及各自的关键机制

神经网络基础

定义

人工神经网络(ArtitficialNeuralNetwork),简称神经网络(NeuralNetwork,N)

在计算机领域中,是一种模仿生物神经网络的结构和功能的数学或计算模型

:目的是模拟大脑的某些机理与机制,实现某个方面的功能,例如图像识别,语音识别

免束粉

计算

计算

函数

输入

输出

函数

输出

输入

信号

信号

信号

信号

日想核

生物神经元

神经网络抽象模型

神经元抽象模型

神经网络发展

第三次热潮,以卷

积神经网络,循环

三次发展热潮

神经网络为代表

第二次热潮,出

多层炜轻网络

现多层神经网络

第一次热潮,以单

层神经网络为主

两层辞经网络

单层神经网络

2012

2020

CNN

Winter

神经元

第三次

兴起

2006

DBN

第二次

1982兴园

Hopfcld

1969

第一次

1943

兴起

1949

还生

1940

2020

1960

1970

1950

1990

2010

2000

1980

第一次热潮

代表性技术

感知机:提出神经元模型,基于机器模拟人类大脑运作方式

单层神经网络:提出神经网络基本概念,具有神经网络雏形

应用场景

简单的线性分类问题

第二次热潮

代表性技术

多层神经网络:增加了网络层次,扩展了网络结构,使得神经网络能够分析更加复杂问题

后向传播算法:加速了网络结构参数的训练,使得网络实际可用

应用场景

字符机器识别

下国际象棋的机器

第三次热潮

代表性技术

卷积神经网络:使用多层卷积操作处理和分析图像,取得比传统机器学习更加高效的结果

循环神经网络:使用上下文环境处理时间序列数据,使得语音,文本等多媒体信息能被处理和分析

应用场景

图像智能处理

语音识别

自然语言处理

如何学习神经网络

前置知识

矩阵计算

数学知识是神经网络算法的基础

微积分

概率论

Python或C++是神经网络开发的基础

计算机系统知识是神经网络运行与调

优的基础

Python开发

神经网络学习

C++开发

必备基础

操作系统

分布式系统

神经网络组成

神经元:负责计算和处理输入信号

网络连接:负责将不同神经元连接起来,形成神经网络

连接两端各为一个神经元

一个神经元的输出为另一个神经元的输入,例如信a

网络连接有加权参数w,经过加权计算后,信号变成a*w

权值

加权

输入

connection

计算

神经元

单元

W

connection

神经网络演进

演进过程

深层神经网络

浅层神经网络

卷积神经网络

典型代表

两层神经网络

单层神经网络

多层神经网络

循环神经网络

单层神经网络

a1

.一层"输入单元"

只负责传输数据,不做计算

W1

一层"输出单元"

a2

对前面输入单元的输入进行计算,即单层计算层

W2

W3

两层神经网络

隐藏层

输入单元和输出单元增加隐藏层

输入层

输入层:有3个输入单元

输出层

输出层:有2个单元

隐藏层:有4个单元

输入层与输出层的节点数往往固定

隐藏层的节点数可以自由指定

多层神经网络

输入层:3个输入单元

隐藏层:4层隐藏层,可以更多

输出层:3个输出单元

Wls)

国

wli

Wa仍

wi21

wo

a你Y

a内

3x2

3x2

2x3

3x3

2x3

6+6+6+6+9-33

神经元抽象

生物神经元的抽象模型

树突接收信号

给其他神经元传递信号

类比树突

铂突末桥

树穴

输入结点

y

x1-0

0.3

输出结点

类比轴突

0.3

X2一O

0.3

x3

t20.4

细多埃

细胞核进行信号处理

类比细胞核

 

神经元通用模型

输入单元

计算单元:线性求和+非线性变换

输出单元

输入1

输入结点

权值1

X1

0.3

输出结点

权值2

0.3

x2

输入2

非线性函数

输出

求和

0.3

X3一0

权值3

T-0.4

输入3

计算单元

计算单元

线性计算:输入信号x1,x2,x3按权重0.3相乘后再相加

0.3x1+0.3x2+0.3x3

输入1

权值1

权值2

输入2

非线性雨数

求和

输出

激励函数:对计算结果做变换

权值3

输入3

f(waxd+wa-ixd-i+...Wixm)

激励函数是非线性的

激励函数

定义

给定输入信号,计算后再通过一个函数决定输出的取值,该函数为激励函数

x2

x1

x3

0.3x1+0.3x2+0.3x3>

>0

-1

0.3x+0.3x+0.3x3<0

-1,

1

1

1

1

0

y-isign(waxa+wd-ixd-1+...Wix)

0

sign激励函数

sign(X):x>0,输出1;x<0,输出-1

激励函数

非线性激励函数

.实际使用过程中,线性激励函数效果有限,通常采用非线性激励函数

线性激励函数无法对其分类

待分类的数据集

非线性变换函数可以将其分类

激励函数

主要类型

激励函数:对计算结果做非线性变换

Sigmoid函数

fwaxa+wd-ixd-1+..W1x1)

输入1

Tanh函数

权值1

权值2

求和

输入2

非线性通数

输出

ReLU函数

权值3

LeakyReLU

输入3

函数

Sigmoid激励函数

f2)一IAz

取值范围为(0,1)

?将一个实数映射到(,)区间,可以用来做二分类

SigmoidactivationFunction

o(X)

0.6

SIxyA

02

0.0

-2.5

-5.0

25

-10.0-75

10.0

xAxis

Tanh激励函数

ez-e-z

fO三

ez+e-Z

取值范围为[-1,1]

在特征相差明显时效果会很好,在循环过程中会不断扩大特征效果

TanhActivationFunction

100

0.75

050

025

SIXy

0.00

-0.25

-0.50

-0.75

-1.00

-100-155.0-250025507510.0

XAXIS

ReLU激励函数

RectifiedLinearUnit(ReLU)

f(x)-max(0,x)

目前广泛使用的激活函数,快速收敛,计算效率高

ReLUActivationFunction

SIXy人

max(0,x)

-5.0

-2.5

0025507510.0

-10.0-7.

xAxis

LeakyReLU激励函数

.f(x)-max(0.1x,x)

x<0时,具有0.1的正梯度

快速收敛,计算效率高,正区域内不会饱和

LeakyReLUactivationFunction

SWxy人

max(0.1

x.x)

530

-5.0

2.5

75

-10.0

00

2

10.0

xAxis

偏置值

定义

一个间值,用于度量神经元产生正(负)激励的难易程度

输入信号求和后大于闽值时,输出为0,否则,输出为1

T1

0jf2w2<threshold

output

1让2

w之threshold

output

偏置值为b

23

output-1二W士630

y-fwaxd+wa-ixd-1+...W1x1+b)

神经网络训练过程

主要流程

y-sign(w.x+b)

根据实际值与预

针对训练样例

随机生成网络

定义网络结构

测值差异更新

计算预测值

连接权重参数

网络参数

根据输入数据(xy)

定义输入,隐藏,输出各层

定义激励函数等

计算得到y

训练N轮

损失函数

定义

损失值:神经网络训练过程中的预测值a与期望值y之间的差距

.损失值越大,模型越不精准神经网络训练目标:减少损失值

计算损失值的函数即为损失函数

常用损失函数

.y为期望值,a为预测值

函数定义

函数类型

特点

简单易理解,但网络层数深时

均方差损失函数

C-0.5*-0)2

训练收敛速度变慢

c---.ly*lna+(1-y)*ln(1-a]

交叉炳损失函数

误差大时,网络参数更新快

损失函数应用

神经网络参数更新

网络参数的修正值Aw

w+1-w+adyc-y)x

损失函数C

@w-w+1-w-M;-yix

均方差

交叉煸

损失函数

损失函数

损失函数应用

损失函数与网络参数更新

神经网络预测值

损失函数C

C-0.5*-a)

a-fowx+b)

损失函数C受网络参

数W大小的影响

网络参数训练修正需要

计算当参数W变化时,

偏导数计算

ac/ow(fw)-y)fwx

损失函数的变化幅度

损失函数应用

偏导数计算分解

基于链式求导法则

对WX线性相乘求偏导

C对a求偏导

ac/ow(fw)-y)fow)x

对激励函数做偏导

反向传播算法

神经网络训练

W5

15w1

h1

输入层:i1,i2

45w6

20w2

.01

.05

隐含层:hi.h2

输出层:o1.02

25W3

50w

h2

激活函数

30W4

W8

.99

.10

sigmoid函数

初始权重

w1.w23

b2

b1.35

w5.w6.w7.w8b2

目标:给定输入,调整权重值和偏置值,尽可能接近输出

反向传播算法

第一步

根据输出层和隐藏层之]的计算联系,得到损失函数和隐藏层参数(W5.W6和b2)]的偏导数

根据输出层的误差,以及当前训练用的输入数据,计算获得网络参数w5.W6和b2的更新值

doutol.

ErataL

oEratal

Onetol

损失函数对参数的偏导

当前参数值

onet.l

output

Doutol

0us

ous

h1

时二0.40.5*0.082167041-0.35891648

W6

output

net.1

out.1

E.-y(targetor-outo

EDt-E.+EQ2

学习率

梯度消失问题

梯度消失

随着神经网络层数增多,损失函数C对网络参数W的偏导数值越小

导致网络参数趋向于不再更新,神经网络训练不收敛

常见激励函数

.Sigmoid,Tanh存在梯度消失问题

可以用ReLU缓解梯度消失问题

常见神经网络

网络类别

特点

网络类别

适用场景

含有多个隐藏层,采用sigmoid,Tanh激励函数,支持

多层感知机

分类与回归问题

反向传播

进一步增加隐藏层数量,采用ReLU激励函数缓解梯度消

深度神经网络

分类与回归问题

失问题

卷积神经网络

隐藏层为卷积计算,可以对图像进行处理

图像识别

神经元内部保存其先前的值,用于下一时刻的计算,可以

语音,文本识别

循环神经网络

对时间序列数据进行处理

卷积神经网络与应用

2.2元

卷积神经网络定义

一种带有卷积结构的深度神经网络,通过特征提取和分类识别完成对输入数据的判别

由LeCun在1989年提出,早期被成功用于手写字符图像识别

2012年更深层次的AlexNet网络取得成功,此后卷积神经网络被广泛用于各个领域

depth

height

outputlayer

width

inputlayer

hiddenlayer1hiddenlayer2

卷积神经网络

传统神经网络

卷积神经网络对比

与传统神经网络的联系

都由具有可学习的权重W和"偏置常量b的神经元组成

神经元接收输入,进行点积计算,输出每个分类的分数

与传统神经网络的区别

卷积神经网络的神经元具有三个维度,适合处理图片

卷积神经网络的神经元执行卷积计算

depth

height

outputlayer

Midth

inputlayer

hiddenlayer1hiddenlayer2

传统神经网络

卷积神经网络

卷积神经网络发展

LeNet

LeNet

6C10-1016055

rout

6014-14

6Q28*28

?3个卷积层:C1,c3,c5

32*32

.2个池化层:S2,S4

1个全连接层:F6

最早的卷积神经网络,用于字符识别

AlexNet

11x11conv.96./4.pool/2

AIexNet

5x5conv,256.pool/2

提升了深度和广度版本的LeNet

3x3conv,384

3x3conV,384

5个卷积层

3x3conv,26.po

3个全连接层

fc,4096

引发对卷积神经网络的关注,使CNN成为图像分类中的核心算法模型

fe,4096

fe,1000

实际中，ResNets用途广泛

卷积神经网络发展

GoogLeNet

Residualnet

解决卷积神经网络过深或过宽的问题

参数太多,容易过拟合

网络越大计算复杂度越大

weightlayer

网络越深,梯度越往后容易消失,难以优化模型

relu

FX)

identity

使用Inception模块优化网络结构,减少网络参数量

weightlayer

ResNets

Hx)-Fx)+x

先进的卷积神经网络结构,实践使用中的默认选择

relu

通过残差网络设计,把当前输出直接传输给下一层网络

.在后向传播时,将下一层网络梯度直接传给上一层网络,解决梯度消失问题

应用场景

8E06n:0902

honse:0m

ca:1000

图像处理

图像分类,图像识别

pencn:0.970

自然语言处理

情感分析,主题分类

wait

for

the

ideo

and

rent

it

凉Hrepresortabond

FYOweTodLayer

Camvdlutoralyo州th

Maet-ovetLTe

WortErdeCnSercand

mutuiplefnerwoatfhsans

boOing

工作原理

卷积神经网络的仿生过程

模拟大脑识别图像的过程,不同大脑区域识别图像不同维度特征

由多个卷积层构成,每个卷积层包含多个卷积核

卷积核从左向右,从上往下依次扫描整个图像,得到特征图(Featuremap)

经过多个卷积层的运算,最后得到图像在各个不同尺度的抽象表示,丛而识别图像

Bectricalslgnai

frombraln

Rocordingelectrode

VIsUalaroa

ofbraln

output

lnput

Conv

Conv

Conv

layer

layor2

Layer1

Layor3

Pooling

Pooling

Layer2

Layor

Layer1

Stimulus

FoaturoExtractor

classifior

关键过程

关键技术

池化操作

卷积操作

全连接

激励函数

三大步骤

全连接层

oatpotlayer

步骤2:特征提取

步骤3:分类识别

步骤1:输入数据

卷积操作

卷积核

带有一组固定权重的神经元,通常是n*m的二维短阵,nm为卷积核的感受野

卷积计算

输入矩阵和卷积核对应位置相乘,结果再累加

输入图

像局部

卷积计算结果

21

21

-I

y+1+

x-1.y+1

x-l.y-1

1+L.y-1

吴J-I

X-ly-l

3*3

xLy

xy

卷积核

x-ly

X+1.y+l

-lyI

黑J+1

卷积操作

卷积层

使用给定的卷积核函数对输入数据进行特征提取,即用卷积核的短阵自上而下,自左向右在图像

上滑动

将卷积核类阵的各个元烹与它在图像上覆盖的对应位置的元蒙相乘,然后求和,得到输出像素值

使用不同的卷积核知阵变换得到不同的特征结果

.被用于图像去噪,增强,边缘检测,提取图像特征等

输入图像

卷积核守阵

特征结果

1352]

138

166

154

133

167

263

126

104

121

110

711

卷积操作

Fllter

Operation

Convolved

lMaRe

P:

识别

ldentity

不同卷积核矩阵提取不同图像特征

-97

边缘检测

oo

锐化

?

边缘检测

模糊

E制

锐化

Sharpen

用

模糊

FcatureMap

Input

高斯模糊

不同卷积核守阵的不同特征提取结果

激励函数

每次卷积完成后,使用激励函数处理

针对图像中的像素进行处理,并将卷积得到的特征结果中的所有负像素值替换为零

实现对特征提取结果的修正

使用ReLU激励函数将图片背景进行处理

lnputFeatureMap

RectifiedFeatureMap

ReLU

Black-negative;whitepositivealues

Onlynon-negativevalues

池化操作

Max(115.6-6

池化层

对数据进行降维,减少数据特征,减少网络参

数和运算次数,避免过拟合

5

7

对图像的某一个区域用一个值代替

常用方法

最大值池化(maxpooling)

RectifedFestureMap

求和值池化(sumpooling)

对用激励函数修正后的图片进行Max和Sum池化

均值池化(avgpooling)

Max

Sum

OnlynonneBarlvEWalUc

RectffedFeatureMap

全连接操作

完全连接

.卷积获取的是局部特征,全连接是把以前的局部特征重新通过权值阵,组装成完整的图

用到了所有的局部特征,称为完全连接层

对特征图进行维度上的改变,得到每个分类类别对应的概率值

Connectionsandweights

notshownhere

带概率的分类结果

dog(0.01)

iiiiiss

cat(0.04)

4possibleoutputs

boat(0.94)

blrd(0.02)

完全连接:每个节点都与相邻层

的其他节点连接

示例:整体操作流程

卷积神经网络识别图片

输入图像:船

目标向量:[狗,猫,船,鸟]-p1,p2,p3,p4]

OutputPredictions

Fully

Pooling

Convoluton

Convolution

Pooling

Fully

+ReLu

+ReLU

Connected

Connected

dog(0.01)

cat(0.04)

boar(0.94)

bird(0.02)

特征提取

分类识别

输入图像

全连接层的作用是什么？
神经网络学习笔记（一）：全连接层的作用是什么？_Dr Xplorer的博客-CSDN博客_全连接神经网络的作用