![](https://img-blog.csdnimg.cn/20190927151117521.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
● 人工智能
机器学习、深度学习、自然语言处理、计算机视觉、数据挖掘、爬虫等
AI_Younger_Man
这个作者很懒,什么都没留下…
展开
-
第三章 3、4 语言模型及其平滑项处理
Noisy Channel Model下面这个是贝叶斯公式。因为source是给定的输入,所以它的概率是常数,分母就忽略了。例如:一直输入的英文,求翻译之后的中文。语言模型LM:深度学习模型,判断语义性。回忆一下联合概率公式在语料库中先找后面这一句话,找到之后,看后面接的是什么。看是否出现,求概率。缺点:当这这句话很长的时候,不好找改进:马尔科夫假设unigram ...原创 2020-02-25 01:34:33 · 503 阅读 · 0 评论 -
第三章 3、3文本预处理之文本的表示(Word Representaion)
一、文本标识单词的标识给定一个构建好的词典库,在词典库基础之上,使用One-hot编码:出现单词的地方标1,没出现的单词标0句子的表示基于0/1:先对巨资进行分词,然后对句子使用One-hot编码。不统计出现的次数,出现就标1基于计数:统计分词之后单词在词典库中出现的次数二、计算相似度句子用向量表示出来之后,就可以套用数学公式,向量是有方向的。欧氏距离:欧几里得距离。结...原创 2020-02-23 16:17:59 · 313 阅读 · 0 评论 -
第三章 3、2 文本预处理之拼写纠错(Spell Correction)
一、什么是拼写纠错根据两个单词的编辑距离,计算相似度。可以将错误的单词改正。编辑距离(Edit Distance),又称Levenshtein距离,是指两个字串之间,由一个转成另一个所需的最少编辑操作次数。编辑操作包括将一个字符替换成另一个字符,插入一个字符,删除一个字符。一般来说,编辑距离越小,两个串的相似度越大。那么,如何用Python计算编辑距离呢?我们可以从较为简单的情况进行分析...原创 2020-02-23 13:46:59 · 732 阅读 · 0 评论 -
第三章 3、1 文本预处理之分词(Word Segmentation)
一、大纲总览1、tough资料:各类文本等的输入。2、分词。好的分词算法很重要。3、文本预处理。4、标准化:单词的时态,单复数。都转换为最原始的。这时还是字符串。5、特征提取:向量表示,thidf算法,w2w,seq2seq算法等等。6、模型:向量有了,然后就是根据算法去匹配。二、分词可以直接用的分词工具。1、分词算法之最大匹配向前最大匹配、向后最大匹配、双向最大匹配(不讲...原创 2020-02-20 17:05:18 · 537 阅读 · 0 评论 -
第二章 2、3 算法时间复杂度例题讲解
#%% md1. 简单的复杂度的回顾#%%def compute(a,b): n,s = 10,0 for i in range(n): for j in range(n): s = s + a * b return s时间复杂度:O(N^2), 空间复杂度:O(1)#%% md2. 归并排序以及时间复杂度以及Mas...原创 2020-02-20 16:00:57 · 875 阅读 · 0 评论 -
第二章 2.2 算法时间复杂度例题讲解
#%% md时间复杂度和空间复杂度这是任何AI工程师必须要深入理解的概念。对于每一个设计出来的算法都需要从这两个方面来分析O(N), O(N^2) : o notation#%%int a = 0, b = 0; for (i = 0; i < N; i++) { # O(N)+O(N)=2*O(N)=O(N) a = a + rand();# N*1个操作 = O...原创 2020-02-20 15:34:32 · 1293 阅读 · 0 评论 -
第二章 算法时间复杂度
一、主定理1、 主要是计算 n_log_b_a 。求出来之后和后面的Fn进行比较,然后按照规则些出结果就行。2、一句话解释:这两个值哪一个大就取谁;想等的话先看Fn里面log的次数,最终的结果在log的基础之上+1就是最终结果log的次数。例题如右下角3、要注意的一点就是:保证T(n)的形式要和定理里面的一样,一个大问题拆解成为几个相等的小问题。1、例题如上。2、N!是阶数最...原创 2020-02-19 18:17:38 · 588 阅读 · 0 评论 -
第一章 1、2自然语言处理概论(续)
一、NLP的经典应用场景问答系统问答系统:在语料库当中寻找问答对儿形成知识库,然后根据问题相思的语句进行搜索答案。初级实现情感分析两种不同的处理过程。机器翻译自动摘要类似于中学语文学习梗概的写作。聊天机器人以后要做的项目之一。有目的导向性和随机性两个类型。信息抽取信息抽取:相当于淘宝购物下单时候,收件人信息自动填写。...原创 2020-02-18 11:41:20 · 177 阅读 · 0 评论 -
第一章 1、1 自然语言处理概论
一、AI工程师必备的核心技能也就是工程师需要从现实实际问题当中抽取数学模型,然后运用数学知识优化问题。然后才是工程能力:学习某个开源或者黑盒工具开发项目。二、什么是NLPNLPNLP就是NLU+NLG。NLU(nature llanguage understand)一个人先用文本或者语音表达自己的意思,然后对面的那个人来理解这个是什么意思。NLG(nature langua...原创 2020-02-17 23:00:06 · 203 阅读 · 0 评论