深度学习
文章平均质量分 94
两个幽灵
这个作者很懒,什么都没留下…
展开
-
智能计算系统实验(3) 综合实验-文本识别OCR-EAST
3.1 Split+Sub+Concat合并算子的BCL实现3.1.1 需求分析要实现这个算子,首先要知道这个算子具体要做什么。首先尝试读论文《EAST: An Efficient and Accurate Scene Text Detector》和《PVANET: Deep but Lightweight Neural Networks for Real-time Object Detection》,从论文中大致读懂了算法的框架,如下图,但是并没有什么用:图3-1 算法框架之后从eval Pyt原创 2021-01-24 21:43:25 · 4842 阅读 · 4 评论 -
智能计算系统实验(2) 实时风格迁移在线推理与离线部署
2.1 模型量化执行量化脚本python fppb_to_intpb.py udnie_int8.ini。量化过程主要对卷积算子进行量化。2.2 在线推理2.2.1 CPU原始模型通过已有的run_ori_pb函数可以发现,主要任务是向图中的输入节点填入图像,在获取输出节点的结果。将这个任务做完后直接运行会报错,提示PowerDifference_z节点没有数据。所以将udnie_power_diff模型转换成TF Events文件,用Tensorboard打开可以看到(图2-1),PowerDif原创 2021-01-24 21:24:03 · 2213 阅读 · 3 评论 -
智能计算系统实验(1) BANGC算子实现与TensorFlow的集成
这是2020年6月份的实验。现在决定发出来。1.1 算子实现和测试1.1.1 算子实验(1) 初始化环境:cd /opt/AICSE-demo-student/env; source env.sh(2) 进入plugin_power_difference_kernel.h,补全头文件。补全头文件需要确定参数列表。PowerDifference的含义是(X-Y)Z(X-Y)^Z(X-Y)Z,其中ZZZ是标量,因此至少需要3个参数。后来从PPT中发现了PowerDifference的声明,确定了是有5个原创 2021-01-24 21:07:39 · 4455 阅读 · 5 评论 -
在贝叶斯网络中举例证明两个变量是否独立
小辣机学数学系列在可信的贝叶斯网络中,一个节点的马尔可夫毯包括它的父节点、子节点和子节点的父节点。例子:AAA和BBB是否关于FFF独立?P(A,B∣F)=∑E∑CP(A,B,C,E∣F)=∑E∑CP(A)⋅P(E∣A,F)⋅P(B∣F)⋅P(C∣E)=P(A)⋅P(B∣F)∑E∑C[P(E∣A,F)⋅P(C∣E)]=P(A)⋅P(B∣F)∑E[P(E∣A,F)∑CP(C∣E)]=P(A)⋅P(B∣F)∑E[P(E∣A,F)]=P(A)⋅P(B∣F)=P(A∣F)⋅P(B∣F)\begin{al原创 2020-09-26 20:18:26 · 2149 阅读 · 0 评论 -
NLP学习(8) 词向量
Word2vecone-hot representation →\to→ local generalizationdistributed representation →\to→ global generalization分布式是把词的信息分散到不同维度词向量模型的假设: 类似的词会出现在相似的地方, You shall know a word by the company it keepSkip-Gram Model????266用中间的词预测预测周围两个单词. CBOW是反过来, 用周转载 2020-09-12 21:36:40 · 182 阅读 · 0 评论 -
NLP学习(7) 时序模型
时序模型应用抛两个硬币, 抛哪个硬币是隐状态, 正反面是观测值.词性标注里面观测值是单词, 隐状态是词性.通过GMM处理连续变量HMMinference使用维特比解码在以第kkk步以状态iii结尾时, 的最好的路径, 记为δk(i)\delta_k(i)δk(i)Forward/Backward AlgorithmF/B算法的目标是计算P(zk∣x)∝P(zk,x)P(z_k|\boldsymbol{x})\propto{P(z_k,\boldsymbol{x})}P(zk∣x)∝P转载 2020-09-06 17:39:02 · 420 阅读 · 0 评论 -
RNN求导公式详细推导
本菜鸡觉得RNN求导公式太复杂了, 所以想了一个办法拆分求导的公式.那就是用语法树. 原文参见RNN反向求导详解_格物致知-CSDN博客ot=φ(Vst)=φ(Vϕ(Wst−1+Uxt))Lt=loss(ot,yt)\begin{aligned}o_t&=\varphi(Vs_t)=\varphi(V\phi(Ws_{t-1}+Ux_t))\\L_t&=\text{loss}(o_t,y_t)\end{aligned}otLt=φ(Vst)=φ(Vϕ(Wst−1+原创 2020-09-05 18:01:19 · 1102 阅读 · 0 评论 -
NLP学习(6) 信息抽取
信息抽取????188非结构化数据; 抽取实体; 抽取关系;评估方法: F1-ScoreNER方法分类利用规则, 比如美国电话(?:\(?[0-9]{3}\)?[0-9]{3}[ -.]?[0-9]{4})投票模型, 统计每个单词的类型, 取频率最高的. 一般用作baseline利用分类模型1. 简单特征工程def get_feature(word: str): return np.array([word.istitle(), word.islower(), word.isu转载 2020-08-30 11:30:26 · 1038 阅读 · 0 评论 -
NLP学习(6) 用维特比解码进行词性标注
词性标注理论部分用马尔科夫公式计算, 设w=w1,w2,...,wn\bold{w}={w_1,w_2,...,w_n}w=w1,w2,...,wn是单词序列, z=z1,z2,...zn\bold{z}={z_1,z_2,...z_n}z=z1,z2,...zn是词性标注序列则KaTeX parse error: Expected group after '_' at position 44: …}}\limits_z\sum_̲\limits{i=1}^n\…数据集位于: F:\Ca转载 2020-08-05 19:44:15 · 295 阅读 · 0 评论 -
NLP学习(5) 语言模型
语言模型 (Language Model)用口语来说, 就是判断一句话是否在语法上通顺Compute the probability of a sentence or sequence of words.Noise Channel Model由源文本生成目标文本的概率 p(test∣source)∝p(source∣text)p(text)\text{p}(test|source)\propto \text{p}(source|text)\text{p}(text)p(test∣source)∝p(转载 2020-08-04 17:36:05 · 232 阅读 · 0 评论 -
NLP学习(4) 句子排序与过滤
回顾: 基于检索的问答系统Question复杂度 O(n), n是知识库的大小. 所以必须降低复杂度Question倒排表 (Inverted Index)对句子进行过滤假设有4个文档doc 1: 我们 今天 运动doc 2: 我们 昨天 运动doc 3: 你们 上 课doc 4: 你们 上 什么 课词典是[我们, 今天, 运动, 昨天, 上, 课, 什么]倒排表:我们: [doc 1, doc 2]今天: [doc 1]运动: [doc 1, doc 2]昨天: [d转载 2020-08-04 12:28:56 · 721 阅读 · 0 评论 -
NLP学习(3) 文本表示
词袋模型文本表示设词典是 [我们, 又, 去, 爬山, 今天, 你们, 昨天, 跑步]one-hot 单词表示表示单词 “我们” [1,0,0,0,0,0,0,0]boolean-based 句子表示表示句子 “我们 今天 去 爬山” [1,0,1,1,1,0,0,0]count-based 句子表示表示句子 “我们去爬山又去跑步” [1, 1, 2, 1, 0, 0, 0, 1]句子相似度欧氏距离d=(x−y)2d=\sqrt{(\bold{x}-\bold{y})^2}d=(x−y)转载 2020-08-04 12:28:02 · 148 阅读 · 0 评论 -
NLP学习(2) 文本预处理
分词常用的分词工具Jiaba, SnowNLP, LTP, HanNLPimport jiebaseg_list = jieba.cut('张三学院专注于人工智能教育', cut_all=False)print('Default Mode: ' + ' / '.join(seg_list))jieba.add_word('张三学院')seg_list = jieba.cut('张三学院专注于人工智能教育', cut_all=False)print('Default Mode: ' + '转载 2020-08-03 18:50:41 · 197 阅读 · 0 评论 -
NLP学习(1) 概论
教程: https://www.bilibili.com/video/BV1YK4y1875p统计机器翻译传统模型中文,C步骤1总目标: maxEP(e∣c)\max\limits _E P(\bold{e}|\bold{c})EmaxP(e∣c)步骤1:Translation Model将中文分词,然后把每个词语翻译成英文maxeP(c∣e)\max\limits_\bold{e} P(\bold{c}|\bold{e})emaxP(c∣e)步骤2: Language Model转载 2020-08-03 18:37:04 · 171 阅读 · 0 评论 -
y=Cx 求导
本人数学很菜, 连求导都要想半天… 下面是记录读这篇博客的过程中, 对卷积求导的过程https://blog.csdn.net/xiaojiajia007/article/details/75041651假设有y4×5=C4×16x16×1y_{4\times 5}=C_{4\times 16}x_{16\times 1}y4×5=C4×16x16×1,已知∂Lossy\partial Loss \over \mathbf yy∂Loss,求∂Lossx\partial Loss \over \原创 2020-05-17 22:40:54 · 2284 阅读 · 0 评论