- 博客(30)
- 收藏
- 关注
RSS订阅原创 【机器翻译】SCONES——用多标签任务做机器翻译
之前有负责过一个层级多标签分类的项目，所以对于由多分类到多标签的区别十分清楚，最近刷到这篇论文顿时来了兴趣，然后发现方法也十分简单，基本就是一个标准多标签任务的模式。尽管简单，但这样做并不是为花而花的“花板子”，其准确抓住当前机器翻译训练方式导致的问题——decoding过程中模型输出层的softmax抑制了“非ground truth但合理”词的生成可能性，而转化为多个二分类+sigmoid的常见多标签任务形式则正好避开了这一问题，所以重点就转移到了对如何拆分建模为多个二分类任务以及有效的多标签loss的
2022-07-21 18:15:43
588
原创 【机器翻译】《Gradient-guided Loss Masking for Neural Machine Translation》论文总结
这篇论文聚焦机器翻译训练数据集中存在噪音数据的问题，旨在通过干净的数据集来在训练过程中引导模型忽略噪音数据，实现核心是根据干净数据集与训练数据集的训练梯度方向的一致性对Loss进行mask，从而屏蔽将造成干净数据集loss上升的样本影响。...
2022-07-14 11:56:55
319
原创 【机器翻译】《Nearest Neighbor Knowledge Distillation for Neural Machine Translation》论文总结
这是一篇2022年发表在NAACL的一篇机器翻译的论文，是针对21年提出的用kNN(k Nearest Neighbor) Search来decoding的机器翻译方法的改进，这篇论文简洁明了地介绍了kNN Search decoding的原理，并且针对kNN Search带来的庞大的decoding计算开销进行改进...
2022-07-13 19:22:35
507
原创 TensorFlow2 安装快速避坑汇总
前言本来以为已经摸索到了稳妥的TF2安装流程（conda python/cudatoolkit/cudnn + pip tf2），没想到安装成功后import个Adam都报错-_-||。故在此博文记录汇总经历过的问题。快速避坑情形一安装顺利完成，但import基本组件（如tensorflow.keras.optimizer.Adam）时报错解决方案安装完成后，检查（conda list命令）是否有独立的Keras库：若有，保证其与tensorflow版本一致。若不一致，则卸载重装
2022-05-24 10:19:00
252
原创 深度学习 段错误（Segment Core/ Exit code 139）情况记录
前言使用python搞深度学习经常会遇到抽风的段错误，但一直未找到原因在哪，都是玄学发生，玄学修复，现在终于发现了一些“线索”，发布此文用于记录积累导致段错误的原因及解决方法。线索发现>>> import tensorflow as tf>>> tf.ones([3,4]).numpy() # 测试tensorflow是否正确安装，成功执行并得到正确结果>>> exit() # 距离上一行之间无任何执行代码，按理说应该正常退出，但S
2022-05-23 11:07:17
915
原创 Binary Cross Entropy真的适合多标签分类吗？
个人曾在负责一个多标签文本分类项目时对于多标签分类(multi-label classification)的loss选择、forward尾层处理感到迷惑，当时查找了一下资料确定了一种方案：1、以类别数作为最后隐层输出节点数，以sigmoid激活。这样其实就相当于将每个类别视为1个二分类任务，最后隐层的输出每个位置对应一个类别。也正因为如此，用sigmoid而不能用softmax（softmax没有把每个节点视为相互独立的，相反，会导致相互影响）。2、采用Binary Cross Entropy lo
2022-05-15 17:43:29
1189
3
原创 辨析sklearn.metrics里的average参数：binary/micro/macro/weighted/samples
前言最近在搞一个多标签分类项目，涉及到metrics的选择，正好趁此搞清楚metrics里常用的几种average方式，官方api（见下图）里的解释感觉有的关键点还是不清晰，还是要自己摸索计算验证一番。说到这里不得不吐槽一下，网上一搜全是直接把API里的翻译成中文，然后就发一篇博文，请问有什么意义呢？还不如不发，浪费查找者的精力。所以决定写一篇具体的分析，加深自己及对此有疑问的同道的理解。下面就开始分别介绍None、binary、micro、macro、weighted、samples这..
2021-07-17 14:26:33
9067
10
原创 【深度学习模型部署】使用TensorFlow Serving + Tornado部署深度学习模型
前言学术界、科研一般到模型训练完成就结束了，但工业界应用还需要将模型部署到服务器上，TensorFlow Serving提供了一种优雅的部署方案。注：本人是用的TensorFlow2 （主要是Keras）进行的模型训练，有关Pytorch的部署这里不适用。准备模型一般在训练时往往仅保存权重参数，保存的模型形式大多为checkpoint文件形式（如下图所示），模型部署时则需要完整的模型（包含模型结构），所以可以在确定最优参数后，直接load模型参数，然后再将完整的模型进行保存，示例代码见下示代码段
2021-06-01 14:26:55
1146
1
原创 【Tensorflow2安装】Tensorflow2.3-CPU安装避坑指南！！！
注意1、本文是针对CPU版本的TensorFlow 2.3.0的安装避坑指南，GPU版本请勿抱有侥幸心理参考本篇文章。2、不要盲目相信Anaconda的conda install！！！anaconda也是有版本的，不同的版本适用的python版本不同，更致命的是conda install会自动安装相关依赖库，但是安装的依赖库的版本存在不兼容不支持问题！本人就在第2点这个大坑挣扎许久：（1）跳坑方案一：使用conda create -n xxx tensorflow=2.3.0一步到位，结果：
2021-05-14 13:06:58
3036
7
原创 【RNN】剖析RNN 之 从RNN-(Simple|LSTM) 到 序列生成 再到 seq2seq框架（encoder-decoder，或称为seq2seq）
前言最近在搞一个多标签分类的项目，发现多标签分类问题中的多标签难点可以转化为序列生成问题（如下图，引自论文《Ensemble Application of Convolutional and Recurrent Neural Networks for Multi-label Text Categorization》），论文中思想讲的很透彻，图也一目了然，但是RNN的具体实现上还是要自己搞清楚，因此这个思考过程整个从最简单的RNN到seq2seq都梳理了一个遍，特此记录。为了清楚透彻，下面围绕上面
2021-04-28 13:53:01
692
1
原创 TensorFlow raw_rnn - 实现seq2seq模式中将上一时刻的输出作为下一时刻的输入
核心问题在大部分情况下，RNN的输入序列都是预先定义好的，最为常见的就是训练语料中的sentence。但在序列生成任务中，有时我们希望根据 t 时刻预测出的结果（经过一定变形）作为 t+1 时刻的输入，也就是说一开始我们手中并没有一个完整的句子，往往最开始（t = 0时刻）我们只有一个开始标记"<START>"，将<START>输入RNN得到初始时刻的输出，然后将（或进行一定的变换）作为下一时刻（t = 1时刻）的输入，即，再将输入到RNN得到输出，以此类推，直到预测到指定长度（
2021-04-25 10:51:29
672
原创 CCF 201604-2 俄罗斯方块
题目问题描述 俄罗斯方块是俄罗斯人阿列克谢·帕基特诺夫发明的一款休闲游戏。 游戏在一个15行10列的方格图上进行，方格图上的每一个格子可能已经放置了方块，或者没有放置方块。每一轮，都会有一个新的由4个小方块组成的板块从方格图的上方落下，玩家可以操作板块左右移动放到合适的位置，当板块中某一个方块的下边缘与方格图上的方块上边缘重合或者达到下边界时，板块不再移动，如果此时方格图的某一行全放...
2018-09-09 22:55:19
254
原创 CCF 201512-3 画图
题目问题描述 用 ASCII 字符来画图是一件有趣的事情，并形成了一门被称为 ASCII Art 的艺术。例如，下图是用 ASCII 字符画出来的 CSPRO 字样。 ..____.____..____..____...___.. ./.___/.___||.._.\|.._.\./._.\. |.|...\___.\|.|_).|.|_).|.|.|.| |.|___....
2018-09-07 22:34:14
254
原创 CCF 201512-4 送货
题目问题描述 为了增加公司收入，F公司新开设了物流业务。由于F公司在业界的良好口碑，物流业务一开通即受到了消费者的欢迎，物流业务马上遍及了城市的每条街道。然而，F公司现在只安排了小明一个人负责所有街道的服务。 任务虽然繁重，但是小明有足够的信心，他拿到了城市的地图，准备研究最好的方案。城市中有n个交叉路口，m条街道连接在这些交叉路口之间，每条街道的首尾都正好连接着一个交叉路口。除开街...
2018-09-07 22:17:23
1037
4
原创 CCF 201509-3 模板生成系统
题目问题描述 成成最近在搭建一个网站，其中一些页面的部分内容来自数据库中不同的数据记录，但是页面的基本结构是相同的。例如，对于展示用户信息的页面，当用户为 Tom 时，网页的源代码是 而当用户为 Jerry 时，网页的源代码是 这样的例子在包含动态内容的网站中还有很多。为了简化生成网页的工作，成成觉得他需要引入一套模板生成系统。 模板是包含特殊标记的文本。成成用到的模板只包含...
2018-09-02 10:10:07
611
原创 CCF 201509-2 日期计算
题目问题描述 给定一个年份y和一个整数d，问这一年的第d天是几月几日？ 注意闰年的2月有29天。满足下面条件之一的是闰年： 1） 年份是4的整数倍，而且不是100的整数倍； 2） 年份是400的整数倍。输入格式 输入的第一行包含一个整数y，表示年份，年份在1900到2015之间（包含1900和2015）。 输入的第二行包含一个整数d，d在1至365之间。输出...
2018-09-02 09:43:15
177
原创 CCF 201503-3 节日
题目问题描述 有一类节日的日期并不是固定的，而是以“a月的第b个星期c”的形式定下来的，比如说母亲节就定为每年的五月的第二个星期日。 现在，给你a，b，c和y1, y2(1850 ≤ y1, y2 ≤ 2050)，希望你输出从公元y1年到公元y2年间的每年的a月的第b个星期c的日期。 提示：关于闰年的规则：年份是400的整数倍时是闰年，否则年份是4的倍数并且不是100的倍数时是闰...
2018-09-02 09:40:47
269
原创 CCF 201509-4 高速公路
题目问题描述 某国有n个城市，为了使得城市间的交通更便利，该国国王打算在城市之间修一些高速公路，由于经费限制，国王打算第一阶段先在部分城市之间修一些单向的高速公路。 现在，大臣们帮国王拟了一个修高速公路的计划。看了计划后，国王发现，有些城市之间可以通过高速公路直接（不经过其他城市）或间接（经过一个或多个其他城市）到达，而有的却不能。如果城市A可以通过高速公路到达城市B，而且城市B也可...
2018-09-02 00:33:44
944
原创 CCF 201503-4 网络延时
题目问题描述 给定一个公司的网络，由n台交换机和m台终端电脑组成，交换机与交换机、交换机与电脑之间使用网络连接。交换机按层级设置，编号为1的交换机为根交换机，层级为1。其他的交换机都连接到一台比自己上一层的交换机上，其层级为对应交换机的层级加1。所有的终端电脑都直接连接到交换机上。 当信息在电脑、交换机之间传递时，每一步只能通过自己传递到自己所连接的另一台电脑或交换机。请问，电脑与电...
2018-08-29 23:23:07
322
原创 CCF 201503-2 数字排序
题目问题描述 给定n个整数，请统计出每个整数出现的次数，按出现次数从多到少的顺序输出。输入格式 输入的第一行包含一个整数n，表示给定数字的个数。 第二行包含n个整数，相邻的整数之间用一个空格分隔，表示所给定的整数。输出格式 输出多行，每行包含两个整数，分别表示一个给定的整数和它出现的次数。按出现次数递减的顺序输出。如果两个整数出现的次数一样多，则先输出值较小的，然...
2018-08-29 21:52:44
235
原创 CCF 201412-4 最优灌溉
题目问题描述 雷雷承包了很多片麦田，为了灌溉这些麦田，雷雷在第一个麦田挖了一口很深的水井，所有的麦田都从这口井来引水灌溉。 为了灌溉，雷雷需要建立一些水渠，以连接水井和麦田，雷雷也可以利用部分麦田作为“中转站”，利用水渠连接不同的麦田，这样只要一片麦田能被灌溉，则与其连接的麦田也能被灌溉。 现在雷雷知道哪些麦田之间可以建设水渠和建设每个水渠所需要的费用（注意不是所有麦田之间都可以...
2018-08-28 16:26:30
257
原创 CCF 201412-3 集合竞价
问题问题描述 某股票交易所请你编写一个程序，根据开盘前客户提交的订单来确定某特定股票的开盘价和开盘成交量。 该程序的输入由很多行构成，每一行为一条记录，记录可能有以下几种： 1. buy p s 表示一个购买股票的买单，每手出价为p，购买股数为s。 2. sell p s 表示一个出售股票的卖单，每手出价为p，出售股数为s。 3. cancel i表示撤销第i行的记录。...
2018-08-26 23:30:43
601
2
原创 CCF 201412-2 Z字形扫描
题目问题描述 在图像编码的算法中，需要将一个给定的方形矩阵进行Z字形扫描(Zigzag Scan)。给定一个n×n的矩阵，Z字形扫描的过程如下图所示： 对于下面的4×4的矩阵， 1 5 3 9 3 7 5 6 9 4 6 4 7 3 1 3 对其进行Z字形扫描后得到长度为16的序列： 1 5 3 9 7 3 9 5 4 7 3 6 6 4 1 3 请实现一...
2018-08-26 20:43:04
162
原创 CCF 201409-4 最优配餐
问题问题描述 栋栋最近开了一家餐饮连锁店，提供外卖服务。随着连锁店越来越多，怎么合理的给客户送餐成为了一个急需解决的问题。 栋栋的连锁店所在的区域可以看成是一个n×n的方格图（如下图所示），方格的格点上的位置上可能包含栋栋的分店（绿色标注）或者客户（蓝色标注），有一些格点是不能经过的（红色标注）。 方格图中的线表示可以行走的道路，相邻两个格点的距离为1。栋栋要送餐必须走可以行走的...
2018-08-24 22:24:29
707
原创 CCF 201409-3 字符串匹配
问题问题描述 给出一个字符串和多行文字，在这些文字中找到字符串出现的那些行。你的程序还需支持大小写敏感选项：当选项打开时，表示同一个字母的大写和小写看作不同的字符；当选项关闭时，表示同一个字母的大写和小写看作相同的字符。输入格式 输入的第一行包含一个字符串S，由大小写英文字母组成。 第二行包含一个数字，表示大小写敏感的选项，当数字为0时表示大小写不敏感，当数字为1时表示大小...
2018-08-24 21:32:21
546
原创 CCF 201403-4 无线网络
问题问题描述 目前在一个很大的平面房间里有 n 个无线路由器,每个无线路由器都固定在某个点上。任何两个无线路由器只要距离不超过 r 就能互相建立网络连接。 除此以外,另有 m 个可以摆放无线路由器的位置。你可以在这些位置中选择至多 k 个增设新的路由器。 你的目标是使得第 1 个路由器和第 2 个路由器之间的网络连接经过尽量少的中转路由器。请问在最优方案下中转路由器的最少个数是多...
2018-08-22 12:29:52
2427
原创 CCF 201403-3 命令行选项
问题问题描述 请你写一个命令行分析程序,用以分析给定的命令行里包含哪些选项。每个命令行由若干个字符串组成,它们之间恰好由一个空格分隔。这些字符串中的第一个为该命令行工具的名字,由小写字母组成,你的程序不用对它进行处理。在工具名字之后可能会包含若干选项,然后可能会包含一 些不是选项的参数。 选项有两类:带参数的选项和不带参数的选项。一个合法的无参数选项的形式是一个减号后面跟单个小写字母...
2018-08-21 22:14:41
240
原创 CCF 201312-5 I'm stuck!
问题问题描述 给定一个R行C列的地图，地图的每一个方格可能是'#', '+', '-', '|', '.', 'S', 'T'七个字符中的一个，分别表示如下意思： '#': 任何时候玩家都不能移动到此方格； '+': 当玩家到达这一方格后，下一步可以向上下左右四个方向相邻的任意一个非'#'方格移动一格； '-': 当玩家到达这一方格后，下一步可以向左右两个方向相邻的一个非'#...
2018-08-18 17:02:29
320
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人