2020年03月_xieyan0811

11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创论文检索

科学文献数据库：http://arxiv.org查找arxiv上论文的工具：http://www.arxiv-sanity.com/, 可查找关键字相关的论文，并按时间远近排序，列表中也显示了introduce。show similar可查找与之类似的论文（内部使用tf/idf方法实现）...

2020-03-23 10:13:13 355

原创实战文本分类对抗攻击

文章写得比较长，先列出大纲，以便读者直取重点。“文本分类对抗攻击”是清华大学和阿里安全2020年2月举办的一场AI比赛，从开榜到比赛结束20天左右，内容是主办方在线提供1000条辱骂样本，参赛者用算法逐条扰动，使线上模型将其判别为非辱骂样本，尽量让扰动较小同时又保留辱骂性质（辱骂性质前期由模型判定，最终由人工判定）。比赛规则线上模型和评测使用的1000条样本不公开，选手根据赛方指定...

2020-03-15 10:29:56 3911

Fasttext源于2016年的论文《Bag of Tricks for Efficient Text Classification》，论文地址：https://arxiv.org/pdf/1607.01759.pdf。论文非常短，加上References不过五页，Model architecture只有一页。深度学习神经网络在自然语言处理中表现非常优秀，但动辄几十层，上亿参数的大型网络速度慢...

2020-03-15 09:54:33 1172

原创强化学习（一）基本概念和工具

引入强化学习是与人类的学习最为相似的一种算法，它根据现有的经验和当前的环境做出预判，然后选择下一步的目标和行动。强化学习、有监督学习、无监督学习，有着不同的方法和不同的使用场景。有监督学习适合解决具体而确定的，已知答案的问题，比如分类问题；无监督学习用于从大量数据中发现内在结构；而强化学习既不像有监督学习定义了绝对的对错，也不像无监督学习那样毫无反馈，它通过与环境的互动，环境对行为的反馈来...

2020-03-13 20:08:50 345

原创轻量级BERT模型ALBERT

BERT有很多改进版本，ALBERT是一个轻量化版本。ALBERT源自2020年的发表论文《ALBERT: A LITE BERT FOR SELF-SUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS》，论文地址：https://arxiv.org/pdf/1909.11942.pdf。从题目可以看出，论文重点是轻量化BERT模型，以及优化了半监督学习，...

2020-03-13 12:16:01 2460

原创少儿Python编程_第十七讲：互联网和Web服务

现在人们每天都在使用网络，交通、住宿、购物、外出吃饭大多数都用手机操作，甚至很多人出门都不带钱包。如果家里断网，或者手机断网，那么用微信、看新闻、看视频、网购、手机支付都将无法使用。网络到底是什么?每一台手机、电脑、以及远程的服务又是如何连接？如何传输数据？如何开发自己的网站，需要哪些技术？本讲将一一为读者解答。17.1 互联网早期接入网络的只有计算机，所以称为计算机网络，后来又有手机...

2020-03-12 16:51:40 328

原创序列对抗网络SeqGAN

SeqGAN源自2016年的论文《SeqGAN: Sequence Generative Adversarial Nets with Policy Gradient》，论文地址：https://arxiv.org/pdf/1609.05473.pdf。其核心是用生成对抗网络处理离散的序列数据。之前介绍了使用GAN生成图像的方法，由于图像是连续数据，可以使用调整梯度的方法逐步生成图像，而离散数据...

2020-03-12 15:50:09 9926 4

原创梯度攻击

模型攻击主要指人为地制造干扰迷惑模型，使之产生错误的结果。随着深度学习模型的广泛使用，人们发现它很容易被数据的轻微扰动所欺骗，于是开始寻找更加有效的攻击方法，针对攻击又有对抗攻击的方法，二者相互推进，不仅加强了模型的健壮性，有时还能提升模型的准确度。原理想让攻击更加有效，导致模型分类错误，也就是使损失函数的值变大。正常训练模型时，输入x是固定的，标签y也是固定的，通过训练调整分类模型的参数...

2020-03-11 10:23:53 3588 1

原创自然语言处理——使用词向量（腾讯词向量）

向量化是使用一套统一的标准打分，比如填写表格：年龄、性别、性格、学历、经验、资产列表，并逐项打分，分数范围[-1,1]，用一套分值代表一个人，就叫作向量化，虽然不能代表全部，但至少是个量度。因此，可以说，万物皆可向量化。词向量同理，词也可以向量化word2vec（word to vector），可以从词性、感情色彩、程度等等方面量度，用一套分值代表一个词，从而词之间可以替换，比较。词与向量...

2020-03-08 17:49:14 5816 1