TensorPro-CSDN博客

转载 NLP学习之数据增强问题思考

1.数据增强旨在通过变换生成现有训练样本的变体，从而创建更多的训练数据，这些变换往往可以反映现实世界中会发生的变化。在计算机视觉（CV）任务中，常见的数据增强方法有mirroring（镜像反转）、random cropping（随机裁剪）、shearing（修剪）等。它的效果十分显著，如在AlexNet[1]中具有出色的防止过拟合能力，它也因此被大多数最先进模型所使用。但是，在NLP任务中，数据增...

2018-05-31 14:15:45 3540

原创 python 路径加载问题

遇到 from package import * 报没有package的错误的时候import syssys.path.append('这个package的路径')然后重启一下当前的IDE即可.

2018-05-15 15:47:11 427

原创 NLP_中文处理（一）

1.分词分词之后保存好分词结果，避免每次模型都在分词上浪费时间import jiebaimport codecsf1 = open('C:/Users/DELL/Desktop/demo.txt','r',encoding = 'utf-8')f2 = open('C:/Users/DELL/Desktop/demo_cut.txt','w',encoding = 'utf-8') for li...

2018-05-11 14:50:00 987

原创 NLP数据处理采坑记

reload(sys)#sys.setdefaultencoding('utf8') 在Python 3.X 中没有了可以改成open('path',encoding = 'utf-8') 这样的形式

2018-04-21 13:21:21 204

原创 Synonyms：一个开源的中文近义词工具包

作者：Synonyms 项目的作者胡小夕是北京邮电大学研究生，目前实习于今日头条 AI LAB。从事自然语言处理方向研究，在智能客服，知识图谱等领域都有相关研究开发经验。工具包技术说明：该中文近义词工具包采用的基本技术是 Word2vec。Synonyms 的安装十分便捷，我们可以直接使用命令 pip install -U synonyms 完成。该工具包兼容 Python 2 和 Python ...

2018-03-19 11:04:04 4637

转载人工智能相关术语中英文对照

人工智能相关术语（按首字母排序）缩写英语汉语A Activation Function激活函数 Adversarial Networks对抗网络 Affine Layer仿射层 agent代理/智能体 algorithm算法 alpha-beta pruningα-β剪枝 anomaly detection异常检测approximation近似 AGIArtificial General In...

2018-03-18 16:57:53 8860

原创对偶学习_刘铁岩_微软亚洲研究院

1.人工智能的挑战（1）big training data ——》Labeling cost 观点：深度学习没有大量标记数据工作效果并不好，甚至不可工作。如：image classification 有上百万张标记图像 Speech recognition 有上千小时注解的语音数据 machine translation 数百外对对应句子 and ...

2018-03-18 16:55:09 453

原创 numpy的学习笔记\pandas学习笔记

1.numpy 的基础是ndarray对象（N维数组）,数据类型由dtype（data-type）决定。注意：每个ndarray都有一个唯一确定的dtype类型。即使没有显示定义，它有默认的类型。2。a = np.array([1,2,3]) a.shpe 查看多维数组的形状 a.ndim 查看数组的维度 a.size查看数组的个数3.要会创建数组，一般到二维就可以啦。4。关于dtype：每...

2018-03-18 16:54:20 261

原创机器学习&深度学习环境安装配置

1.使用Python，pycharm安装之后会需要大量手动pip 安装各种库，一种简单的方法：再安装anaconda一定要对应好版本，按照下面截图的箭头指示，去找包，然后install 就可以。注意：是安装在anaconda里面的，因为anaconda已经集成了很多需要的库。...

2018-03-18 16:52:45 1034

原创 2017搜狗AI技术开放日

一、人工智能60年回顾概述性的报告。知识学习，知识是对问题的定义。二、①AlphaGo Zero 从0开始学习，不依赖于人工设计特征，不依靠人类棋谱。——完全摆脱人类知识，从零学习。②深度学习存在的问题：大数据Vs小样本黑箱Vs可解释一次性学习VS增量学习固执己见VS知错能改猜测VS理解三、机器翻译 ①历史进程：基于...

2018-03-18 16:50:51 419

原创 NLP数据预处理（一）

自然语言预处理（英文）1.可以自己定义预处理函数，使用正则表达式，将不想要的字符去除。然后，打开要处理的文件，将文本进行处理。（实验中的数据是使用Tab制表符分开的英文句子，格式是：句子1，句子2，分数）这样就处理完成。得到三个list。。。当然，自然语言预处理绝非这么简单。这只是一小步。...

2018-03-16 17:37:55 2386

翻译 NLP任务中可参考的神经网络架构（Keras+TensorFlow）

1.CNN架构2.全连接网络模型3.RNN架构4.双向RNN架构5.序贯模型CNN+RNN6.函数式模型CNN+RNN7.函数式模型、序贯模型CNN+RNN（思路扩展）自己还尝试了交叉混合的架构：一层CNN+一层RNN+一层CNN+一层RNN。在实验数据上效果还不错。8.总结以上模型算是常见的几个NLP端到端的模型，且最后都是一个分类的模型。（如果任务不是分类模型可以修改）mode...

2018-03-16 16:45:40 790

weixin_39312449的博客