lrt366的博客

转自：http://tech.dianwoda.com/2018/04/23/te-zheng-gong-cheng/背景在之前学习机器学习技术中，很少关注特征工程(Feature Engineering)，而且机器学习的书中基本上是已经处理好的数据或者作者自己构造的虚拟的数据。所以在机器学习的实践中，可能会选择使用这些算法，但是常常不知道怎么提取特征来建模。因此，结合网上的资料和项目中的经验试着来总结一下。特征是什么特征是对于分析和解决问题有用、有意义的属性。例如：在表格数据中，表.

转自：https://www.cnblogs.com/bjwu/p/9103002.html特征选择是一个重要的数据预处理过程，在现实机器学习任务中，获得数据之后通常先进行特征选择，此后在训练学习器，如下图所示：进行特征选择有两个很重要的原因：避免维数灾难：能剔除不相关(irrelevant)或冗余(redundant )的特征，从而达到减少特征个数，提高模型精确度，减少运行时间...

目录pretrained model Sentence (and sentence-pair) classification tasks glue data数据集 运行 pretraining step1. create-pretraining-data step2. run-pretraining pretrain tips and caveats 抽取feat...

转载：https://tech.ifeng.com/c/7pqoBttuWS0选自Medium作者：Victor Sanh机器之心编译参与：魔王过去一段时间，大模型层出不穷。在大家纷纷感叹「大力出奇迹」的时候，作为调用预训练语言模型最流行的库，HuggingFace 尝试用更少的参数量、更少的训练资源实现同等的性能，于是知识蒸馏版 BERT——DistilBERT 应运而...

转自：https://blog.csdn.net/Rilke1028/article/details/91799702研究方法 | SCI 必备：3 款强大的英文论文写作神器一提到 SCI 写作，即使是科研大神，也常常会有这样的烦恼：尽管阅文献破万卷，还是逃脱不出 Chinglish 的魔掌。好不容易憋出万字长文，语法却错漏百出。Word 本身自带语句检测的功能，写作的拼写和简单语...

转自：https://blog.csdn.net/ying_xu/article/details/51240291

转自：https://oldpan.me/archives/careful-train-loss-nan-inf前言训练或者预测过程中经常会遇到训练损失值或者验证损失值不正常、无穷大、或者直接nan的情况：遇到这样的现象，通常有以下几个原因导致：梯度爆炸造成Loss爆炸原因很简单，学习率较高的情况下，直接影响到每次更新值的程度比较大，走的步伐因此也会大起来。如下图，过大的学...

记录一次小白的tensorflow学习过程，也为有同样困扰的小白留下点经验。先说我出错和解决的过程。在做风格迁移实验时，使用预加载权重的VGG19网络正向提取中间层结果，结果因为代码不当，在遍历图片提取时内存持续增长，导致提取几十个图片的特征内存就满了。原因是在对每一张图片正向传播结束后，都会在留下中间信息。具体地说是在我将正向传播的代码与模型的代码分离了，在每次遍历图片时都会正向传播，在...

转自：https://cloud.tencent.com/developer/article/1365920问题背景：最近在做一个文本多分类的项目，来源于实际的需求场景。具体的情况不多说，但是有一点需要说明的是，场景有多个，每个场景下都有自己的数据，这些数据都是短文本数据。不同的是每个场景中含有的数据量不同。一开始我们做的时候是从数据量最大的场景入手，有107万条训练数据，单词有7万多个，...

出处：http://blog.csdn.net/nirendao/article/details/44426201/在上篇博客中，提到了对一个脚本进行的多次优化。当时以为已经优化得差不多了，但是当测试人员测试时，我才发现，踩到了Python的一个大坑。在上文的优化中，对每500个用户，会进行一些计算并记录结果在磁盘文件中。原本以为这么做，这些结果就在磁盘文件中了，而不会再继续占...

转载地址：https://blog.csdn.net/shaququ/article/details/52100434在maillist里面看到无数次的有人问，python速度为什么这么慢，python内存管理很差。实话说，我前面已经说过了。如果你在意内存/CPU，不要用python，改用C吧。就算C不行，起码也用个go或者java。不过今天还是说说，python的内存为什么不释放。...

这方法很久之前就想弄了，网上( 百度 )除了 darknet 之外，没人弄这东西，无奈那时对 tf 的 Optimizer 和 梯度计算 理解很浅，没法弄，不久前看了个 tensorflow 的 eager run 的例子才弄懂 tf 的梯度计算方式。原理很简单，例如一个 batch 的 size = 100，直接放进显卡会溢出，那我把这个 batch 再分成 10 个 sub batch，每...

本文总结了Tensorflow内存溢出的各种原因，以及在此排查过程中使用的方法。本文在实现Tensorflow模型的保存(save)和重新调用(restore)过程中，程序总是发生内存溢出而中止的问题，所以对其进行故障排查。排查工具及步骤1. TensorboardTensorboard是Tensorflow提供的向用户展示模型结构以及运行结果等的可视化工具。当Tensorflow相...

计算机配置内存12G，显存4G，运行有10分钟左右就提醒说内存不够用然后退出运行，直觉是程序bug问题终于找到靠谱解决方案：http://cherishlc.iteye.com/blog/2324796这个博客的第二个给了大致的讲解，在给出的附录中：https://stackoverflow.com/documentation/tensorflow/3883/how-to-debug-a...

现象说明本地开发环境Mac Pycharm, 远程服务器CentOS tensorflow/cuDNN/CUDA，现象：ImportError: libcublas.so.9.0: cannot open shared object file关于配置Pycharm远程开发环境这位老兄写的非常详细，链接 > [ 点我 学搭建环境]学完搭建环境就回来，关于解决找不到运行...

问题及环境描述服务器：Ubuntu 16.04本机：MacOSPycharm版本：Professional 2017.02问题：pycharm远程调试服务器代码，matplotlib图像无法显示。报错内容为: _tkinter.TclError: no display name and no $DISPLAY environment variable参考找了很多解决方法，如设置matp...

转自：https://www.sohu.com/a/226543293_642762近年来，注意力（Attention）机制被广泛应用到基于深度学习的自然语言处理(NLP)各个任务中，之前我对早期注意力机制进行过一些学习总结（可见http://www.cnblogs.com/robert-dlut/p/5952032.html）。随着注意力机制的深入研究，各式各样的attention被研究者们...

替换方法：1.matrix = tf.get_variable("Matrix", [output_size, input_size], dtype=input_.dtype)=matrix = Variable(torch.randn(output_size, input_size))2.self.D_l2_loss = tf.constant(0.0)= sel...

https://blog.csdn.net/ycy0706/article/details/80425091

转自：https://blog.csdn.net/appleml/article/details/89643841self.h0 = tf.zeros([self.batch_size, self.hidden_dim])self.h0 = tf.stack([self.h0, self.h0]) ## 相当于 h0和C0 # generator on initial randomn...