机器学习
文章平均质量分 87
想努力的人
世界很好
展开
-
版本问题---keras和tensorflow的版本对应关系
转自:https://www.cnblogs.com/carle-09/p/11661261.html版本问题---keras和tensorflow的版本对应关系keras和tensorflow的版本对应关系,可参考:Framework Env name (--env parameter) Description Docker Image Packages and Nvidia Settings TensorFlow 1.14 tensorflow-1.1...转载 2021-01-21 14:25:04 · 1303 阅读 · 0 评论 -
学习的网址记录
智能问答系统产品设计详解http://www.woshipm.com/pd/3414748.html原创 2020-11-03 16:43:05 · 102 阅读 · 0 评论 -
知识蒸馏中的知识
https://www.cnblogs.com/jins-note/p/9679450.html1. T参数是什么?有什么作用?T参数为了对应蒸馏的概念,在论文中叫的是Temperature,也就是蒸馏的温度。T越高对应的分布概率越平缓,为什么要使得分布概率变平缓?举一个例子,假设你是每次都是进行负重登山,虽然过程很辛苦,但是当有一天你取下负重,正常的登山的时候,你就会变得非常轻松,可以比别人登得高登得远。同样的,在这篇文章里面的T就是这个负重包,我们知道对...转载 2020-11-03 14:07:16 · 658 阅读 · 0 评论 -
文本分类 tricks
tricks模型训练好后,分类训练集和验证集中以很高的置信度做出错误决策的样本,然后去做这些bad cases的分析,如果发现错误标注有很强的规律性,则直接写一个脚本纠正(只要确保纠正后的标注正确率比纠正前明显高就行),如果没有什么规律,但是发现模型高置信度做错这些样本大部门都是标注错误的话,就直接删除这些样本,...原创 2020-04-15 17:07:21 · 330 阅读 · 0 评论 -
机器学习中的正则化(Regularization)
转自:https://www.jianshu.com/p/569efedf6985文中部分图片摘自吴恩达deeplearning课程的作业,代码及课件在我的github:DeepLearning 课件及作业关于本篇正则化的具体路径是:正则化作业正则化的概念及原因简单来说,正则化是一种为了减小测试误差的行为(有时候会增加训练误差)。我们在构造机器学习模型时,最终目的是让模型在...转载 2020-03-20 17:39:04 · 588 阅读 · 0 评论 -
一行代码自动调参,支持模型压缩指定大小,Facebook升级FastText
参与:一鸣、亚洲FastText 作为一款使用简单、运行快速的自然语言处理工具,获得了很多研究者和开发者的喜爱。美中不足的是,FastText 之前没有自动调参的功能。近日,Facebook 更新了这一工具,用户只需要在命令行增加一句代码,工具可以根据用户数据自动调整超参数,使得模型在指定标签或整体数据上达到最佳效果。同时,其可以进行模型压缩,并自动在压缩过程中调整参数。即使模型足够小,也依...转载 2020-03-19 09:37:27 · 625 阅读 · 0 评论 -
机器学习笔记
1、机器学习为什么要打乱数据机器学习中的训练是用已知的输入数据来修改模型中的参数,以将其泛化到新的数据上。假设输入数据大致可以分为两类。若不将输入数据打乱,则在训练时模型的参数首先用于拟合第一种类型的数据,而当大量的第一类数据连续输入训练时,极易造成参数在第一类数据上过拟合。当这一任务完成后,产生的模型显然不适用与第二类数据,此时开始连续输入第二类数据,这时模型又要尽力逼近第二类数据,造成...原创 2020-03-11 19:35:24 · 182 阅读 · 0 评论 -
用半监督算法做文本分类(自训练)
转自:https://www.cnblogs.com/lookfor404/p/9692669.html转载 2020-02-14 18:18:05 · 1554 阅读 · 0 评论 -
自然语言处理-错字识别(基于Python)kenlm、pycorrector
转载请注明出处:https://blog.csdn.net/HHTNANn元分词法参见:https://blog.csdn.net/HHTNAN/article/details/62046652关于kenlm统计语言模型:https://blog.csdn.net/HHTNAN/article/details/84231733中文文本纠错划分中文文本纠错任务,常见错误类型包括:谐音...转载 2019-11-04 14:29:02 · 2379 阅读 · 0 评论 -
Keras 中构建神经网络的 5 个步骤
转自:https://juejin.im/post/59e43b5b6fb9a0452a3b5f4fKeras 中构建神经网络的 5 个步骤使用 Keras 创建、评价深度神经网络非常的便捷,不过你需要严格地遵循几个步骤来构建模型。在本文中我们将一步步地探索在 Keras 中创建、训练、评价深度神经网络,并了解如何使用训练好的模型进行预测。在阅读完本文后你将了解:如何在 Ker...转载 2018-11-15 17:27:38 · 3432 阅读 · 0 评论 -
玩转fasttext
http://albertxiebnu.github.io/fasttext/转载 2018-11-05 10:46:18 · 195 阅读 · 0 评论 -
机器学习-KNN
机器学习算法-K最近邻从原理到实现Posted on 2015-05-21 20:34 | In ML | 0 comment | views : 3195源码:https://github.com/csuldw/MachineLearning/tree/master/KNN决策树和基于规则的分类器都是积极学习方法(eager learner)的例子,因为一旦训练数据可用,...转载 2018-03-02 11:12:50 · 261 阅读 · 0 评论 -
机器学习-svm
总结:目标函数:M = 2 / ||w||找到“支持向量”的两个超平面,使得两超平面之间的距离最大(求取M最大)其中y(wx+b)>=1,因为y的取值是1和-1,而(wx+b)的取值是负无穷到-1和正无穷到1乘积必大于等于1.求取的参数:W和b其中,W是向量核函数将特征由低维空间映射到高维空间(线性核、多项式核、高斯核、拉普拉斯核、Sigmoid核)使用目标函数时,有时会发生过拟合。此时常常...转载 2018-03-02 18:03:18 · 291 阅读 · 0 评论 -
机器学习43条军规:解密谷歌机器学习工程最佳实践
书接上回:机器学习43条军规:解密谷歌机器学习工程最佳实践(上) Human Analysis of the System在更进一步之前,我们需要了解一些机器学习课程上不会教你的内容:如何观察分析模型,并改进它。用作者的话说,这更像是一门艺术 ,但仍然有一些规律可循。Rule #23: You are not a typical end user.规则23:你不是一个典型的终端...转载 2018-08-23 14:01:33 · 211 阅读 · 0 评论 -
sklearn计算准确率和召回率----accuracy_score、metrics.precision_score、metrics.recall_score
转自:http://d0evi1.com/sklearn/model_evaluation/accuracy_score ** clf.score(X_test, y_test)引用的就是accuracy_score方法(clf为分类器对象)accuracy_score函数计算了准确率,不管是正确预测的fraction(default),还是count(normalize=False...转载 2018-09-08 17:40:10 · 48601 阅读 · 0 评论 -
机器学习算法实践-支持向量机(SVM)算法原理
转自:https://zhuanlan.zhihu.com/p/28660098前言关于SVM的算法实践我打算分成多个部分进行总结。本文为第一部分主要介绍SVM的原理以及相关算法的简单推导,其中包括SVM原理,最初表达式,标准形式以及对偶形式(二次规划问题),形式变化过程中涉及到求解有约束优化问题的拉格朗日乘子法以及KKT条件等。什么是支持向量机对于线性可分两类数据,支持向量机就是...转载 2018-09-05 18:39:35 · 828 阅读 · 0 评论 -
【机器学习】Cross-Validation(交叉验证)详解
转自:https://zhuanlan.zhihu.com/p/24825503本文章部分内容基于之前的一篇专栏文章:统计学习引论 交叉验证作用:一般你肯定不会只尝试一种模型,而一种模型又有很多参数是需要你控制的。所以这么说吧,测试结果(MSE)可以决定你是什么模型,比如是用linear regression还是SVM,也可以决定SVM模型里各个参数应该定什么值更合理。在机器学习里...转载 2018-09-13 09:37:55 · 5435 阅读 · 0 评论 -
gensim中word2vec的使用及其原理注意点
1 、Word2vec的使用from gensim.models import Word2Vecsentences = [['你好'], ['大家'], ['今天']]model = Word2Vec(min_count=1)model.build_vocab(sentences)model.train(sentences, total_examples=model.corpus_...原创 2018-10-18 14:05:05 · 1603 阅读 · 1 评论 -
机器学习比较好的文章
百度开源FAQ问答系统--AnyQhttps://www.jiqizhixin.com/articles/2018-08-24-17原创 2018-10-25 13:48:15 · 236 阅读 · 0 评论 -
生成模型和判别模型
我的理解:生成模型相当统计全国男女比例,判别模型相当于抽样分析一个省的男女比例作为全国男女比例假设你现在有一个分类问题,x是特征,y是类标记。用生成模型学习一个联合概率分布P(x,y),而用判别模型学习一个条件概率分布P(y|x)。用一个简单的例子来说明这个这个问题。假设x就是两个(1或2),y有两类(0或1),有如下如下样本(1,0)、(1,0)、(1,1)、(2,1)则学习到的联合概率分布(生...转载 2018-03-01 15:01:52 · 311 阅读 · 0 评论