![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
是晨星啊
keep coding...
展开
-
数据分类是否一定要求样本均衡
答案是不一定的。在做关系分类的时候,发现,样本中包含unknown关系是最多的,如果强行去做样本均衡,反而降低了模型的分类能力。原创 2020-05-11 16:38:09 · 430 阅读 · 0 评论 -
关系分类 relation classification
关系分类如果有四类,包括unknown在内,unknown必须保留。如果拆成4个二分类,即使每个二分类的准确率为90%,最终的结果也只有90% ×90%× 90% ×90% = 60%,没有意义。...原创 2020-02-03 22:51:56 · 777 阅读 · 0 评论 -
强化学习 RL -> DQN -> 智能体Agent
reinforcement n. 加强; 增援; 补给品; 援军;Reinforcement Learning 强化学习 (好像增强学习用的少一点)Deep Reinforcement Learning,DQN 深度强化学习Playing Atari with Deep Reinforcement Learning DQN 从入门到放弃1 DQN与增强学习 https:/...转载 2018-08-24 19:44:25 · 2590 阅读 · 0 评论 -
数据集不均衡问题
1,扩充数据集 2,对数据集进行重采样 3,人造数据 SMOTE 4,改变分类算法 5,尝试其它评价指标 比如 mAP https://blog.csdn.net/login_sonata/article/details/54290402 https://blog.csdn.net/heyongluoyao8/article/details/49408131...转载 2019-05-08 12:10:49 · 638 阅读 · 0 评论 -
window上安装fasttext
shift + 右键进入当whl文件所在的文件夹下,然后Pip install fasttext-0.8.3-cp36-cp36m-win_amd64.whlhttps://www.lfd.uci.edu/~gohlke/pythonlibs/#fasttext转载 2018-10-09 18:28:00 · 2019 阅读 · 0 评论 -
机器学习与深度学习
共同点:都有学习这一过程预测:根据学习阶段学习到的模型参数,预测结果,模型可以是联合概率模型(分布)先学习,后分类或预测。原创 2018-10-22 11:05:19 · 166 阅读 · 0 评论 -
优化器综述
如何选择优化器非常好的一篇博客,翻译综述论文https://blog.csdn.net/aliceyangxi1987/article/details/73210204转载 2018-10-22 20:19:40 · 330 阅读 · 0 评论 -
朴素贝叶斯法
朴素贝叶斯法是基于贝叶斯定理和特征条件独立假设的分类方法。对于给定的训练数据集,首先基于特征条件独立假设学习输入或输出的联合概率分布,然后基于联合概率分布,对给定的输入x,利用贝叶斯定理求出后验概率最大的输出y。-----个人瞎琢磨的------先验和后验是相对于结果而言的(Y)先验概率 P(Y=c_k) 样本的分布概率(频率),可以通过统计得到条件概率 P(X=x|Y=c_k)...原创 2018-10-21 23:03:38 · 103 阅读 · 0 评论 -
训练集、验证集、测试集
validation_data: tuple (x_val, y_val) or tuple (x_val, y_val, val_sample_weights) on which to evaluate the loss and any model metrics at the end of each epoch. The model will not be trained on this da...转载 2018-12-30 15:57:36 · 742 阅读 · 0 评论 -
hyperdash
pip install hyperdashhyperdash loginhd login --githubhyperdash run --n filename python3 run.py–n name, assign a name to the run file, to log the log in cellphone.原创 2019-01-02 13:17:40 · 327 阅读 · 0 评论 -
特征工程
“数据决定了机器学习的上限,而算法只是尽可能逼近这个上限”,这里的数据指的就是经过特征工程得到的数据。特征工程指的是把原始数据转变为模型的训练数据的过程,它的目的就是获取更好的训练数据特征,使得机器学习模型逼近这个上限。特征工程能使得模型的性能得到提升,有时甚至在简单的模型上也能取得不错的效果。特征工程在机器学习中占有非常重要的作用,一般认为括特征构建、特征提取、特征选择三个部分。特征构建比较麻烦...转载 2019-02-22 20:03:37 · 161 阅读 · 0 评论 -
kd树之中位数问题
统计学习方法一书在41页根据x维上的值将数据排序,6个数据的中值(所谓中值,即中间大小的值)为什么为7,为什么不是5或者6呢?5和7的平均值不是6吗?摘自维基百科kd-tree的Python代码point_list.sort(key=itemgetter(axis))median = len(point_list) // 2 # choose medianlocation=point_l...转载 2019-02-20 16:32:32 · 1893 阅读 · 6 评论 -
在 Windows下使用 fastText
gemsim-fastTextUserWarning: C extension not loaded, training will be slow. Install a C compiler and reinstall gensim for fast training. "C extension not loaded, training will be slow. &a原创 2019-03-10 15:20:44 · 2121 阅读 · 0 评论 -
micro 和 macro F1 值 的区别?
http://sofasofa.io/forum_main_post.php?postid=1001112转载 2019-04-11 16:23:58 · 4651 阅读 · 0 评论 -
多任务学习Multi-Task Learning
介绍多任务学习http://ruder.io/multi-task/https://zhuanlan.zhihu.com/p/52566508多任务学习概述论文:从定义和方法到应用和原理分析https://www.jiqizhixin.com/articles/nsr-jan-2018-yu-zhang-qiang-yang多任务学习综述https://caoxiaoqing.git...原创 2019-05-09 13:13:41 · 621 阅读 · 0 评论 -
随机森林 RF
bagging的代价是不用单棵决策树来做预测,具体哪个变量起到重要作用变得未知,所以bagging改进了预测准确率但损失了解释性。Bagging与随机森林有什么区别呢? Bagging 随机有放回抽样。 RF在以决策树为基学习器构建Bagging集成的基础上,进一步在决策树的训练过程中引入随机属性选择。 传统决策树在选择划分属性时是在当前结点的属性集合中选择一个最优属性;而在RF中,基...转载 2018-08-23 20:34:50 · 222 阅读 · 0 评论 -
从 DCG 到 IDCG 再到 NDCG
从DCG 到 IDCG 变的是 reli, i 只是文章在列表的相对位置,不用改,可以参考链接 4,即 reli 对应相应的文章。参考链接: 1. https://www.cnblogs.com/eyeszjwang/articles/2368087.html 2. https://blog.csdn.net/u010670689/article/details/73196054 3....原创 2018-08-03 16:07:00 · 3300 阅读 · 0 评论 -
一张图看懂AI、机器学习和深度学习的区别
机器学习则是人工智能领域的一个小分支,如果说AI是一个合集,那么ML就是AI的子集。 任何通过数据训练的学习算法的相关研究都属于机器学习,包括很多已经发展多年的技术,比如线性回归(Linear Regression)、K均值(K-means,基于原型的目标函数聚类方法)、决策树(Decision Trees,运用概率分析的一种图解法)、随机森林(Random Forest,运用概率分析的一种图解...转载 2018-07-22 11:22:59 · 2708 阅读 · 0 评论 -
激励函数
http://blog.csdn.net/dabokele/article/details/58713727“Elu”介绍 http://blog.csdn.net/mao_xiao_feng/article/details/53242235?locationNum=9&fps=1 ELU通过在正值区间取输入x本身减轻了梯度弥散问题(x>0区间导数处处为1),这一点特性这四种激活函数都具备。四者转载 2017-10-10 21:14:31 · 744 阅读 · 0 评论 -
激励函数
激励函数线性 linear kernel Identity function非线性 non-linear kernel Sigmoid、tanh 关系:tanh(x/2) = 2sigmoid(x)-1 relu激励函数对比 1.Selu 全称:scaled exponential linear units 函数图像: 优点(适用场景)2.Relu 全称: 函数...原创 2018-03-15 09:15:52 · 623 阅读 · 0 评论 -
BN
(批)规范化BatchNormalization 【Tips】BN层的作用(1)加速收敛 (2)控制过拟合,可以少用或不用Dropout和正则 (3)降低网络对初始化权重不敏感 (4)允许使用较大的学习率...原创 2018-03-16 10:11:09 · 700 阅读 · 0 评论 -
激活函数
https://blog.csdn.net/piaodexin/article/details/77162766转载 2018-04-05 15:37:28 · 146 阅读 · 0 评论 -
机器学习笔记
定义Training set: A set of examples used for learning, which is to fit the parameters [i.e., weights] of the classifier. Validation set: A set of examples used to tune the parameters [i.e., architec...转载 2018-04-23 10:46:09 · 127 阅读 · 0 评论 -
最小二乘法和极大似然估计
对于最小二乘法,当从模型总体随机抽取n组样本观测值后,最合理的参数估计量应该使得模型能最好地拟合样本数据,也就是估计值和观测值之差的平方和最小。而对于最大似然法,当从模型总体随机抽取n组样本观测值后,最合理的参数估计量应该使得从模型中抽取该n组样本观测值的概率最大。显然,这是从不同原理出发的两种参数估计方法。在最大似然法中,通过选择参数,使已知数据在某种意义下最有可能出现,而某种意义通常指似然函...转载 2018-04-24 14:53:44 · 812 阅读 · 0 评论 -
《统计学习方法》读书笔记
统计学与机器学习 统计学与机器学习 马春鹏《PRML中文版_模式识别与机器学习》原创 2018-04-25 23:22:30 · 613 阅读 · 0 评论 -
集成学习 > Bagging, Boosting, Stacking
集成学习 > Bagging, Boosting, Stacking https://blog.csdn.net/Mr_tyting/article/details/72957853 https://blog.csdn.net/wstcjf/article/details/77989963 training set包含10000行数据,testing set包含250...原创 2018-04-25 23:23:19 · 164 阅读 · 0 评论 -
GBDT 和 AdaBoost
Bias Variance Trade-off https://blog.csdn.net/yangxudong/article/details/53872141 https://www.zhihu.com/question/41354392原创 2018-04-25 23:23:44 · 224 阅读 · 0 评论 -
KD 树
kd 树的中位数怎么选? https://blog.csdn.net/u012422446/article/details/56486342 https://blog.csdn.net/google19890102/article/details/54291615 https://leileiluoluo.com/posts/kdtree-algorithm-and-imple...原创 2018-04-26 10:47:33 · 140 阅读 · 0 评论 -
坐标下降法和交替最小二乘法的区别是什么?
坐标下降法(Coordinate Descent) 交替最小二乘法(ALS) 随机梯度下降(SGD)原创 2018-05-25 23:02:31 · 1284 阅读 · 0 评论 -
误差与偏差的区别
误差是指结果与真实值之间的差值,而偏差则是指结果与平均值之间的差值,都是对单个样本而言,只不过误差的参照物只有一个,而偏差的参照物是群体的平均值,个体相对群体的平均水平的差值。评分预测中,对于单个评分 r_ij,预测评分为 r_ij_hat,评分矩阵的所有已知项评分的平均值为 r_ij_mean,则误差error= r_ij - r_ij_hat, bias = r_ij - r_ij_mea...原创 2018-06-06 20:54:01 · 28540 阅读 · 0 评论 -
信息检索 IR 中的评价指标
知识点文本检索常用的评价指标:MAP、nDCG、ERR、F-score/F-measure以及附加的Precision、Recall、AveP、CG、DCG、IDCG、MRR、cascade models https://blog.csdn.net/u010138758/article/details/69936041为了将 mAP 迁移到图像的多标签分类任务中来。...原创 2018-06-14 01:56:28 · 694 阅读 · 0 评论 -
kNN算法
from numpy import *import operatordef createDateSet(): group = array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]]) labels = ['A', 'A', 'B', 'B'] return group, labelsgroup, labels = cre...原创 2018-06-28 10:34:30 · 210 阅读 · 0 评论 -
SVM 学习
SVM是Support Vector Machines(支持向量机)的缩写,可以用来做分类和回归。 SVC是SVM的一种Type,是用来的做分类的。 SVR是SVM的另一种Type,是用来的做回归的。SVM多分类 SVMs(Surport Vector Machines)是用来解决两分类问题的,直接用SVMs实现多分类是不行的,只能使用下面这些间接的方法:(1)1-v-r,即对于每一...转载 2018-07-19 20:53:40 · 205 阅读 · 0 评论 -
优化器——梯度下降优化算法综述
如何选择SGD优化器 Reference https://blog.csdn.net/u010248552/article/details/79764340 https://zhuanlan.zhihu.com/p/22252270 http://www.cnblogs.com/ranjiewen/p/5938944.html 如果你的数据特征是稀疏的,那么你最好使用自适应学习速率S...转载 2017-09-22 20:50:53 · 1253 阅读 · 0 评论