hfzd24的博客

今天我们聊聊机器学习中出现的非常频繁的问题：过拟合与规则化。我们先简单的来理解下常用的L0、L1、L2和核范数规则化。最后聊下规则化项参数的选择问题。这里因为篇幅比较庞大，为了不吓到大家，我将这个五个部分分成两篇博文。知识有限，以下都是我一些浅显的看法，如果理解存在错误，希望大家不吝指正。谢谢。        监督机器学习问题无非就是“minimizeyour error while re

机器学习算法太多了，分类、回归、聚类、推荐、图像识别领域等等，要想找到一个合适算法真的不容易，所以在实际应用中，我们一般都是采用启发式学习方式来实验。通常最开始我们都会选择大家普遍认同的算法，诸如SVM，GBDT，Adaboost，现在深度学习很火热，神经网络也是一个不错的选择。假如你在乎精度（accuracy）的话，最好的方法就是通过交叉验证（cross-validation）对各个算法一个个地

LSTM理论推导总结目录1.      传统RNN的问题：梯度的消失和爆发2.      LSTM对问题的解决方式3.      LSTM对模型的设计4.      LSTM训练的核心思路和推导5.      近期LSTM的模型的改进6.      LSTM的工作特性的研究7.      一些可能存在的问题8.      总结9.      参考文献 

[译] 理解 LSTM 网络Not_GOD2015.08.28 12:36* 字数 3362 阅读 171335评论 70喜欢 346赞赏 25Neil Zhu，简书ID Not_GOD，University AI 创始人 & Chief Scientist，致力于推进世界人工智能化进程。制定并实施 UAI 中长期增长战略和目标，带领团队快速成长为人

一、为什么做特征选择提升效果，让分类更准确和泛化效果更好。奥卡姆剃刀原理告诉我们“若无必要，勿增实体”。特征的增多会大大增加分类算法求解的搜索空间，大多数训练算法所需样本数量随着不相关特征数量的增加而显著增加。除了识别和去除出不相关的特征和冗余的特征外，一些特征添加后虽然能让模型更好的拟合训练数据，但因为复杂度的增加导致模型有更高的variance误差，过拟合的后果是在测试数据集上效果反而

n）[1]，LR是广义线性模型，与传统线性模型相比，LR使用了Logit变换将函数值映射到0~1区间[2]，映射后的函数值就是CTR的预估值。LR这种线性模型很容易并行化，处理上亿条训练样本不是问题，但线性模型学习能力有限，需要大量特征工程预先分析出有效的特征、特征组合，从而去间接增强LR的非线性学习能力。      LR模型中的特征组合很关键， 但又无法直接通过特征笛卡尔积解决，只能依靠人工

关键词：聚类，K-means，scikit-learn，python摘要：本文主要介绍聚类、K-means的概念和结果评估，以及使用python进行聚类分析的方法；要点总结了解无监督学习以及聚类概念；K-means的实现过程，肘部法则确定超参数K，利用平均畸变程度和轮廓系数评估聚类效果；基本概念聚类（clust

1、线性回归（Linear Regression）1.1、线性回归模型与解决方案考虑下面的情况，这里给了一个房屋面积和价格的数据表： 并画出其数据： 这时候我们如何预测其他不同面积的房屋的价格？ 方案是利用图中的点集拟合出一条合理的曲线（这个问题里拟合一条直线），然后用这条曲线预测新来的房屋的价格。 使用线性回归解决的话，h（Hypothesis）假设函数如下: hθ(x)=θ0+θ1x1=∑...