- 博客(9)
- 资源 (4)
- 收藏
- 关注
RSS订阅转载 优化算法-梯度下降法
梯度下降法是一个最优化算法，它采用迭代的方式，沿着负梯度方向（梯度的值的负方向）来小步长的搜寻最优解。当越接近最终的目标，它的搜索速度越慢。求解方法其迭代公式为 ,其中 代表梯度负方向， 表示梯度方向上的搜索步长。梯度方向我们可以通过对函数求导得到，步长的确定比较麻烦，太大了的话可能会发散，太小收敛速度又太慢。一般确定步长的方法是由线性搜索算法来确定，
2015-11-27 14:46:22
861
原创 优化算法-遗传算法
遗传算法同模拟退火法一样也是受自然科学的启发，它模拟物竞天择的生物进化过程，通过维护一个潜在解的群体执行了多方向的搜索，并支持这些方向上的信息构成和交换。通过点和面的搜索发现全局最优解。遗传算法步骤：1.随机生成一组解，称之为群组。在优化过程的每一步，计算整个群组的成本函数，再将之排序。2.生成新群组：精英选拔：将当前群组中位于最顶端的一部分题解加入新的群组中修
2015-11-23 18:31:13
1849
原创 优化方法-模拟退火法
模拟退火法是针对爬山法只能求出局部最优解提出来的。模拟退火法其实也是一种贪心法，但是他搜寻最优解的过程中引入了随机因素，允许在中间的计算过程中按照一定的概率来接受相对较差的中间结果，因此它有可能调出局部最优解寻找到全局的最优解。模拟退火法算法描述：若J(Y(I+1)) >= J(Y(I)) （即移动后得到更优解）则总是接受该移动若J(Y(I+1)) 上行中一定的概率参考了冶金中
2015-11-23 15:31:11
891
转载 优化方法-爬山法
爬山法是一种局部最优的算法（本质上属于贪心法），也属于启发式的方法，它一般只能得到局部最优解。当优化的问题的局部最优解即为全局最优解时可以用此方法来求最优问题，否则可以考虑多次爬山法或者其他的方法如遗传算法和模拟退火法。一、原理爬山法一般从一个随机的解开始，然后逐步找到一个最优解（局部最优）。 假定所求问题有多个参数，我们在通过爬山法逐步获得最优解的过程中可以依次分别将某个参数的值增加或者
2015-11-18 17:56:49
6889
原创 AdaBoost
提升方法的思路：对于一个复杂的任务来说，将多个专家的判断进行综合所得出的判断，要比任何一个专家的单独判断好。在概率近似正确（probably approximately correct,PAC）学习的框架中，一个概念，如果存在一个多项式的学习方法能够学习它，并且正确率很高，那么称这个概念是可强可学习的。一个概念，如果存在一个多项式的学习算法能够学习它，并且学习的正确率仅比随机随机猜想略
2015-11-17 16:00:05
1925
原创 随机森林
随机森林是一个包含多个决策树的分类器，他的类别由其包含的树输出的类别的众数而定。随机森林的基本原理如下：1.循环t次随机的有放回的选取N个样本形成t个训练集2.对这t个训练集选取m个特征（小于总特征数）建立多个决策树（完全生长，不剪枝）3.选取结果多的类别作为最终分类结果
2015-11-17 11:29:11
2622
1
原创 曲线平滑方法
一次指数平滑公式：s[i] = alpha*x[i] +(1-alpha)*s[i-1]分析：alpha月接近1，平滑后的数据月接近当前时间的数据值，这种情况下数据越不平滑；当alpha越接近0，平滑后的数据s[i] 越接近前i-1个数据的平滑值，数据越平滑。alpha取值标准：偏差平方的均值（MSE）最小，即各期实际值x[i]与平滑数据s[i]的差的平方和除以总数据数目最小。适用
2015-11-06 17:38:25
14893
原创 马儿科夫预测法
一、马尔科夫链 马尔科夫链是一种随机事件序列，它将来取什么值只与它现在的取值有关，与它过去的取值无关，既无后效性（转移概率是不变的）。具备这个性质的离散性的随机过程被称为马儿科夫链。而马尔科夫预测法是应用马尔科夫链的理论和方法分析有关现象的现状和变化规律，并依据这些来预测未来状况的预测方法。二、预测的一般步骤 使用马儿科夫模型来进行预测，一般是根
2015-11-06 16:09:39
4876
原创 决策树
决策树算法比较 ID3C4.5CART(分类)CART(回归)树类型多叉树多叉树二叉树二叉树特征选择信息增益（熵）信息增益率（熵）基尼系数平方误差最小损失函数Ca(T)=C(T)+a|T|
2015-11-05 19:23:38
2685
线性回归介绍
2016-06-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人