机器学习算法
cici_iii
keep coding
展开
-
ML/DL常用评估方法
auc、acc、ndcg、recall、precision、f1原创 2021-10-21 14:59:00 · 245 阅读 · 0 评论 -
XGB的python实现
搜索最优的xgb模型参数from xgboost import XGBClassifierfrom sklearn.model_selection import GridSearchCV# 定义参数取值范围learning_rate = [0.2, 0.3, 0.4]subsample = [0.7, 0.8, 0.9]colsample_bytree = [0.7, 0.8, 0.9, 1.0]max_depth = [3, 5, 8]n_estimators = [100, 200,原创 2021-10-21 14:42:43 · 2504 阅读 · 0 评论 -
蚁群优化算法 ACO
群体智能(swarm intelligence)定义:由单个复杂个体完成的任务可由大量简单个体组成的群体合作完成,而后者往往更具有健壮性、灵活性等优势。在没有集中控制,不提供全局模型的前提下,为寻找复杂问题解决方案提供了新的思路。分类:一组简单智能体(agent)构成的集体智能,以蚁群优化算法(Ant Colony Optimization,ACO)和蚂蚁聚类算法等为代表把群体中的成员...原创 2019-10-24 17:37:31 · 2335 阅读 · 1 评论 -
优化器
机器学习面试之各种优化器的比较机器学习:各种优化器Optimizer的总结与比较原创 2019-10-21 12:14:19 · 71 阅读 · 0 评论 -
模拟进化与遗传算法
遗传算法是目前研究得最为广泛的一类模拟进化算法。假定考虑全局优化问题(P)。遗传算法基于以下两条基本策略求解问题:对于给定的目标函数F,它使用F的任一适应性函数(换言之,一个值域非负、与F有相同极值点的函数)代替直接作用于优化变量X,它作用于X的可称之为染色体的某种编码(换言之,X的某种离散化近似表示。例如,长度为L且取值于某种字母表的数串)。给定F的任一适应性函数J和固定长度L、取...原创 2019-10-21 09:44:04 · 300 阅读 · 0 评论 -
模拟嫁接技术
定义嫁接:将生成树非考察结点且具有某种优良特性的分枝(嫁接枝)接入到非完全生成树的待考察结点中,以形成更好生成树个体(这里指收益大于0)的过程称为嫁接。剪接:将生成树个体考察结点的某一分枝(剪接枝)接入到非完全生成树中另一位置,以形成可行个体或更好个体的过程称为剪接 。...原创 2019-10-21 09:12:26 · 318 阅读 · 0 评论 -
遗传算法及其应用实现
使用遗传算法求解函数具有最大值的点X"""Visualize Genetic Algorithm to find a maximum point in a function."""import numpy as npimport matplotlib.pyplot as pltDNA_SIZE = 10 # DNA lengthPOP_SIZE = 100 # populat...原创 2019-10-18 11:35:21 · 228 阅读 · 0 评论 -
多任务学习方法
最近一直在做多任务,但是效果好象没什么提升,但都是凭之间的想法和感觉在做。于是上网查找了一些这方面的资料,寻求一些理论上的支撑和前人经验上的帮助。多任务学习: 故名思意,就是多个任务一起学习。为什么要进行多任务学习呢?因为现实中样本采样的成本较高,而训练样本不足常常会出现过拟合的现象,而将多个相关任务同时学习,通过共享某个共同的知识可以提高各任务的泛化效果。分类: 基于软共享的深...原创 2019-10-11 14:52:45 · 963 阅读 · 0 评论 -
决策树(西瓜书学习)
算法是死的,思想才是活的!决策树(decision tree):一般的,一棵决策树包含一个根结点、若干个内部结点和若干个叶结点;叶结点对应于决策结果,其他每个结点则对应于一个属性测试;每个结点包含的样本集合根据根据属性测试的结果划分到子结点中;根结点包含样本全集。从根结点到每个叶结点的路径对应了一个判定测试序列。决策树的目的是为了产生一棵泛化能力强,即处理未见示例能力强的决策树,基本流程遵循“...原创 2019-10-06 22:07:18 · 298 阅读 · 0 评论 -
集成学习(西瓜书学习)
算法是死的,思想才是活的!集成学习集成学习(ensemble learning)通过构建并结合多个学习器来完成学习任务。要获得好的集成,个体学习器应该“好而不同”集成学习分类:个体学习器间存在强依赖关系,必须串行生成的序列化方法:Boosting个体学习器间不存在强依赖关系,可以同时生成的并行化方法:Bagging、随机森林(Random Forest)Boosting工作机制:先...原创 2019-10-06 15:38:15 · 224 阅读 · 0 评论 -
机器学习资源和记录
学习记录:2019.08.01:林轩田机器学习技法--Matrix Factorization :https://redstonewill.com/783/[ 收获 ]:先假设 有用户特征向量(维度为d表示用户对d种特性的不同喜爱程度)、有电影特征(维度为d表示电影具有d种特性的不同程度),则这样通过线性组合(矩阵乘法)即可得到用户对电影的可能评分y~,与真实评分y作比较,可得到二次损...原创 2019-08-02 11:08:20 · 114 阅读 · 0 评论