- 博客(45)
- 资源 (5)
- 收藏
- 关注
原创 半监督学习:semi-supervised learning 直推学习:transductive learning 主动学习:active learning
目前,利用未标记示例的主流学习技术主要有三大类:半监督学习(semi-supervised learning)、直推学习(transductive learning)和主动学习(active learning)。https://blog.csdn.net/assiduousknight/article/details/18146451主动学习、纯半监督学习、直推学习的联系与区别https://www.cnblogs.com/yanmk/p/8118864.html...
2020-09-28 15:59:58
759
原创 论文阅读笔记 [NIPS2019] Learning to Self-Train for Semi-Supervised Few-Shot Classification
学习自我训练的半监督小样本分类Li-nips2019-LST-Learning to Self-Train for Semi-Supervised Few-Shot Classification摘要作者提出了一种新颖的半监督元学习方法:学习自我训练(简称 LST)。这种方法利用无标签数据,特别是学习如何择优挑选和标记这些无标签数据,以进一步提高性能。对于每个小样本任务,训练一个小样本模型来预测无标签数据的伪标签,然后对有标签和伪标签数据的自训练步骤进行迭代,每一步都进行调优。还学习了一个软权重网络(简
2020-09-25 16:52:01
4130
1
原创 论文阅读笔记 [ICLR 2018] Meta-Learning For Semi-Supervised Few-Shot classification
半监督小样本分类的元学习论文原文链接:https://arxiv.org/abs/1803.00676摘要在小样本分类中,人们感兴趣的学习算法是,仅根据少量带标记样例训练分类器的算法。元学习是近年来小样本分类研究的一大特色,元学习定义了一个学习算法的参数化模型,并在代表不同分类问题的片段上进行训练,每个片段都有一个小的带标记训练集和相应的测试集。本文中,作者将这种小样本分类模式推进到一个新场景中,在这个新场景中,每个片段也可以使用未标记的样例。作者考虑了两种情况:第一种情况是,假设所有未标记样例都与本
2020-09-11 20:26:15
597
原创 论文阅读笔记 Prototypical Networks for Few-shot Learning
小样本学习的原型网络论文原文链接:https://arxiv.org/abs/1703.05175摘要作者提出了一种小样本分类问题的原型网络,在这种网络中,分类器必须推广到训练集中没有的新类别,每个新类别只有少量样例。该原型网络学习一个度量空间,通过计算每个类的原型表示的距离进行分类。与最近的小样本学习方法相比,该方法反映出更简单的归纳偏好,这有益于这种有限数据的状况,因此取得了出色的效果。作者给出的分析表明,某些简单的设计决定能够产生实质的改进,超过了最近的方法,包括复杂的架构选择和元学习。作者把该
2020-09-04 16:47:19
1877
1
原创 论文笔记 Meta-Learning for Batch Mode Active Learning
batch 模式主动学习的元学习方法摘要什么是 batch 模式主动学习?挑选一批样例,立刻标注用于训练。优点:最符合逻辑。不必等整个挑选过程完成后,再训练。而是边挑选,边训练。能够最高效地利用人力进行标注。本文的工作是,利用元学习来学习主动学习算法,在一个小训练集上,挑选一组最佳样例(未标注)来标注加入训练。实验结果表明,本文提出的主动学习算法比传统的启发式方法更好。所构建的带标签训练集,能更好地改善分类器。本文的缺点是没有提供源代码。1 引言主动学习方法的主流
2020-08-21 18:22:35
424
原创 CSDN-MarkDown 数学符号汇总
markdown 数学符号汇总1 公式定界符与关键字CSDN-MarkDown 编辑器使用的公式定界符为:$ 单美元符号包围的是行内公式,$$ 双美元符号包围的是块公式。Tex 关键字(字符转义序列)表示特殊显示符号,如:\frac 表示分数,其后面可以跟随参数,参数多少与关键字有关。2 上下标^ 表示上标,示例:m^2,效果:m2m^2m2_ 表示下标,示例:m_2,效果:m2m_2m2如果上(下)标内容多于一个字符就需要使用{},注意不是( ), 因为( )经常是公式本身组成部
2020-08-20 22:02:07
508
原创 论文阅读笔记-CVPR 2020: Attentive Weights Generation for Few Shot Learning via Information Maximization
摘要AWGIM:通过信息最大化实现小样本学习的注意力权重生成论文的主要贡献有两个:生成的权重与输入数据之间的互信息最大化使得生成的权重能够保留小样本学习任务和特定查询样例的信息。两条注意力路径:自我注意和交叉注意对小样本学习任务的上下文和个性化查询进行编码论文写作框架简介相关工作2.1. 小样本学习2.2. 注意力机制2.3. 互信息提出的方法3.1. 问题的形式化定义3.2. 潜在的特征向量优化3.3. 权重生成的信息最大化3.4. 注意力权重生成3.4.1 上下
2020-08-06 01:19:26
4924
原创 ES6引用模块import后面加上花括号{}和不加花括号的区别
这个问题,阮一峰的《ECMAScript 6 入门》当中说得非常清楚。http://es6.ruanyifeng.com/#docs/module#import-命令
2018-11-15 10:43:38
2005
原创 学习笔记:Angular2与React比较
原文地址:https://www.2cto.com/kf/201609/548587.htmlAngular 2与React的选择其实只是一种风格偏好。React专注于渲染速度且能够在客户端或原生应用内处理复杂的UI设计,而Angular 2则更具开发普适性。它既能够引导我们逐步构建自己的应用,同时也提供一定的表现力及可复用UI设计机制。1. React 快速回顾React 用于构建高性能及...
2018-11-13 22:04:44
945
原创 JavaScript 学习笔记:Function.prototype.bind()
https://developer.mozilla.org/zh-CN/docs/Web/JavaScript/Reference/Global_Objects/Function/bind1.什么是绑定函数?bind()方法创建一个新的函数,当这个新函数被调用时其this置为提供的值,其参数列表前几项置为创建时指定的参数序列。第一次看到这句话时,没看懂,看了下面的实例,才明白了:v...
2018-11-13 18:36:34
506
原创 解析 ES6 新增语法:奇妙的箭头函数
1. 箭头函数为什么要用箭头函数?箭头函数最大的优点就是简短。箭头函数不能用作构造函数。适用于那些本来需要匿名函数的地方。引入箭头函数有两个方面的作用:更简短的函数并且不绑定this。箭头函数语法标准形式(参数1, 参数2, …, 参数N) => { 函数声明 }var arrowFunc1 = (x, y, z) => { if
2018-10-30 18:49:24
595
原创 学习笔记:《重新介绍 JavaScript(JS 教程)》
英文版:https://developer.mozilla.org/en-US/docs/Web/JavaScript/A_re-introduction_to_JavaScript中文版:https://developer.mozilla.org/zh-CN/docs/Web/JavaScript/A_re-introduction_to_JavaScript为什么要重新介绍 Java...
2018-10-29 22:14:01
337
原创 文摘加感悟:中年程序员给年轻程序员的忠告
开发流程好代码就是能够自解释的代码。没有注释,代码就是最好的注释。但是做到这一点,很难。Keras 之父 Francois Chollet 说过:代码不仅仅是用来运行的,也是团队交流的一种方式,是向他人描述问题解决方案的一种方式。所以命名很重要,避免使用过于笼统的名称,避免使用过于冗长的命名,避免歧义。尽量使用业内常见的命名。写代码要避免功利性,应该专注于解决问题。如果你的代码...
2018-10-28 21:36:00
838
原创 本源思维与个人发展
什么是本源思维?http://blog.sina.com.cn/s/blog_9fe18f270102xnq1.html本源思维是一种发现问题、分析问题和解决问题的思维模式。确立标准是发现问题的前提,是发现问题的“本源”,是本源思维的起点。确立应然标准是本源思维的起点。所谓应然,是指事物应该达到的状态;所谓实然,就是事物存在的实际状况。确立应然标准,就是无论做什么事都要问:“这件事应...
2018-10-28 20:49:32
1573
原创 React 入门教程 querySelectorAll() 方法遇到的问题
虽然是英文版的,但是写得简洁明了。https://reactjs.org/docs/add-react-to-a-website.html打开页面之后,搜索: Reuse a Component 找到复用组件这一节。点击这一节中的:Download the full example (2KB zipped)代码很小,只有两个文件,直接在浏览器打开 index.html 即可看效果。存在的...
2018-10-12 12:28:55
3700
原创 学习新技术,需要付费上培训班吗?
知识是免费的,运用是收费的1. 知识是免费的只要能上网,就能找到所有的理论、教程、文章、论坛。。。完全免费。这些学习资料,可以让你入门、打基础。2. 运用是收费的具体的项目经验,在网上很难找到。最新的项目经验都在各种培训班、网络课程里。。。需要付费。只有掌握了项目经验,才能找到工作。尤其是打算转行的。3. 选择培训班的标准不要急着上培训班,先把网上能够找到的免费知识学好,搞明白来龙...
2018-10-11 21:15:58
354
原创 聊聊 React 和 React Native
目录1 什么是 React?2 什么是 React Native?3 React 与 React Native 的关系联系:区别:1 什么是 React?React 是一个用于构建用户界面的 JavaScript 库。React 起源于 Facebook 的内部项目,用来架设 Instagram 的网站,并于 2013 年 5 月开源。React 拥有较高的性能,代码逻辑非常简单,越来越多...
2018-10-11 16:52:59
913
转载 菜鸟|Egret微信小游戏好友排行榜教程
原文链接:https://mp.weixin.qq.com/s/kYIdnHv-C5KuR9snekPNBg 虽然是菜鸟教程,但是有几个地方没有说清楚,补充如下(蓝字): 介绍微信小游戏好友排行榜的制作过程,包括创建项目并发布、微信开发者平台添加小游戏、打开开放域功能、主域和开放域通讯,以及ShareCanvas与原生Canvas的布局。 微信好友排行榜利用微信关系链数据实现一个简单的排行榜...
2018-09-03 21:18:43
2847
1
原创 激励模块的创新能力
组织发展动力结构内动荡性是指通过分离和替代,去除和增加,归纳和改变,使模块具有快速被淘汰的可能,因此,才会激励模块的创新能力。 分离 split 和替代 substitute: 一个小组分成多个小组,这个小组换成那个小组。 去除 exclude 和增加 augment:旧的不要了扔掉=裁员,新的加进来=招聘。 倒置 inversion 和换岗 porting:领导和下属互换(轮值),去...
2018-07-02 12:24:28
286
原创 机器学习/深度学习在工业界的应用方向
概率统计推断:分类/回归(CTR预估,推荐系统)聚类(用户群分析,异常检测)。 平面构成分析:图像识别(包括人脸),计算机视觉 时间序列分析:NLP(包括语音?),计算机听觉。...
2018-06-19 18:23:56
5838
原创 竞赛经验总结
常规数据集:训练数据去噪,特征工程(增加有效特征,降维,特征编码),样本平衡,5折训练,模型融合。图像数据集:训练数据去噪,训练数据增广,样本平衡,5折训练,模型融合,测试数据增广副本,求平均。...
2018-06-11 17:16:11
1082
原创 关于AI算法工程师成长路径
个人感悟第一步,学会使用模型学习各种竞赛前几名的解决方案和开源代码,让模型跑起来,做实验。 初步理解模型的计算原理。第二步,学会优化模型进一步掌握各种模型的特点。 能够对已有的模型进行小小地改造,让模型性能更高,执行速度更快。第三步,学会创造模型对各种模型有非常深刻地理解。非常清楚模型的发展方向。 能够从其他领域获得灵感,无中生有,创造一个新模型。...
2018-05-12 18:39:49
2834
转载 git获取远程服务器的指定分支
这篇文章说得全面、详细,有例子。 来源: https://www.cnblogs.com/phpper/p/7136048.html
2018-04-22 18:49:37
464
原创 window环境搭建 tensorflow 框架深度学习开发环境
我电脑操作系统 Windows7 64位1. 安装 anaconda 下载地址 https://www.anaconda.com/download/2. 打开 anaconda 命令行模式 通过命令行,依次执行如下操作:2.1 创建 tensorflow 环境 conda create -n tensorflow2.2 激活 tensorflow 环境 activa...
2018-02-13 21:57:19
444
原创 [机器学习笔记] 什么是核函数?有什么用?
参考:https://www.zhihu.com/question/24627666用途是把线性不可分的数据集映射到高维空间,成为可分的数据集。 方法是在低维空间计算输入向量的点积,达到高维空间的效果。核技巧的应用,最有名的是SVM。 需要说明的是,核技巧不是SVM的专利。最小二乘和逻辑回归都可以使用核技巧,但是计算量太大,所以一般不用。 只有SVM框架下的核函数,解的系数是稀疏的,...
2018-02-13 15:07:01
1107
原创 [机器学习笔记] 支持向量机SVM 和逻辑回归LR的异同
参考: https://www.cnblogs.com/zhizhan/p/5038747.html为什么把SVM和LR放在一起进行比较?一是因为这两个模型应用广泛。 二是因为这两个模型有很多相同点,在使用时容易混淆,不知道用哪个好,特别是对初学者。相同点都是线性分类器。本质上都是求一个最佳分类超平面。都是监督学习算法。都是判别模型。通过决策函数,判别输入特征之间的...
2018-02-12 16:31:25
11994
3
原创 [机器学习笔记] 判别模型与生成模型
监督学习方法可以分为生成方法和判别方法。判别模型 直接从训练数据中学习条件概率分布P(Y|X)或决策函数Y=f(X) 的方法为判别方法,学习到的模型是判别模型。 基本思想是,有限样本条件下,建立判别函数,不考虑样本的产生模型,直接研究预测模型。 学到了条件概率分布P(Y|X)或决策函数Y=f(X),就可以用来判别新的输入X对应的输出Y 。 典型的判别模型有:感知机、K近邻、决策树、逻辑...
2018-02-10 19:40:16
268
原创 [机器学习笔记] 支持向量机SVM如何求解最佳模型?
资料来源:机器学习面试之有必要手推SVM吗? https://www.jianshu.com/p/f4c7bc6c4ce2在机器学习中,支持向量机SVM是监督学习模型,可以分析数据,识别模式,用于分类和回归分析。 支持向量机在解决小样本、非线性及高维模式识别中表现出许多特有的优势,并能够推广应用到函数拟合等其他机器学习问题中。1. SVM的基本思想 最原始的支持向量机SVM是为了解决二...
2018-02-08 15:39:21
6022
1
原创 [机器学习笔记] 什么是SMO算法?
序列最小最优化SMO(Sequential Minimal Optimization)算法,是最快的二次规划优化算法,特别针对线性SVM和数据稀疏时性能更优。 SMO算法是由Microsoft Research的John C. Platt在1998年发表的一篇论文中提出。先记下来,算法细节待补充。...
2018-02-08 14:09:29
1267
原创 [机器学习笔记] 如何通过最小二乘法求解?
我们以一元线性回归模型来举例说明。 y = Ax + b +ε 其中 ε 为样本(x, y)的预测误差。 自变量x,斜率A,截距b,因变量y。假设有N个训练样本,{(a1, b1), … , (an, bn)} 可表示为平面中的N个点,我们的目标是求一条直线,最佳拟合这 N 个点。 图片来源:https://www.zhihu.com/question/37031188选择
2018-02-07 14:47:05
1492
原创 [机器学习笔记] 什么是最小二乘法?
最小二乘是个翻译过来的名词,英文原文是 Least Squares,其实就是最小平方和。我第一次听说最小二乘时,很难理解这个东西,不知道二乘是谁和谁相乘,什么样的两个数相乘。如果说最小平方和,我立刻就明白了。不知道大师为什么翻译成最小二乘。凡事皆有例外,最小二乘法的基本思想就是认为测量中有误差,所有测量的累积误差为: 就是,累积误差=单个误差的平方和。勒让德在 1805 年发表
2018-02-05 16:37:25
643
原创 [机器学习笔记] 如何确定模型训练达到了最优?
在进行模型训练时,我们如何确定模型达到了最优呢? 监督学习有两种策略:经验风险最小化和结构风险最小化。 参考: 什么是经验风险?什么是结构风险?经验风险最小化的策略认为,经验风险最小的模型就是最优的模型。求解问题模型表达式如下: 当训练数据集的样本个数很少时,经验风险最小化的策略很容易产生过拟合现象。结构风险最小化策略可以防止过拟合。结构风险最小化的策略认为,结构风险最小的模型
2018-02-02 10:37:50
2591
原创 [机器学习笔记] 什么是经验风险?什么是结构风险?
经验风险 机器学习模型关于训练数据集的平均损失称为经验风险。度量平均意义下模型预测效果的好坏。 结构风险 结构风险是在经验风险的基础上加上表示模型复杂度的正则项(罚项)。 其中: J(f) 是模型的复杂度,模型f越复杂,J(f)值就越大,模型越简单,J(f)值就越小。也就是说,J(f) 是对复杂模型的惩罚。为什么说是惩罚呢?因为求解的目标是整体达到最小值,经验风险越小,模型越复杂
2018-02-01 16:07:33
14896
5
原创 [机器学习笔记] 什么是损失函数?
机器学习模型关于单个样本的预测值与真实值的差称为损失。损失越小,模型越好,如果预测值与真实值相等,就是没有损失。 用于计算损失的函数称为损失函数。模型每一次预测的好坏用损失函数来度量。常用的损失函数有以下几种(引用自李航的《统计学习方法》) 1. 0-1损失函数 二类分类任务中,预测值与真实值不同,就是预测错误,则损失是1; 预测值与真实值相等,就是预测正确,损失是 0,就是
2018-02-01 11:40:29
14611
1
原创 [机器学习笔记] 什么是欠拟合?什么是过拟合?
欠拟合, 就是训练程度不够,或训练样本太少,模型在训练数据上的预测效果很差,在新数据上的预测结果也非常糟糕。过拟合, 就是在训练数据上的预测效果非常好,但是在新数据上的预测结果却非常糟糕。如下图所示,横轴是模型复杂度,纵轴是预测误差。 其中,Bias 是预测偏差,variance 是模型复杂度惩罚项,total error 总体误差。 图片来源:http://www.sohu.
2018-01-31 18:25:37
1101
原创 [机器学习笔记] 什么是分类,什么是回归?
监督学习中,如果预测的变量是离散的,我们称其为分类(如决策树,支持向量机等), 如果预测的变量是连续的,我们称其为回归。回归分析中,如果只包括一个自变量和一个因变量,且二者的关系可用一条直线近似表示,这种回归分析称为一元线性回归分析。 如果回归分析中包括两个或两个以上的自变量,且因变量和自变量之间是线性关系,则称为多元线性回归分析。对于二维空间,线性是一条直线;对于三维空间,线
2018-01-31 16:56:07
5707
1
原创 [机器学习笔记] 机器学习的类型有哪些?
参考:http://blog.csdn.net/by4_Luminous/article/details/533413341. 监督学习 训练数据中,每个样本都带有正确答案。 个人理解,这种方式有正确答案的监督或者说参照,所以称为监督学习。就好像老师提供对错指示、告知最终答案的学习过程。 学习器从训练数据中学到正确答案的决策函数 y=f(x) 用于新的数据预测。 典型任务:预测数值型数
2018-01-31 11:29:21
6851
原创 关于世界观的思考和感悟
关于世界观的思考和感悟世界是精神与物质相互作用的集合体。精神通过行动作用于物质,使物质的存在形式发生变化。物质的存在形式通过各种感官作用于精神。 比如,一个人想吃苹果,如果苹果很好吃,那么吃苹果的过程会很开心,最终苹果被吃了。一切事物都在不断运动。可能是向好的方向发展,也可能是向坏的方向恶化,而且这个过程是相互转化的。 比如,今天你遇到好事情,很开心,明天遇到不好的,不开心。明天心情不
2018-01-26 10:29:19
845
转载 欢迎使用CSDN-markdown编辑器
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来,用它写博客,将会带来全新的体验哦
2017-12-06 20:18:38
169
Python编程入门经典-高清中文版-带目录标签
2017-10-28
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人