机器学习
文章平均质量分 80
Destinesia12
[DL,ML,CV,DIP][MS.Dept.Automation,THU,Beijing,PRC][E-mail:jzsherlock@163.com]
展开
-
从零开始实现一个简单的CycleGAN项目
pytorch 中CycleGAN(循环一致生成对抗网络)的简单且易于修改的实现原创 2022-07-19 19:16:23 · 1544 阅读 · 4 评论 -
【强化学习1.0】导论 & 多臂赌博机问题(multi-armed bandit)
首发于知乎:【强化学习1.0】导论 & 多臂赌博机问题(multi-armed bandit)欢迎关注导论:何为强化学习?强化学习(Reinforcement Learning,下面简称RL)研究的是在交互中学习的方式。通俗来说,就是“做什么能让我们最终的收益最大化”。最常举例的一个场景就是游戏,比如下棋。对于每一步都没有标准答案可供学习,但是最终的收益是固定的,比如胜一场1分、平0分、负一场-1分。因此,一个训练有素的智能体(agent)应该能够总结经验,从而在每一步骤都向着最终取胜而原创 2020-06-16 11:41:02 · 1760 阅读 · 0 评论 -
【论文笔记】PyTorch-BigGraph: A Large-scale Graph Embedding Framework(大规模图嵌入)
大规模图嵌入框架 PBG,由Facebook开源。paper:https://mlsys.org/Conferences/2019/doc/2019/71.pdf基本思路:读入edgelist,对各node赋予一个vector,通过更新vector,使得connected entities更加接近,unconnected entities距离更远。PBG的出发点:图的scale!处理方法: graph partitioning, so that the model do..原创 2020-06-09 15:18:56 · 1184 阅读 · 0 评论 -
随机森林(Random Forest)算法原理
随机森林(Random Forest)算法原理集成学习(Ensemble)思想、自助法(bootstrap)与bagging集成学习(ensemble)思想是为了解决单个模型或者某一组参数的模型所固有的缺陷,从而整合起更多的模型,取长补短,避免局限性。随机森林就是集成学习思想下的产物,将许多棵决策树整合成森林,并合起来用来预测最终结果。 首先,介绍自助法(bootstra...原创 2018-02-23 23:53:24 · 204859 阅读 · 22 评论 -
集成学习(Ensemble)相关概念及算法(Adaboost,Bagging,Stacking)
集成学习(Ensemble)相关概念及算法(Adaboost,Bagging,Stacking)集成学习简介集成学习(Ensemble)指的是,instead of 用一个单一的精密的高效能的学习器对数据进行处理,我们采用多个weak learner进行学习,并且通过一定的手段将这些weak learner的结果进行整合,得到最终需要的结果。当然,虽然叫做weak learner,实际...原创 2018-03-04 23:53:54 · 3556 阅读 · 0 评论 -
循环神经网络(RNN)中的LSTM和GRU模型的内部结构与意义
LSTM和GRU的基本结构循环神经网络 RNN 是一种很重要的网络结构模型,通过每个时刻利用当前的输入以及之前的输出,在同一个单元产生当前时刻的输出,从而可以用来处理具有一定时序的问题,比如语音信号处理,机器翻译,股票走势等等。RNN的基本单元如下: 左边表示RNN的R,即循环调用自身,而右边是RNN的展开形式,unrolled form,可以看成一个复制了很多个同样copy的链...原创 2018-02-25 22:56:10 · 4191 阅读 · 1 评论 -
如何科学地使用keras的Tokenizer进行文本预处理
如何科学地使用keras的Tokenizer进行文本预处理缘起之前提到用keras的Tokenizer进行文本预处理,序列化,向量化等,然后进入一个simple的LSTM模型中跑。但是发现用Tokenizer对象自带的 texts_to_matrix 得到的向量用LSTM训练不出理想的结果,反倒是换成Dense以后效果更好。后来实验了一下发现是对这个向量化函数的理解出现了偏差。鉴于网上...原创 2018-03-05 16:12:32 · 20259 阅读 · 10 评论 -
机器学习中的各种损失函数(Hinge loss,交叉熵,softmax)
机器学习中的各种损失函数SVM multiclass loss(Hinge loss) 这是一个合页函数,也叫Hinge function,loss 函数反映的是我们对于当前分类结果的不满意程度。在这里,多分类的SVM,我们的损失函数的含义是这样的:对于当前的一组分数,对应于不同的类别,我们希望属于真实类别的那个分数比其他的类别的分数要高,并且最好要高出一个margin...原创 2018-04-23 16:54:57 · 10309 阅读 · 0 评论 -
l1-norm loss & l2-norm loss (l1范数和l2范数作为正则项的比较)
l1-norm loss & l2-norm loss (l1范数和l2范数作为正则项的比较)l1-norm 和 l2-norm是常见的模型优化过程中的正则化项,对应到线性回归的领域分别为lasso Regression和 Ridge Regression,也就是 lasso 回归(有的地方也叫套索回归)和岭回归(也叫脊回归)。在深度学习领域也用l1和l2范数做正则化处理。这里简要介绍...原创 2018-04-23 23:29:18 · 8037 阅读 · 2 评论 -
机器学习优化过程中的各种梯度下降方法(SGD,AdaGrad,RMSprop,AdaDelta,Adam,Momentum,Nesterov)
机器学习优化过程中的各种梯度下降方法(SGD,AdaGrad,RMSprop,AdaDelta,Adam,Momentum,Nesterov)实际上,优化算法可以分成一阶优化和二阶优化算法,其中一阶优化就是指的梯度算法及其变种,而二阶优化一般是用二阶导数(Hessian 矩阵)来计算,如牛顿法,由于需要计算Hessian阵和其逆矩阵,计算量较大,因此没有流行开来。这里主要总结一阶优化的各种...原创 2018-04-24 22:35:20 · 8973 阅读 · 5 评论 -
机器学习中的度量指标:ROC曲线,AUC值,K-S曲线
机器学习中的度量指标:ROC曲线,AUC值,K-S曲线首先,回顾一下二分类问题的一些定义:预测 1 0实 1 TP FN际 0 FP TN上表中,四个项分别为:TP真阳性;FN假阴性;FP假阳性;TN真阴性注意,真假表示预测的对错,后面的阳性和阴性表示预测结果,因此结合预测结果和预测结果的对错,可以知道对应的实际结果是什么。比如...原创 2019-07-31 21:23:26 · 5252 阅读 · 0 评论 -
CAP(Cumulative Accuracy Profile)曲线/AR值释义
CAP(Cumulative Accuracy Profile)曲线/AR值释义CAP(Cumulative Accuracy Profile)曲线以及对应的AR(Accuracy Ratio)值是金融风控模型评价中的一个比较常用的指标,由于和机器学习准确率评价的ROC曲线比较类似,但CAP曲线的具体含义尚未见到有比较好的资料阐述,因此这里对CAP的概念做一详细说明。首先,来讲一下CAP曲线针...原创 2019-08-29 20:53:20 · 9561 阅读 · 1 评论 -
逻辑斯谛回归(Logistic Regression):函数、模型及其理论内涵
逻辑斯谛回归(Logistic Regression)【又名逻辑回归,对率回归,对数几率回归】:函数、模型及其理论内涵逻辑斯谛函数(logistic function)【即sigmoid函数】:函数形式的来源逻辑斯谛函数的形式为:h(z)=11+exp(−z)h(z)=11+exp(−z) h(z) = \frac{1}{1+exp(-z)} 这个函数形式的产生和来历实际上...原创 2018-02-22 23:50:37 · 14731 阅读 · 0 评论 -
TF-IDF基本原理简释
TF-IDF基本原理简释原理概述tf-idf是自然语言处理中的一个简单的模型。tf代表term frequency,也就是词频,而idf代表着inverse document frequency,叫做逆文档频率,这两个属性都是属于单词的属性。概括来说,tf-idf模型是用来给文档中的每个词根据重要程度计算一个得分,这个得分就是tf-idf。首先,考虑文档中的所有的词语,一个直观的想...原创 2018-03-08 16:34:36 · 658 阅读 · 0 评论 -
深度学习中的各种tricks_1.0_label_smoothing
深度学习中的各种tricks_1.0_label_smoothing2017/11/16 - Thursday - 第一次修改 [ 用于整理遇到的NN设计中使用的不同结构和trick的原理与实现 ]原创 2017-11-16 15:58:12 · 13916 阅读 · 1 评论 -
对抗样本机器学习_Note1
对抗样本机器学习_Note1原创 2017-12-05 22:54:16 · 4299 阅读 · 0 评论 -
论文笔记 [1] Deep Image Prior
论文笔记 [1] Deep Image Prior原创 2017-12-07 19:56:38 · 6384 阅读 · 0 评论 -
论文笔记 [3] CNN去compression artifacts
论文笔记 [3] Compression Artifacts Removal Using Convolutional Neural Networks 论文用CNN做blockinig,blurring和ringing 的artifacts。JPEG压缩中,blocking是由于8×8的cell使得cell的边缘不连续,ringing,或Gibbs效应,是因为量化过程中移除了高频导致的原创 2018-01-23 11:35:01 · 2508 阅读 · 0 评论 -
论文笔记 [4] ARCNN(Artifacts Reduction CNN)
论文笔记 [4] Compression Artifacts Reduction by a Deep Convolutional Network这是ICCV的一篇文章,是港中文的汤晓鸥教授等人做的,是受到做SR的一些启发。文章讲以往的算法,要么是remove blocking,然后导致blur;要么是restore sharpened image,然后会有ringing。作者用SR问题中的DC原创 2018-01-23 18:11:11 · 5611 阅读 · 0 评论 -
论文笔记 [5] SRCNN
论文笔记 [5] Learning a Deep Convolutional Network for Image Super-Resolutionemmm……这篇文章就是在那篇做deblocking和deringing的文章中提到的,仍然是大佬汤晓鸥等做的深度CNN超分辨率的网络,就是SRCNN。这篇文章给出了一个端到端的,进去低分辨率出来高分辨率。并且说明了传统的sparse coding的原创 2018-01-24 14:22:04 · 2706 阅读 · 1 评论 -
论文笔记 [6] 图像幻构中的 Feature Enhancement
论文笔记 [6] Image Hallucination with Feature EnhancementImage hallucination(图像幻构) 就是 SR问题,实际上就是通过低分辨率的 LR feature 来推理 HR feature。图像幻构有两个基础性的问题:How many examples are sufficient for generic images?原创 2018-01-24 22:18:09 · 1090 阅读 · 0 评论 -
准确率(precision)和召回率(recall)利用场景的解释与辨析
准确率(precision)和召回率(recall)概念简介在机器学习模型评估中,准确率和召回率是一对相互制约的性能度量指标。对于一个二分类问题,样本本身有正有负,而我们的学习器的判断也是有正有负。由于数据和算法等因素,我们的学习器的判断的结果往往不会和测试样本的真实答案完全吻合,这时就需要度量指标来表征该学习器的性能,常见的是准确率与召回率。 准确率和召回率定义非常明确,但是由于名称比...原创 2018-02-10 23:40:52 · 5390 阅读 · 2 评论 -
python中re模块正则表达式(Regular Expression)的基本用法示例
python中re模块正则表达式的基本用法示例正则表达式(Regular Expression)正则表达式是自成一体的专业化模块化的编程语言,主要实现对字符串的一些高级操作,对于支持正则表达式的语言都可以用正则表达式处理一些问题。python中可以通过调用re模块来使用,完成正则匹配的相关功能import retext = 'the man whose name is ...原创 2018-02-27 22:54:04 · 3469 阅读 · 0 评论 -
Keras文本预处理相关函数简介(text preprocessing)
Keras文本预处理相关函数简介(text preprocessing)text_to_word_sequence函数原型:from keras.preprocessing.text import text_to_word_sequencetext_to_word_sequence(text,filters='!"#$%&()*+,-./:;<=>?@[\...原创 2018-02-28 00:34:20 · 6592 阅读 · 0 评论 -
岭回归(Ridge Regression)、OLS和吉洪诺夫正则化(Тихонов regularization)
岭回归(Ridge Regression)、普通最小二乘(OLS)和吉洪诺夫正则化(Тихонов regularization)线性模型和线性回归在机器学习相关教材上提到的比较少,一般在矩阵统计优化等数学理论相关的材料中才会介绍。本文简明介绍一下岭回归和普通最小二乘法(OLS)的关系,从而引出吉洪诺夫正则化的相关介绍。常规的线性模型,Ax = b,对x进行求解,使得A中的数据的的某个变换...原创 2018-03-07 22:56:11 · 6761 阅读 · 4 评论 -
深度学习中的各种tricks_2.0_maxout
深度学习中的各种tricks_2.0_maxout原创 2017-11-18 22:22:54 · 732 阅读 · 0 评论