机器学习
文章平均质量分 92
百川AI
心怀热爱,奔赴山海
展开
-
RNN及其变种LSTM/GRU/SRU
RNN及其变种LSTM/GRU/SRU原创 2020-10-09 18:40:30 · 2894 阅读 · 2 评论 -
学习让机器学会学习-Meta Learning课程笔记-2
来源于李宏毅老师机器学习课程,笔记是其中meta learning部分,few-shot learning学习也可以观看此部分课程。课程主页:http://t.cn/Exykrk9video: http://t.cn/ExykrkCbilibili:https://www.bilibili.com/video/BV1Gb411n7dE?p=32原创 2020-10-09 18:25:04 · 1105 阅读 · 0 评论 -
学习让机器学会学习-Meta Learning课程笔记-1
来源于李宏毅老师机器学习课程,笔记是其中meta learning部分,few-shot learning学习也可以观看此部分课程。课程主页:http://t.cn/Exykrk9video: http://t.cn/ExykrkCbilibili:https://www.bilibili.com/video/BV1Gb411n7dE?p=32原创 2020-10-08 12:30:40 · 997 阅读 · 1 评论 -
XGBoost A Scalable Tree Boosting System
目录ABSTRACT1. INTRODUCTIONContributions2. TREE BOOSTING IN A NUTSHELL2.1 Regularized Learning Objective2.2 Gradient Tree BoostingReference看了LightGBM的论文之后,在从头看XGBoost论文,之前虽然看过,现在对比看的时候又有原创 2017-05-10 10:12:36 · 596 阅读 · 1 评论 -
『 论文阅读』LightGBM原理-LightGBM: A Highly Efficient Gradient Boosting Decision Tree
Abstract1. Introduction2. Preliminaries2.1 GBDT and Its Complexity Analysis2.2 Related Work3. Gradient-based One-Side Sampling3.1 Algorithm Description3.2 Theoretical Analysis4 Exclusive...原创 2018-07-03 10:29:05 · 19743 阅读 · 12 评论 -
GBDT原理及利用GBDT构造新的特征-Python实现
看了许多GBDT构建特征的资料整理而成,具体资料见Reference。背景1 Gradient Boosting2 Gradient Boosting Decision Tree3 GBDT应用-回归和分类GBDT构建新的特征思想GBDT与LR融合方案源码内容generate GBDT featuresgenerate features for FFMPython原创 2017-05-12 11:41:26 · 66853 阅读 · 15 评论 -
『 天池竞赛』商场中精确定位用户所在商铺思路总结
赛题数据与评价方式解决方案1 数据划分2 预处理3 构造候选4 二分类预测特征wifi特征距离特征用户商店特征算法模型模型融合感想1 赛题本赛题目标为在商场内精确的定位用户当前所在商铺。给出的信息包括wifi信号强度、GPS、基站定位、历史交易,来确定测试集交易发生的店铺。我们队伍是我去,咋回事(出门向右 、东风西风读书屋 、wakup原创 2018-01-22 16:26:40 · 4003 阅读 · 12 评论 -
TensorFlow 1.0后与以前代码不兼容解决-CIFAR-10报错解决
以下报错主要是由于TensorFlow升级1.0后与以前代码不兼容所致。主要转载自CIFAR-10训练例子报错解决,并添加了一些报错解决方法。AttributeError: ‘module’ object has noattribute ‘random_crop’解决方案:将distorted_image= tf.image.random_crop(reshaped_image, [转载 2017-07-31 14:33:38 · 6805 阅读 · 5 评论 -
Preprocessing data-sklearn数据预处理
1. Standardization, or mean removal and variance scalingStandardization即标准化,尽量将数据转化为均值为零,方差为一的数据。实际中我们会忽略数据的分布情况,仅仅是通过改变均值来集中数据,然后将非连续特征除以他们的标准差。sklearn中 scale函数提供了简单快速的single array-like数据集操原创 2016-03-17 17:11:18 · 10391 阅读 · 0 评论 -
『机器学习笔记 』GBDT原理-Gradient Boosting Decision Tree
1. 背景1.1 Gradient Boosting1.2 提升树-boosting tree回归问题提升树算法2 Gradient Boosting Decision Tree2.1 函数空间的数值优化2.2 算法Shrinkage总结附录参考资料相似算法:1. 背景决策树是一种基本的分类与回归方法。决策树模型具有分类速度快,模型...原创 2017-03-24 17:01:17 · 69252 阅读 · 6 评论 -
『 论文阅读』XGBoost原理-XGBoost A Scalable Tree Boosting System
ABSTRACT1. INTRODUCTIONContributions2. TREE BOOSTING IN A NUTSHELL2.1 Regularized Learning Objective2.2 Gradient Tree Boosting2.3 Shrinkage and Column Subsampling3. SPLIT FINDING ALGORITH...原创 2017-08-03 16:27:04 · 1022 阅读 · 0 评论 -
『Gradient Boosting 』LightGBM与XGBoost对比
LightGBM和XGBoost都是GBDT的高效实现,所以先简单介绍下GBDT。1. Gradient Boosting Decision Tree提升树的学习优化过程中,损失函数平方损失和指数损失时候,每一步优化相对简单,但对于一般损失函数优化的问题,Freidman提出了Gradient Boosting算法,其利用了损失函数的负梯度在当前模型的值 −[∂L(y,f(xi))∂...原创 2018-07-03 10:22:27 · 1526 阅读 · 0 评论 -
算法面试和实习经验分享
本人是2018届,去年实习拿了阿里算法工程师offer,最终顺利转正,也是看了师兄师姐的经验,饮水思源,于是将自己的总结一份,希望能够帮到师弟师妹。1. 学习准备What you want?想清楚自己要做什么?Follow自己的兴趣方向 OR 现在什么挣钱最多?算法对理论和最新paper的学习,而且是长期的,能否承受。算法各大公司HC是最少的,而竞争人数在爆炸增长。 ...原创 2018-04-26 18:53:19 · 5333 阅读 · 4 评论 -
『 论文阅读』10 CHALLENGING PROBLEMS IN DATA MINING RESEARCH
很多不错论文都引用了此篇论文,于是阅读了这篇06年论文。Abstract介绍数据挖掘中的10个具有挑战性的问题,分析数据挖掘问题出现位置的一份高级指南。 这篇文章是作者通过咨询一些最活跃的数据挖掘和机器学习研究人员(IEEE ICDM和ACM KDD会议的组织者),就他们对未来数据挖掘研究的重要和有价值的主题发表的意见。1. Developing a Unifying T...翻译 2018-04-26 19:09:37 · 801 阅读 · 4 评论 -
『 kaggle』kaggle-DATA-SCIENCE-BOWL-2018(U-net方法)
1. 赛题背景通过自动化细胞核检测,有利于检测细胞对各种治疗方法的反应,了解潜在生物学过程。队伍需要分析数据观察模式,抽象出问题并通过建立计算机模型识别各种条件下的一系列细胞核。2. 数据预处理数据分析数据集包含部分的分割核图像。由于其获取方式、细胞类型、放大倍数和呈现模式不同(brightfield vs. fluorescence),对算法的抽象概括能力较高。对于每...原创 2018-04-26 19:12:55 · 6993 阅读 · 7 评论 -
台大李宏毅机器学习课程
[机器学习入门] 台大李宏毅机器学习课程,转载来自:https://blog.csdn.net/soulmeetliang/article/details/77461607 TOPIC CONTENTS BLOG PDF VIDEO 【1】Learning Map(学习导图) blog pdf video 【2】Regression:...转载 2018-05-05 09:48:05 · 3343 阅读 · 2 评论 -
读博士(工作)前要了解的20件事
机器学习大牛、谷歌AI总负责人Jeff Dean发推转帖,推荐了一篇刚毕业的博士生写的文章,内容与技术无关,而是关于攻读博士学位时需要注意的一些小tip。此文发表在《自然》官网的Career专栏上。**1.找到适合自己的计划和节奏,在工作与生活之间保持健康的平衡。**最好是在整个计划中保持良好的平衡,并稳定工作,而不是集中全部精力工作,把自己累得精疲力竭。学会照顾自己是成功的关键。**2....转载 2018-11-15 17:30:10 · 2652 阅读 · 2 评论 -
【胶囊网络-CapsNet】李宏毅CapsNet课程笔记
Capsule神经网络和胶囊网络区别: 神经网络每个神经元输出的是一个标量,胶囊网络输出是一个向量。一个神经元检测一种pattern,例如一个神经元检测往左的鸟嘴,一个神经元是检测往右的鸟嘴。而胶囊是检测某一个种类的pattern。例如鸟嘴。其中,W1,W2W^1, W^2W1,W2是通过训练决定的,而C1,C2C_1, C_2C1,C2是通过动态路由算法得到的。可以拿max p...原创 2019-03-24 23:54:26 · 4531 阅读 · 0 评论 -
广义线性模型--Generalized Linear Models
监督学习问题:1、线性回归模型:适用于自变量X和因变量Y为线性关系2、广义线性模型:对于输入空间一个区域改变会影响所有其他区域的问题,解决为:把输入空间划分成若干个区域,然后对每个区域用不同的多项式函数拟合是为了克服线性回归模型的缺点出现的,是线性回归模型的推广。首先自变量可以是离散的,也可以是连续原创 2016-03-28 14:26:21 · 29578 阅读 · 3 评论 -
DSSM & Multi-view DSSM TensorFlow实现
Learning Deep Structured Semantic Models for Web Search using Clickthrough Data以及其后续文章A Multi-View Deep Learning Approach for Cross Domain User Modeling in Recommendation Systems的实现Demo。1. 数据D原创 2018-01-12 12:08:15 · 20738 阅读 · 33 评论 -
『 特征降维』PCA原理-Principal Component Analysis
特征降维一般有两类方法:特征选择和特征抽取。特征选择即从高纬度的特征中选择其中的一个子集来作为新的特征;而特征抽取是指将高纬度的特征经过某个函数映射至低纬度作为新的特征。常用的特征抽取方法就是PCA。PCA(Principal Component Analysis)是一种常用的数据分析方法。PCA通过线性变换将原始数据进行线性变换、映射到低维空间中,使得各维度线性无关的表示,可用于提取数据的主要特征原创 2017-04-30 23:27:22 · 7138 阅读 · 0 评论 -
xgboost原理
文章内容可能会相对比较多,读者可以点击上方目录,直接阅读自己感兴趣的章节。1.序 距离上一次编辑将近10个月,幸得爱可可老师(微博)推荐,访问量陡增。最近毕业论文与xgboost相关,于是重新写一下这篇文章。 关于xgboost的原理网络上的资源很少,大多数还停留在应用层面,本文通过学习陈天奇博士的PPT、论文、一些网络资源,希望对xgboost原理进行深入理解。(笔者在最后的转载 2017-04-07 09:34:13 · 3270 阅读 · 0 评论 -
『 机器学习笔记』最优化方法
最优化方法是研究在给定约束之下如何寻求某些因素(的量),以使某一(或某些)指标达到最优的一些学科的总称。 机器学习的问题大多可以建模成一种最优化模型求解,常见最优化方法有梯度下降法,牛顿法和拟牛顿法,启发式优化算法(PSO, ABC等)。梯度下降法梯度下降法是一种迭代算法,选取适当的初值x(0)x^{(0)},不断以负梯度方向更新x的值,达到减少函数f(x)f(x)值的目的。假设f(x)f(x)具原创 2017-03-31 11:32:37 · 1780 阅读 · 0 评论 -
『 推荐算法』笔记一:什么是推荐系统
推荐系统简介什么是推荐算法为了解决信息过载和用户无明确需求的问题,找到用户感兴趣的物品,于是有了个性化推荐系统。解决信息过载的问题,代表性的解决方案是分类目录和搜索引擎。原创 2017-04-30 23:32:48 · 13022 阅读 · 1 评论 -
Implementing a CNN for Text Classification in TensorFlow(用tensorflow实现CNN文本分类) 阅读笔记
目前正在学习把深度学习应用到NLP,主要是看些论文和博客,同时做些笔记方便理解,还没入门很多东西还不懂,一知半解。贴出来的原因,一是方便自己查看,二是希望大家指点一下,尽快入门。原paper:Convolutional Neural Networks for Sentence Classification源代码:https://github.com/dennybritz/cnn-tex转载 2017-04-17 09:20:40 · 1630 阅读 · 0 评论 -
深度学习框架总结
转载来自于http://blog.csdn.net/baihuaxiu123/article/details/70194566深度学习库比较库名主语言从语言速度灵活性文档适合模型平台上手难易开发者模式TensorfloC++cuda/python/Matlab/Ruby/R中等好中等CNN/转载 2017-04-20 22:32:34 · 2117 阅读 · 0 评论 -
交叉验证的Java weka实现,并保存和重载模型
我觉得首先有必要简单说说交叉验证,即用只有一个训练集的时候,用一部分数据训练,一部分做测试,当然怎么分配及时不同的方法了。1)k-folder cross-validation:k个子集,每个子集均做一次测试集,其余的作为训练集。交叉验证重复k次,每次选择一个子集作为测试集,并将k次的平均交叉验证识别正确率作为结果。优点:所有的样本都被作为了训练集和测试集,每个样本都被验证一次。10-folder原创 2016-03-18 10:28:35 · 5734 阅读 · 0 评论 -
时间序列分析之ARIMA上手-Python
概念时间序列 时间序列(或称动态数列)是指将同一统计指标的数值按其发生的时间先后顺序排列而成的数列。时间序列分析的主要目的是根据已有的历史数据对未来进行预测。时间序列分析 时间序列分析是根据系统观察得到的时间序列数据,通过曲线拟合和参数估计来建立数学模型的理论和方法。时间序列分析常用于国民宏观经济控制、市场潜力预测、气象预测、农作物害虫灾害预报等各个方面。组成要素构成要素:长期趋势,季节原创 2017-05-23 21:49:24 · 42731 阅读 · 17 评论 -
XGBoost参数调优完全指南(附Python代码)
原文地址:Complete Guide to Parameter Tuning in XGBoost by Aarshay Jain原文翻译与校对:@MOLLY &&寒小阳 (hanxiaoyang.ml@gmail.com)时间:2016年9月。 转载来自:http://blog.csdn.net/han_xiaoyang/article/details/52665396转载 2017-06-16 15:37:35 · 2798 阅读 · 2 评论 -
Ensemble Learning-基于集成学习的模型融合-Python实现
模型融合常用方法。1 Voting2 Averaging3 Ranking4 Binning5 Bagging6 Boosting7 Stacking8 Blending原创 2017-07-16 19:08:36 · 39891 阅读 · 11 评论 -
VARIATIONAL AUTO ENCODERS(VAE)-变分自动编码器
Introduction to variational autoencoders VAE第二篇VAE variation inference变分推理 清爽介绍论文:Autoencoding beyond pixels usingALearnedSimilarityMmetric及视频结合代码讲解VAE-GAN比较透彻的一篇文章论文引介 | Semi-supervised VAE for Text C转载 2017-08-11 17:04:00 · 1779 阅读 · 0 评论 -
多视角学习 (Multi-View Learning)
多视角学习 (Multi-View Learning) 简介 Views from (1) multiple sources (2) different feature subsets;视角来自于 (1) 多个源 (2) 多个特征子集 Multi-view learning algorithms: (1) co-training (2) multi-kern转载 2017-08-20 10:07:09 · 20491 阅读 · 1 评论 -
What are 20 questions to detect fake data scientists?
数据科学家20问翻译 2017-06-13 16:08:58 · 546 阅读 · 0 评论 -
『数据挖掘十大算法 』笔记二:SVM-支持向量机
数据挖掘Top 10算法支持向量机线性可分支持向量机函数间隔和集合间隔间隔最大化间隔最大化算法支持向量和间隔边界学习的对偶算法线性可分支持向量机学习算法线性支持向量机和软间隔最大化线性支持向量机学习算法非线性支持向量机和核函数核技巧非线性分类问题核函数定义核技巧在支持向量机中的应用正定核常用核函数非线性支持向量机学习算法 附录算法分类参考资料数据挖掘To原创 2017-03-17 17:10:33 · 5228 阅读 · 0 评论 -
『数据挖掘十大算法 』笔记一:决策树
数据挖掘Top 10算法决策树模型与学习特征选择信息增益熵entropy条件熵信息增益信息增益算法信息增益比决策树生成ID3算法C45算法决策树剪枝先验设定控制复杂度损失函数剪枝算法CART算法CART生成最小二乘回归树生成算法分类树的生成Gini指数CART生成算法CART剪枝CART剪枝算法附录算法分类参考资料数据挖掘Top 10算法C4.5,原创 2017-03-15 18:00:01 · 7594 阅读 · 3 评论 -
『数据挖掘十大算法 』笔记三:K-means
数据挖掘Top 10算法K-MEANS算法求中心点算法Minkowski Distance公式Euclidean Distance公式CityBlock Distance公式向量表示法K-Means主要缺陷K-Means算法k-means算法评价标准附录算法分类生成方法和判别方法参考资料数据挖掘Top 10算法C4.5, k-Means, SVM, Apriori, EM,原创 2017-03-22 12:29:39 · 2723 阅读 · 0 评论 -
『DeepLearning』tensorFlow搭建CNN-mnist上手
CNN局部感知参数共享卷积核滑动的步长-stride卷积的边界处理-paddingDown-pooling全连接MNIST上手整体结构数据准备定义2维的 convolutional 图层定义pooling第一层卷积pooling第二层卷积pooling全连接层poolingsoftmax定义损失函数定义评估模型训练模型Reference一直关注DL,从Tens原创 2017-07-26 21:09:16 · 1765 阅读 · 0 评论 -
模型评估:评价指标-附sklearn API
模型评估有三种不同的方法来评估一个模型的预测质量:estimator的score方法:sklearn中的estimator都具有一个score方法,它提供了一个缺省的评估法则来解决问题。Scoring参数:使用cross-validation的模型评估工具,依赖于内部的scoring策略。见下。通过测试集上评估预测误差:sklearn Metric函数用来评估预测误差。评价指标(Evalua原创 2017-10-24 22:17:50 · 26224 阅读 · 0 评论 -
不平衡学习的方法 Learning from Imbalanced Data
之前做二分类预测的时候,遇到了正负样本比例严重不平衡的情况,甚至有些比例达到了50:1,如果直接在此基础上做预测,对于样本量较小的类的召回率会极低,这类不平衡数据该如何处理呢?不平衡数据的定义顾名思义即我们的数据集样本类别极不均衡,以二分类问题为例,数据集中的多数类 为SmaxS_{max},少数类为SminS_{min},通常情况下把多数类样本的比例为100:1,100:1,1000:1,甚至是,原创 2017-01-06 23:31:31 · 18627 阅读 · 1 评论