![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
【ML------------通用
文章平均质量分 81
yichudu
code anything
展开
-
聚类及层次聚类
1.简述聚类属于无监督学习。 给定的训练数据是{x(1),...,x(n)}\{x^{(1)}, ... , x^{(n)}\}。没有label标注, 希望机器学习后自动分为k类。什么情况下会用到聚类呢? 获取样本的成本不高但标注的成本比较高或很难标注, 就可以尝试聚类。2.原创 2017-07-25 15:54:03 · 806 阅读 · 0 评论 -
基于 shapley-value 的可解释方法及 shap 库实现
模型的评测指标只能反映它准不准, 如果没有好的可解释性, 人们就会担心它不够鲁棒, 难以放心去投用.SHAP 是一个库, 依据 组合博弈论领域 中的 shapely value 思想, 对模型的单个预测作解释.shapely valuetransformer 搭配...原创 2021-10-13 15:12:45 · 5398 阅读 · 7 评论 -
强化学习
简述强化学习, Reinforcement Learning. 强化学习中, 要训练的模型称为agent, 与有监督学习不同, 没有现成的label告诉它, agent需要与环境不断地进行交互, 根据环境的反馈来获得知识. 强化学习任务对应了四元组E=<X,A,P,R>E=<X,A,P,R>E= X: 状态空间 A: 动作空间 P: 转移函数 R: 奖赏函数....原创 2017-05-11 16:41:33 · 968 阅读 · 0 评论 -
最优化算法 总述
Newton method牛顿法.Quasi-Newton拟牛顿法.BFGSBFGS, Broyden–Fletcher–Goldfarb–Shanno algorithm.L-BFGSL-BFGS,Limited-Memory BFGSOWL-QNOWL-QN,Orthant-Wise Limited-Memory Quasi-Newton.原创 2017-06-26 09:30:25 · 2110 阅读 · 0 评论 -
ML 中的流式输入
简介数据集大的时候, 一次性加载到内存里很困难, 所以keras, tf等就提供一些接口进行流式处理.1.Keraskeras.engine.training.Model#fit_generator(self, generator,…) 与下面的 Model#fit()作比较, x与y 两个参数合为了generator一个参数. 这个函数由用户自定义, 通过yield 返回 (...原创 2017-12-04 11:55:18 · 679 阅读 · 0 评论 -
py scikit-learn (sklearn) 库
1.简介python的一个机器学习框架. 使用anaconda的话, 自带就有. 官网地址 官网教程-tutorial2.Bunch类scikit-learn的package名字是sklearn, 它自带了一些数据集, 方便入门使用. 数据集通常用bunch这个类表示.from sklearn import datasets;iris = datasets.load_iris()通过上面的代原创 2017-05-18 11:33:27 · 581 阅读 · 0 评论 -
机器学习中的常用激活函数
1. sigmoidsigmoid, 并不是某一个具体的函数, 而是指代一类S型函数.tanh 双曲正切函数. tanhx=sinhxcoshx=ex−e−xex+e−x\tanh x=\frac {\sinh x}{\cosh x}=\frac{e^x-e^{-x}}{e^x+e^{-x}} 图1-1 tanh 图像, 值为[-1,+1] (tanhx)′=1−tanh2x(\ta原创 2017-08-06 15:50:39 · 6523 阅读 · 0 评论 -
nDCG 与 GSB, 排序模型评价指标
简介DCG, Discounted Cumulative Gain ,累计收益折扣. A measure of ranking quality. 是信息检索领域中, 对排序问题的一个评价指标, 因素有文档相关性与排序位置.使用场景举例: 用户输入一个query, 得到了很多结果, 这个指标可以对有序的结果进行评价.相关场景: 文档打标签, 把程序的标签输出也看成有序的, 就也可以用该指标评价.原创 2017-12-01 14:49:08 · 15148 阅读 · 0 评论 -
odps 中的一些方言语句
阿里的公开可售服务, 类比于业界的 Hive.inset() 类比于mysql中的inset()函数, 我们可以用SPLIT()与ARRAY_CONTAINS()搭配来完成. SELECT ARRAY_CONTAINS(SPLIT('1,2,3',','),'3') from tbcdm.dual; -- true...原创 2018-03-08 17:45:13 · 1309 阅读 · 0 评论 -
iris 鸢尾花数据集
简介这是个鸢尾花的三分类的数据集, 太经典了. 这里描述一下.tensorflow 的入门教程也有描述, 见 参考[1]. 它的数据集要在运行代码时从网上下载, 因为 Great Fire Wall, 下载会失败. 所以介绍下 sci-kit learn 自带的, 用起来更方便.features四个数值特征. sepal length, sepal width, petal...原创 2018-03-19 10:25:27 · 6492 阅读 · 0 评论 -
网络表示学习 常用数据集
Zachary’s karate club一个大学空手道俱乐部的社交关系图, 很多论文中都喜欢用它做例子. 这个图比较简单, 有34个节点, 78条边.youtube 2数据集介绍见[2]. node有两种, personpersonperson 与 groupgroupgroup, edge 也有两种, friend⊆(person×person)friend⊆(person×...原创 2018-06-21 14:53:56 · 4496 阅读 · 3 评论 -
知识图谱表示学习
知识图谱是一种精细化的异构网络, 所以对其节点与边的表示学习也是一个热门的问题. 这里的学习依旧是得到它们的低维稠密向量.参考论文transr原创 2018-06-26 10:49:03 · 4406 阅读 · 0 评论 -
parameter server 简介
ps 是一种分布式机器学习的编程框架. 该思想在[1]中被提出, git上的一个实现见[3].参考parameter_server_osdi14.pdfParameter Server 详解github,ps-lite原创 2018-07-23 13:55:42 · 960 阅读 · 0 评论 -
机器学习相关会议
NeurIPSNeural Information Processing Systems.https://nips.cc/ICMLInternational Conference on Machine Learning.https://icml.cc/IJCAIInternational Joint Conferences on Artificial Intelligence.ht...原创 2019-01-16 14:48:07 · 669 阅读 · 0 评论 -
常用损失函数及tf实现
交叉熵可以用来衡量两个概率分布之间的差异, 熵越小表明差异越小, 故可用作损失函数.原创 2019-05-07 14:32:28 · 1822 阅读 · 0 评论 -
tensorflow 分布式训练
ps负责存储参数.workerworker_0 是固定的 chief 角色.worker_1 是固定的 eval 角色, 不参与训练. 每隔指定的时间检查有无最新的ckpt文件, 对其加载后从 eval_input_fn 读指定step的数据.需要注意每次eval时读到的数据都是完全相同的.ps/worker 通信注意事项分布式环境中, tf.gradient() 不被支持....原创 2019-09-13 21:09:24 · 528 阅读 · 0 评论 -
高维空间中, cosine similarity 的 k-近邻 搜索
帮我想个问题, 高维(dimension=200+)空间中, 点在某个集合A(|A|>40W)中的 K-近邻 cosine similarity 搜索, 有什么好的 hash 或 space split 方法么? 这是目前手头的一个实际问题, 用于 word2vec 的 k-邻近搜索, 我开始想到的是 K-D树, 可以又一想, 它处理Euclidean Distance 很直观, 似乎 不适于 c原创 2017-09-29 15:07:54 · 959 阅读 · 0 评论 -
机器学习概述
人工智能,Artificial Intelligence,是计算机学科的一个分支,也是心理学、语言学、生物学等多学科交汇的一个热门领域。它企图了解人类智能的实质,并用计算机去模拟它,完成一些较为复杂的任务,让机器看起来像是“有了智能”。 该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。 思维学普遍认为,人类大脑的思维分为抽象(逻辑)思维、形象(直观)思维和灵感(顿悟)思维...原创 2017-07-22 15:26:20 · 367 阅读 · 0 评论 -
图像识别 常用数据集
1.MNISTMNIST, [em’nist]. 0~9的手写字体.format 图像尺寸, 28*28. 像素取值为[0,1], 由浅到深.size train set: 60K test set: 10K2. Cifar-1010个不同实体的彩色照片. 飞机, 汽车, 鸟, 猫, 鹿, 狗, 青蛙, 马, 船, 卡车.format 图像尺寸 32*32size 60 K.原创 2017-09-11 09:52:25 · 6583 阅读 · 0 评论 -
卡方检验用于文本分类中的特征提取
卡方检验(Chi-square Test)卡方检验最基本的思想就是通过观察实际值与理论值的偏差来确定理论的正确与否。具体做的时候常常先假设两个变量确实是独立的(“原假设”),然后观察实际值(观察值)与理论值(这个理论值是指“如果两者确实独立”的情况下应该有的值)的偏差程度,如果偏差足够小,我们就认为误差是很自然的样本误差,是测量手段不够精确导致或者偶然发生的,两者确确实实是独立的,此时就接受原转载 2015-03-03 18:19:11 · 9079 阅读 · 0 评论 -
数据标准化
归一化,也即数据标准化。是数据挖掘的一项基础工作,不同评价指标往往具有不同的量纲和量纲单位,这样的情况会影响到数据分析的结果,为了消除指标之间的量纲影响,需要进行数据标准化处理,以解决数据指标之间的可比性。原始数据经过数据标准化处理后,各指标处于同一数量级,适合进行综合对比评价。以下是两种归一化方法:一、min-max标准化(Min-Max Normalization) 也称为离差标准化,是对原始原创 2015-03-07 16:10:57 · 3723 阅读 · 0 评论 -
matlab中使用libsvm
MATLAB版本:R2010b libsvm版本:libsvm-3.20不需要编译libsvm。编译是为了由cpp得到.mexw64,而libsvm-3.20直接提供了.mexw64.见下图。原创 2015-03-02 10:32:57 · 1071 阅读 · 0 评论 -
libsvm-javaAPI
获得 tw.edu.ntu.csie libsvm 3.17libsvm-3.17.jar的结构见下图,default package:这里是工具制作者自己封装出来的一些类,它们都有main函数,可作为小工具直接使用。libsvm package:核心文件。关于default package:因为里面的类不在任意一个package中,所以我们的工程无法引用。解决办法原创 2015-05-11 16:44:17 · 1837 阅读 · 0 评论 -
机器学习常见名词
1.用户画像用户画像其实就是用户的信息标签,把一个用户标签化。用户画像是产品分析受众核心的非常重要的部分。完成用户画像是需要考虑非常周全的一个体系,它包括获取用户的渠道,还有产品的使用场景,用户的数据维度,包括那些自然特征、情绪特征、社会特征还有消费特征等等,从这些可以基本的组合而成的标签。而自然特征延伸的一些其他属性,就需要根据产品的属性来判断。自然特征:最基本的就是年龄、性别、地域、还原创 2015-12-08 19:56:32 · 1536 阅读 · 0 评论 -
k-折交叉检验 (附代码)
1.概念k-折交叉检验,k-fold cross test.一种检验机器学习效果的方法。k取值为10时就是10折交叉检验。将数据集均分成10份,做10次检验,取平均误差为最终误差。第i次检验时将第i份数据作为测试集,其余(10-1=9)份数据作为训练集。2.代码顺着逻辑直接写出来的代码:package org.lenskit.eval.crossfold;i原创 2016-01-12 15:10:51 · 2959 阅读 · 0 评论 -
极大似然估计
极大似然估计, Maximum Likelihood Estimation. 它是这样一种思想: 假设拿到的样本服从某种分布律, 求分布律中的参数, 使得观测样本序列发生的概率最大. 换种说法就是, 事情已经发生了, 求一个模型中的参数, 使得已发生的现象解释起来最为自然, 合理.1.公式2.例子一个罐子里面有黑白两种颜色的球, 我们有放回地随机拿出一个球, 做了三次实验, 结果原创 2017-07-19 11:09:46 · 533 阅读 · 0 评论 -
集成学习
1. 概述集成学习, Ensemble Learning. 通过多个学习器来完成学习任务. 图1-1 显示出集成学习的一般结构: 先产生一组个体学习器, 再用某种策略把它们结合起来. 图1-1 集成学习示意图 集成学习通过对多个学习器进行结合, 常可获得比单一学习器优越的泛化性能.2. Boostingboosting是一种可将弱学习器提升为强学习器的算法. 大致过程见下.先从初始训练集原创 2017-05-14 16:27:32 · 973 阅读 · 0 评论 -
PMML, 预测模型标记语言
PMML, Predictive Model Markup Language. 1.简述PMML 用于描述算法模型, 允许您在不同的应用程序之间轻松共享预测分析模型. 通俗地讲, 我有一个决策树模型, 使用效果也不错, 那么就可以把树的结构(节点间的父子关系, 节点内的丰富信息 等)序列化为PMML文件, 共享给其他人使用.2. 主要结构PMML 文件的结构遵从了用于构建预测解决方案的常用步骤,包原创 2017-07-16 16:27:09 · 2849 阅读 · 1 评论 -
决策树, 森林
分类决策树, 参见 分类- 决策树 回归决策树, 参见 回归- 决策树.一些对比树的度 CART是二叉树, ID3与C4.5是多叉树.特征值是否离散 若是离散值, 如 西瓜产地={平顶山, 郑州, 洛阳} , 则靠 相等与不相等进行划分. 若是连续值, 如 西瓜大小={具体的体积} , 则靠 <= 与 >进行划分.label是否离散 若是离散值, 为分类. 用信息增益衡量划分效果原创 2017-08-03 19:53:40 · 403 阅读 · 0 评论 -
tensorflow 环境搭建(centos与windows)
1. windows下安装建议基于anaconda安装. 参见 . http://blog.csdn.net/chuchus/article/details/771845662. centos下安装按顺序一步一步解决依赖并安装。1.1 python笔者使用的版本为2.7.5 .2.1 python-pippip,Python Index Package。类似linux下的yum,安装并管理pyt...原创 2016-06-19 18:28:19 · 17803 阅读 · 0 评论 -
机器学习中的正则项及梯度截断
范数, norm, 是数学中是一种类似“长度”的概念, 其实也就是一类函数.在机器学习中的正则化(Regularization)以及稀疏编码(Sparse Coding)有非常有趣的应用.对于向量a∈Rn, 它的Lp范数为∣∣a∣∣p=(i∑n∣ai∣p)p1(1)原创 2017-08-26 15:10:09 · 1577 阅读 · 1 评论 -
迁移学习 Transfer learning
简介迁移学习, Transfer learning. 顾名思义就是就是把已学好的模型参数迁移到新的模型来提升效果. 这里的提升主要为:加速收敛 考虑到大部分数据或任务是存在相关性的,所以通过transfer learning, 我们可以将已经学到的 parameter 分享给新模型, 从而加快并优化模型的学习, 不用像之前那样 from scratch.例子TextCNN, 词向量表示那里可原创 2017-09-05 10:28:15 · 603 阅读 · 0 评论