余弦相似度

1余弦相似度 2理论推导 3一些特征情况分析 在机器学习算法中,有各种方式衡量用户或者物品的距离或者相似度,如曼哈顿距离、欧几里得距离、Pearson相关系数、Jaccard系数等(可参考http://blog.csdn.net/lin00jian/article/details/51209715...

2017-09-06 10:48:01

阅读数 16300

评论数 1

逻辑回归:损失函数与梯度下降

1 sigmoid函数 2 极大似然估计MLE与损失函数 3 梯度下降 4 另一种形式的损失函数及其梯度 1.1 sigmoid函数由于二分类结果是1或者0,这与数学的阶跃函数很类似,但是阶跃函数在x=0的位置会发生突变,这个突变在数学上很难处理。所以一般使用sigmoid函数来拟合:g(z)=1...

2017-09-05 15:28:04

阅读数 14695

评论数 4

深度学习在CTR中的应用

一、资料 目前的很多资料均是基于张伟楠的FNN模型,但还没有很大规模的应用。 另一种是google提出的wide & deep learning模型,主要用于推荐,美团的文章中也有介绍。 Deep Learning over Multi-Field Categor...

2017-09-01 14:19:03

阅读数 4936

评论数 0

使用GBDT+LR作点击率预测

主要内容来源于facebook的论文:Practical Lessons from Predicting Clicks on Ads at Facebook》 1、基本思路 使用GBDT根据用户特征转换生成新的特征,每棵树的每个叶子均作为一个特征,然后将这些特征代入LR。 举个例子: (1...

2017-09-01 14:18:02

阅读数 2575

评论数 0

点击率预估算法:FM与FFM

点击率预估算法:FFM@(计算广告)[计算广告]点击率预估算法FFM 1FM 1 背景 11 线性模型 12 二项式模型 2 FM 21 FM基本原理 22 数据分析 23参数个数 24 计算时间复杂度 25 梯度 26 训练时间复杂度 2FFM 1 背景及基本原理 2模型与最优化问题 21 模型...

2017-09-01 14:17:03

阅读数 23834

评论数 3

点击率预测算法:FTRL

1逻辑回归 1 sigmoid函数 2 极大似然估计MLE与损失函数 3 梯度下降 4 另一种形式的损失函数及其梯度 2FOBOS与RDA 1 FOBOS基本原理 2 L1-FOBOS 3 RDA基本原理 4 L1-RDA 3FTRL 1 从L1-FOBOS和L1-RDA推导FTRL 2 FTRL...

2017-09-01 14:15:00

阅读数 3084

评论数 1

线性回归原理与spark/sklearn实现

线性回归原理与spark/sklearn实现@(SPARK)[spark, ML]一、算法原理1、线程回归与逻辑回归的区别线性回归是一种很直观的数值拟合方式,它认为目标变量和属性值之间存在线性的关系。 逻辑回归是一种分类的方法,它给出一个拟合函数,将属性输入这个函数,大于某个值的属于一类,小于这...

2017-08-14 12:00:43

阅读数 1240

评论数 0

kafka集群操作指南

kafka集群操作指南@(KAFKA)[kafka, 大数据]kafka集群操作指南 一单机版安装 二集群安装 三集群启停操作 四topic相关的操作 五某个broker挂掉本机器可重启 六某个broker挂掉且无法重启需要其它机器代替 七扩容 八数据迁移 九机器下线 十增加副本数量 十一lead...

2017-08-14 09:59:08

阅读数 719

评论数 0

kafka集群原理介绍

kafka集群原理介绍@(KAFKA)[kafka, 大数据]kafka集群原理介绍 一基础理论 二配置文件 一java调优 二参数说明 三错误处理 四zookeeper中的内容1brokers中的信息 2consumer的信息 offset中的这个值表示什么意思不是时间是batch先看看simp...

2017-08-14 09:58:20

阅读数 795

评论数 0

storm-kafka源码分析

storm-kafka源码分析@(KAFKA)[kafka, 大数据, storm]storm-kafka源码分析 一概述 一代码结构 二orgapachestormkafka 三orgapachestormkafkatrident 1spout 2state 3metric 四其它说明 1线程与...

2017-08-13 20:09:22

阅读数 2669

评论数 0

storm-kafka编程指南

storm-kafka编程指南@(STORM)[kafka, 大数据, storm]storm-kafka编程指南 一原理及关键步骤介绍 一使用storm-kafka的关键步骤 1创建ZkHosts 2创建KafkaConfig 3设置MultiScheme 4创建Spout 5建立拓扑 二当拓扑...

2017-08-13 20:08:45

阅读数 1365

评论数 0

storm集群操作指南

storm集群操作指南@(STORM)[storm, 大数据]storm集群操作指南 一storm伪分布式安装 一环境准备 二安装zookeeper 三安装storm 四运行程序 二storm集群安装 一下载storm并解压 二配置storm在stormyaml中添加以下内容 三关于包依赖的关系 ...

2017-08-13 20:08:04

阅读数 1162

评论数 0

storm原理介绍

storm原理介绍@(STORM)[storm, 大数据]storm原理介绍 一原理介绍Why use Storm 1适用场景 2集群相关概念 3拓扑相关概念 二配置 三并行度 一storm拓扑的并行度可以从以下4个维度进行设置 二并行度的设置方法 三示例 四分组 五可靠性 一spout 二bol...

2017-08-13 20:07:30

阅读数 626

评论数 0

trident原理及编程指南

trident原理及编程指南@(STORM)[storm, 大数据]trident原理及编程指南 一理论介绍 一trident是什么 二trident处理单位 三事务类型 1spout类型 2state类型 3实现恰好一次的spout与state组合类型 二编程指南 1定义输入流 2统计单词数量 ...

2017-08-13 20:06:53

阅读数 635

评论数 1

zookeeper基础

zookeeper基础@(OTHERS)[zookeeper]ZooKeeper的数据结构, 与普通的文件系统极为类似. 见下图:图中的每个节点称为一个znode. 每个znode由3部分组成:stat. 此为状态信息, 描述该znode的版本, 权限等信息. data. 与该znode关联的数据...

2017-08-13 20:06:10

阅读数 262

评论数 0

zookeeper教程

zookeeper教程@(OTHERS)[zookeeper, 大数据]zookeeper教程 一安装 二基本操作 三 一个小工具 zk-web (一)安装见后面附录(二)基本操作1、启动、关闭zookeeperbin/zkServer.sh start bin/zkServer.sh stop...

2017-08-13 20:05:46

阅读数 671

评论数 0

storm编程指南

storm编程指南@(STORM)[storm, 大数据]storm编程指南 一创建spout 二创建split-bolt 三创建wordcount-bolt 四创建report-bolt 五创建topo 六一些说明 1关于分布式编程的一点说明 2关于storm的classpath 七异常处理 1...

2017-08-13 20:04:19

阅读数 675

评论数 0

protocol buffer介绍(protobuf)

protocol buffer介绍(protobuf)@(HADOOP)[hadoop, 大数据]一、理论概述0、参考资料入门资料:https://developers.google.com/protocol-buffers/docs/javatutorial更详细的资料:For more det...

2017-08-13 20:02:35

阅读数 484

评论数 0

kafka集群编程指南

kafka集群编程指南@(KAFKA)[kafka, 大数据]kafka集群编程指南 一概述 一主要内容 二关于scala与java的说明 二producer的API 一scala版本deprecated 1一个简单例子 2指定partitioner的producer 关于KeyedMessage...

2017-08-13 20:00:06

阅读数 380

评论数 0

关于kafka中的timestamp与offset的对应关系

关于kafka中的timestamp与offset的对应关系@(KAFKA)[storm, kafka, 大数据]关于kafka中的timestamp与offset的对应关系 获取单个分区的情况 同时从所有分区获取消息的情况 结论 如何指定时间 出现UpdateOffsetException时的处...

2017-08-11 14:41:23

阅读数 517

评论数 1

提示
确定要删除当前文章?
取消 删除
关闭
关闭