论文阅读-LightGBM: A Highly Efficient Gradient Boosting Decision Tree

GBDT是常用的机器学习算法,有少量高质量的实现算法,例如:XGBoost和pGBRT。

2017-12-15 21:22:23

阅读数 5202

评论数 2

论文阅读-XGBoost: A Scalable Tree Boosting System

Tianqi Chen大神提出了一种可扩展性的端到端基于树的boosting系统,这个系统可以处理稀疏性数据,通过分布式加权直方图算法去近似学习树,这个系统也提供基于缓存的加速模式、数据压缩、分片功能。机器学习应用于垃圾邮件分类、基于上下文植入广告、阻止银行恶意袭击的漏洞检测系统、探测引发物理显现...

2017-12-15 20:50:33

阅读数 5358

评论数 4

文本信息熵

public class InfoEntropy { // 代表每个字母的出现的频率。 public int[] count = new int[26]; private double entropy; private int sumCount ; public InfoE...

2017-12-07 16:40:50

阅读数 880

评论数 0

京东推荐系统

京东推荐系统 编辑 删除 在电商领域,推荐的价值在于挖掘用户潜在购买需求,缩短用户到商品的距离,提升用户的购物体验。 京东推荐的演进史是绚丽多彩的。京东的推荐起步于2012年,当时的推荐产品甚至是基于规则匹配做的。整个推荐产品线组合就像一个个松散的原始部落一样,部落与部落之前没有任何工...

2017-12-07 09:19:48

阅读数 4559

评论数 0

论文Recent Trends in Deep Learning Based Natural Language Processing

一:abstract。 深度学习已经应用于很多领域,特别是在计算视觉和模式识别方面取得了突出的成绩。深度学习应用于NLP的一大优势是自动特征提取,而传统的NLP处理技术大多是通过手工提取特征,手工提取特征耗时、不完整。 Natural Language Processing (Almost) fr...

2017-12-01 17:02:09

阅读数 664

评论数 0

论文Natural Language Processing: State of The Art, Current Trends and Challenges

摘要: 这篇文章提出自然语言处理涉及到自然语言理解和生成自然语言(understand and generate the text)。自然语言处理任务又分为:语音(听觉),语言形态、语法、语义、语用(语言的角度)。 自然语言任务细分为:自动生成文本摘要、共指消解、话语分析、命名实体识别...

2017-12-01 10:51:15

阅读数 358

评论数 0

一个框架解决kaggle问题

一个框架解决几乎所有机器学习问题 但是没有具体的例子和代码,今天看到一个不错的 kaggle 上的 code Exploratory Tutorial - Titanic 来解析一下,源码可以直接点这个链接。 在这篇文章中可以学到一个完整的运用机器学习解决分析问题的过程,它包括了解决问题的一般流...

2017-11-29 20:03:42

阅读数 289

评论数 0

微信paxos库PhxPaxos实现原理与解析

微信paxos类库PhxPaxos实现原理与解析        微信最近开源了其paxos类库PhxPaxos,具体参考资料:      1.  phxpaxos github的地址:点击打开链接            2.  微信自研生产级paxos类库PhxPa...

2017-11-29 19:49:33

阅读数 1616

评论数 0

Dubbo SPI机制简介

SPI (service Provider Interface,是一种面向接口的编程方式。一个接口经常有多个实现类,通过SPI机制发现接口的实现服务。当服务的提供者,需要在META-INF/services下创建接口对应的文件,之后通过java提供的serviceLoader加载对应的实现,并装载...

2017-11-29 15:46:47

阅读数 324

评论数 0

百度NLP架构与应用

深度| 百度副总裁王海峰:百度在NLP领域都做了什么? 雷锋网 02-09 17:05 雷锋网按:2017年美国加州当地时间2月5日,人工智能顶级会议AAAI大会召开,AAAI今年首次设置了AI in Practice (应用人工智能)环节,百度副总裁王海峰应邀做了名为“百度的自然语言处理”...

2017-11-24 16:11:22

阅读数 800

评论数 0

阿里NLP架构与应用

NLP技术的应用及思考 背景介绍 阿里巴巴的生态系统下面有很多的计算平台,上面有各种各样的业务层,最中间是买家和卖家之间包括销售、支付等等之间的关系,外面建了一圈从娱乐到广告到金融到购物到物流等等各方面这样一个生态,中间有非常多的数据能够关联起来,所以对于阿里巴巴而言,这个图可以非常简练的概...

2017-11-24 15:42:01

阅读数 33246

评论数 1

kafka对比RocketMQ

淘宝内部的交易系统使用了淘宝自主研发的Notify消息中间件,使用Mysql作为消息存储媒介,可完全水平扩容,为了进一步降低成本,我们认为存储部分可以进一步优化,2011年初,Linkin开源了Kafka这个优秀的消息中间件,淘宝中间件团队在对Kafka做过充分Review之后,Kafka无限消息...

2017-11-23 16:18:13

阅读数 7282

评论数 0

一个轻量级的分布式RPC框架

在互联网中,随着访问需求的不断扩大,单一的MVC架构已经不能满足用户的访问需求,这个时候就需要RPC分布式架构。 常见的RPC分布式框架: RPC server(生产者)提供RPC服务,通过向Zookeeper中注入服务。zookeeper管理分布式服务,负责服务节点选取、Master节点...

2017-11-23 09:38:24

阅读数 2131

评论数 0

RPC基本原理

背景: 在互联网中,随着访问需求的不断扩大,单一的MVC架构已经不能满足用户的访问需求,这个时候就需要RPC分布式或者微服务架构。所以在大型互联网公司中,公司的系统由大量的服务组成,怎样调用服务和怎样为别人提供服务? RPC请求服务过程: 标注要发布的服务,即服务器提供的服务。 i...

2017-11-22 15:59:58

阅读数 294

评论数 0

Paxos理论介绍(三): Master选举

分布式系统中通过paxos(必须为强一致性算法)选举时,在同一时刻选举一个节点作为Master , 读、写数据都通过Master节点进行,所以Master的数据时最新的。 Master选举与Paxos解耦合,Master 选举使用Paxos的API。 Master选举租赁算法:

2017-11-21 15:07:02

阅读数 167

评论数 0

Paxos理论介绍(二):Multi-Paxos

朴素Paxos通过多轮proposer、acceptor选举的方式选举一个提议,这个过程为一个Instance。Multi-Paxos通过算法来确定很多Instance的值,这些Instance的值在多个节点的顺序保持一致,在朴素Paxos中,通过计算找到编号为i的Instance,之后再计算编号...

2017-11-20 17:02:18

阅读数 1674

评论数 1

朴素Paxos理论介绍(一致性算法)

Paxos算法主要通过定义约束保证一致性,即只要算法满足一定的约束,就能保证一致性。 约束一:提案编号唯一。 约束二:多数派提案才成功。 约束三:当需要提案B时,如果提案多数派中有人已经提议了B*(提案编号B* 约束四: 保证提案编号的顺序,即如果提案B,并且之前已经有B* > B , 则...

2017-11-20 11:33:44

阅读数 171

评论数 0

分布式服务框架(dubbo)

分布式服务框架原理(dubbo)设计和实现 1.分布式服务框架设计 分布式服务框架一般可以分为以下几个部分, (1)RPC基础层: 包括底层通信框架,如NIO框架、通信协议,序列化和反序列化协议, 以及在这几部分上的封装,屏蔽底层通信细节和序列化方式差异 (2)服务发布/消费: 服务提供者根...

2017-11-19 17:36:57

阅读数 141

评论数 0

秒杀系统设计

秒杀系统架构分析与实战 目录 1 秒杀业务分析 2 秒杀技术挑战 3 秒杀架构原则 4 秒杀架构设计 5 大并发带来的挑战 6 作弊的手段:进攻与防守 7 高并发下的数据安全 8 总结 转载: 秒杀系统架构分析与实战 1 秒杀业务分析 正常电子商务流程(1)查询商品;(2)创...

2017-11-19 17:31:54

阅读数 116

评论数 0

消息队列的使用场景

一、消息队列概述 消息队列中间件是分布式系统中重要的组件,主要解决应用耦合,异步消息,流量削锋等问题。实现高性能,高可用,可伸缩和最终一致性架构。是大型分布式系统不可缺少的中间件。 目前在生产环境,使用较多的消息队列有ActiveMQ,RabbitMQ,ZeroMQ,Kafka,MetaMQ,...

2017-11-19 17:27:54

阅读数 167

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭