2018年07月_hellozhxy

转载 [译] 我们是如何高效实现一致性哈希的

原文地址：How we implemented consistent hashing efficiently 原文作者：Srushtika Neelakantam 译文出自：掘金翻译计划本文永久链接：https://github.com/xitu/gold-miner/blob/master/TODO1/how-to-implement-consistent-hashing-efficie...

2018-07-31 15:55:38 207

转载在Dubbo中使用高效的Java序列化（Kryo和FST）

作者：沈理文档版权： Apache 2.0许可证署名-禁止演绎完善中……TODO 生成可点击的目录目录序列化漫谈启用Kryo和FST 注册被序列化类无参构造函数和Serializable接口序列化性能分析与测试测试环境测试脚本 Dubbo RPC中不同序列化生成字节大小比较 Dubbo RPC中不同序列化响应时间和吞吐量对比未来序列化...

2018-07-31 15:39:44 344

转载面试题汇总

java 基础八种基本数据类型的大小，以及他们的封装类引用数据类型Switch能否用string做参数equals与==的区别自动装箱，常量池Object有哪些公用方法Java的四种引用，强弱软虚，用到的场景Hashcode的作用HashMap的hashcode的作用为什么重载hashCode方法？ArrayList、LinkedList、Vector的区别String、StringBu...

2018-07-29 20:47:19 897

转载 Linux nginx 会话保持（session）

nginx 会话保持（session）有2种算法，一种是自带IP HASH 算法，一种是基于第三方模块sticky模块来实现会话保持1）ip_hash简单易用，但是有如下缺点后端服务器宕机后，session会丢失来自同一局域网的客户端会被转发到同一个后端服务器，可能导致负载失衡不适用CDN网络，不适用于前段还有代理的情况2）sticky使用sticky启用会话亲缘关系，...

2018-07-29 20:44:36 3487

转载 16个推荐系统开放公共数据集整理分享

（本文由深度学习与NLP编译）本文主要整理了一些与推荐系统相关的高质量的数据集。整理自Stack Overflow、一些文章、推荐站点和学术实验。其中，大多数数据集都是免费、开放的，但有些不是，需要获得许可或引用作者的工作才能使用。此外，其中也包含一些预处理数据，可用于学术实验。链接和数据集描述。 Book· 1. Book CrossingBookCrossing（BX）...

2018-07-29 20:37:40 46221 7

转载 Java多线程（十）之ReentrantReadWriteLock深入分析

一、ReentrantReadWriteLock与ReentrantLock 说到ReentrantReadWriteLock，首先要做的是与ReentrantLock划清界限。它和后者都是单独的实现，彼此之间没有继承或实现的关系。ReentrantLock 实现了标准的互斥操作，也就是一次只能有一个线程持有锁，也即所谓独占锁的概念。前面的章节中一直在强调这个特点。显然这个特...

2018-07-27 20:36:59 156

转载 Java多线程（十二）之线程池深入分析（下）

一、数据结构与线程构造方法由于已经看到了ThreadPoolExecutor的源码，因此很容易就看到了ThreadPoolExecutor线程池的数据结构。图1描述了这种数据结构。图1 ThreadPoolExecutor 数据结构其实，即使没有上述图形描述ThreadPoolExecutor的数据结构，我们根据线程池的要求也很能够猜测出其数据结构出来。线程池需要支持多个...

2018-07-26 20:14:28 192

转载 Java多线程（十一）之线程池深入分析（上）

线程池是并发包里面很重要的一部分，在实际情况中也是使用很多的一个重要组件。下图描述的是线程池API的一部分。广义上的完整线程池可能还包括Thread/Runnable、Timer/TimerTask等部分。这里只介绍主要的和高级的API以及架构和原理。大多数并发应用程序是围绕执行任务（Task）进行管理的。所谓任务就是抽象、离散的工作单元（unit of work）。把一个应用程序的工...

2018-07-26 19:59:09 177

转载 Java多线程（二）之Atomic：原子变量与原子类

一、何谓Atomic？ Atomic一词跟原子有点关系，后者曾被人认为是最小物质的单位。计算机中的Atomic是指不能分割成若干部分的意思。如果一段代码被认为是Atomic，则表示这段代码在执行过程中，是不能被中断的。通常来说，原子指令由硬件提供，供软件来实现原子方法（某个线程进入该方法后，就不会被中断，直到其执行完成）在x86 平台上，CPU提供了在指令执行期间对总线加锁的...

2018-07-25 16:19:33 196

转载 spring mvc 返回json数据的四种方式

一.返回ModelAndView,其中包含map集/* * 返回ModelAndView类型的结果 * 检查用户名的合法性,如果用户已经存在，返回false，否则返回true(返回json数据，格式为{"valid",true}) */ @RequestMapping(value = "/checkNameExistsMethod2", produc...

2018-07-25 16:01:50 1665 1

转载 Java多线程（一）之volatile深入分析

volatile 变量提供了线程的可见性，并不能保证线程安全性和原子性。什么是线程的可见性：锁提供了两种主要特性：互斥（mutual exclusion）和可见性（visibility）。互斥即一次只允许一个线程持有某个特定的锁，因此可使用该特性实现对共享数据的协调访问协议，这样，一次就只有一个线程能够使用该共享数据。可见性要更加复杂一些，它必须确保释放锁之前对共享数据做出的...

2018-07-25 14:49:29 141

转载 Elasticsearch架构原理

架构原理本书作为 Elastic Stack 指南，关注于 Elasticsearch 在日志和数据分析场景的应用，并不打算对底层的 Lucene 原理或者 Java 编程做详细的介绍，但是 Elasticsearch 层面上的一些架构设计，对我们做性能调优，故障处理，具有非常重要的影响。所以，作为 ES 部分的起始章节，先从数据流向和分布的层面，介绍一下 ES 的工作原理，以及相关的可控...

2018-07-25 10:56:31 1921

转载 23个机器学习项目，助你成为人工智能大咖

转自：https://zhuanlan.zhihu.com/p/40103236 人工智能（AI）是近年来最火的技术之一。从商品推荐（淘宝、京东）、个性化推送（今日头条）、自拍美颜、翻译，到语音识别、无人驾驶、图像识别、自动化客服等诸多领域，人工智能都扮演了颠覆性的角色。人工智能背后的机器学习和深度学习技术，也成为程序员最高薪资的代名词。据说在帝都，一个机器学习算法的岗位拿到50...

2018-07-25 09:30:14 615

转载 oCPC

oCPC是什么？oCPC实际上是optimized CPC的简写。它本质上还是按照CPC来收费，但是又加了一个o。为什么要加一个o呢？原来，如果按照CPC计费，媒体不会考虑广告主的效果，反正点击了我就收你的钱。但是广告主会不高兴，觉得说，虽然点击这么多，但一点效果都没有。于是，广告主会建议：既然CPC有很多点击我觉得没有效果，能不能媒体你按照CPA来收费呀。所谓CPA收费，对于广告主而...

2018-07-24 19:50:53 1832

转载深度学习在美团点评推荐平台排序中的应用&& wide&&deep推荐系统模型--学习笔记

gbdt+lr的模型之前是知道怎么搞的，dnn+lr的模型也是知道的，但是都没有试验过深度学习在美团点评推荐平台排序中的运用原创 2017-07-28 潘晖美团点评技术团队美团点评作为国内最大的生活服务平台，业务种类涉及食、住、行、玩、乐等领域，致力于让大家吃得更好，活得更好，有数亿用户以及丰富的用户行为。随着业务的飞速发展，美团点评的用户和商户数在快速增长。在这样的背景下，通...

2018-07-24 19:37:09 1450

转载 GBDT和随机森林的区别

1背景以前把这两个搞混了2随机森林说道随机森林就要提bagging集成方法。bagging才用有放回的抽样。下图时bagging的示意图。随机森林是bagging的一种扩展，在k个数据集选择的时候后，引入了随机属性选择。加入所有属性个数为d，k是随机选择的属性个数。那么k=d的时候，就没有改变。那么k=1的时候后，随机选择一个属性用于计算。推荐的k=log2d. 随机森林的基学...

2018-07-24 15:13:33 1700

转载 GBDT 入门教程之原理、所解决的问题、应用场景讲解

转载：https://toutiao.io/posts/u52t61/preview GBDT (Gradient Boosting Decision Tree) 又叫 MART （Multiple Additive Regression Tree)，是一种迭代的决策树算法，该算法由多棵决策树组成，所有树的结论累加起来做最终答案。它在被提出之初就和SVM一起被认为是泛化能力（genera...

2018-07-24 13:45:32 376

In statistics and optimization, statistical errors and residuals are two closely related and easily confused measures of "deviation of a sample from the mean": the error of a sample is the deviation o...

2018-07-24 12:09:52 4805

转载 GBDT和LR结合使用分析

文章来源：https://www.deeplearn.me/1797.html GBDT+LR 的特征组合方案是工业界经常使用的组合，尤其是计算广告 CTR 中应用比较广泛，方案的提出者是 Facebook 2014 的一篇论文。相关的开发工具包，sklearn 和 xgboost（ps：xgboost 是一个大杀器，并且支持 hadoop 分布式,你可以部署实现分布式操作，博主部署...

2018-07-23 20:12:42 3300

转载如何利用TensorFlow.js部署简单AI版「你画我猜」

选自Medium，作者：Zaid Alyafeai，机器之心编译，参与：Geek AI、路。本文创建了一个简单的工具来识别手绘图像，并且输出当前图像的名称。该应用无需安装任何额外的插件，可直接在浏览器上运行。作者使用谷歌 Colab 来训练模型，并使用 TensorFlow.js 将它部署到浏览器上。代码和 demodemo 地址：https://zaidalyafeai.gith...

2018-07-23 16:35:04 2365

转载深度学习笔记5：正则化与dropout

出处：数据科学家养成记深度学习笔记5：正则化与dropout在笔记 4 中，笔者详细阐述了机器学习中利用正则化防止过拟合的基本方法，对 L1 和 L2 范数进行了通俗的解释。为了防止深度神经网络出现过拟合，除了给损失函数加上 L2 正则化项之外，还有一个很著名的方法——dropout.废话少说，咱们单刀直入正题。究竟啥是 dropout ? dropout 是指在神经网络训练的过程中，对...

2018-07-23 16:34:16 305

转载深度学习笔记4：深度神经网络的正则化

出处：数据科学家养成记深度学习笔记4：深度神经网络的正则化恍恍惚惚，又20天没写了。今天笔者要写的是关于机器学习和深度学习中的一项关键技术：正则化。相信在机器学习领域摸爬滚打多年的你一定知道正则化是防止模型过拟合的核心技术之一，关于欠拟合和过拟合的问题，本篇笔者就不再展开来说，笔者年初就在一篇文章中详细通俗地阐述了过拟合的相关问题。想要看的朋友猛戳谈谈过拟合总的来说，监督机器学习的...

2018-07-23 16:32:49 193

转载 ArrayBlockingQueue跟LinkedBlockingQueue的区别

1.队列中的锁的实现不同 ArrayBlockingQueue中的锁是没有分离的，即生产和消费用的是同一个锁； LinkedBlockingQueue中的锁是分离的，即生产用的是putLock，消费是takeLock 2.在生产或消费时操作不同 ArrayBlockingQueue基于数组，在生产和消费的时候，是直接将枚举对象插入或移除的，不会产...

2018-07-20 14:12:23 229

转载 MySQL中述职类型的长度问题

int(M) M指示最大显示宽度。最大有效显示宽度是255。显示宽度与存储大小或类型包含的值的范围无关在SQL语句中int代表你要创建字段的类型，int代表整型，11代表字段的长度。　这个11代表显示宽度，整数列的显示宽度与mysql需要用多少个字符来显示该列数值，与该整数需要的存储空间的大小都没有关系，比如，不管设定了显示宽度是多少个字符，bigint都要占用8个字节。　　...

2018-07-19 16:49:05 128

转载高性能队列——Disruptor

背景Disruptor是英国外汇交易公司LMAX开发的一个高性能队列，研发的初衷是解决内存队列的延迟问题（在性能测试中发现竟然与I/O操作处于同样的数量级）。基于Disruptor开发的系统单线程能支撑每秒600万订单，2010年在QCon演讲后，获得了业界关注。2011年，企业应用软件专家Martin Fowler专门撰写长文介绍。同年它还获得了Oracle官方的Duke大奖。目前，包括...

2018-07-17 17:43:24 201

转载 Java多线程（七）之同步器基础：AQS框架深入分析

一、什么是同步器多线程并发的执行，之间通过某种共享状态来同步，只有当状态满足 xxxx 条件，才能触发线程执行 xxxx 。这个共同的语义可以称之为同步器。可以认为以上所有的锁机制都可以基于同步器定制来实现的。而juc(java.util.concurrent)里的思想是将这些场景抽象出来的语义通过统一的同步框架来支持。juc 里所有的这些锁机制都是基...

2018-07-17 17:39:55 256

转载 Java并发之AQS详解

一、概述　　谈到并发，不得不谈ReentrantLock；而谈到ReentrantLock，不得不谈AbstractQueuedSynchronizer（AQS）！　　类如其名，抽象的队列式的同步器，AQS定义了一套多线程访问共享资源的同步器框架，许多同步类实现都依赖于它，如常用的ReentrantLock/Semaphore/CountDownLatch...。　　以下是本文的目录大...

2018-07-17 17:18:36 123

转载 MySQL事务隔离级别和Spring事务关系介绍

事务隔离级别介绍隔离级别脏读不可重复读幻读未提交读（Read uncommitted）可能可能可能已提交读（Read committed）不可能可能可能可重复读（Repeatable read）不可能不可能可能可串行化（Serializable ）不可能不可能...

2018-07-17 14:51:39 4841 1

转载 Java JDK代理、CGLIB、AspectJ代理分析比较

前言什么是代理,在Design patterns In java这个本书中是这样描述的，简单的说就是为某个对象提供一个代理，以控制对这个对象的访问。在不修改源代码的基础上做方法增强,代理是一种设计模式，又简单的分为两种。静态代理:代理类和委托类在代码运行前关系就确定了,也就是说在代理类的代码一开始就已经存在了。动态代理:动态代理类的字节码在程序运行时的时候生成。静态代理先来看一个...

2018-07-17 14:22:45 492

转载一次堆外OOM问题排查

背景线上服务有一台机器访问不通（一个管理平台),在公司的服务治理平台上查看服务的状况是正常的，说明进程还在。进程并没有完全crash掉。去线上查看机器日志，发现了大量的OOM异常:017-03-15 00:00:00.041 [WARN] qtp1947699202-120772 nio handle failedjava.lang.OutOfMemoryError: Direct b...

2018-07-17 13:07:39 901

转载 CTR预估中GBDT与LR融合方案

1、背景 CTR预估（Click-Through Rate Prediction）是互联网计算广告中的关键环节，预估准确性直接影响公司广告收入。CTR预估中用的最多的模型是LR（Logistic Regression）[1]，LR是广义线性模型，与传统线性模型相比，LR使用了Logit变换将函数值映射到0~1区间[2]，映射后的函数值就是CTR的预估值。LR这种线性模型很容易并行化...

2018-07-16 20:55:40 211

转载浅谈推荐系统基础

这篇文章的技术难度会低一些，主要是对推荐系统所涉及到的各部分内容进行介绍，以及给出一些推荐系统的常用算法，比起技术，产品色彩会强不少。参考了《长尾理论》、《推荐系统实践》以及大量相关博客内容。什么是推荐系统我之前写过一篇《长尾理论》精读，里面有这样的观点：推动市场由热门经济学向长尾经济学转变有三种力量：第一种是生产普及的力量（生产者），第二种是传播普及的力量（集合器），第三种是供需相...

2018-07-16 20:42:00 2782

转载 Elasticsearch过滤与聚合的先后顺序java实现

一、Elasticsearch的聚合ES的聚合相当于关系型数据库里面的group by，例如查找在性别字段男女人数的多少并且按照人数的多少进行排序，在使用mysql的时候，可以使用如下的句子 select sex,count(*) from table_name group by sex order by count(*)在ES里面想要实现这种的语句，就叫做聚合，比如这种的聚合使...

2018-07-16 19:57:00 1526

转载 Elasticsearch java api 基本搜索部分详解

一、所使用版本的介绍使用的是elasticsearch2.1.0版本，在此只是简单介绍搜索部分的api使用二、简单的搜索使用api的时候，基本上可以将DSL搜索的所有情况均写出来，在此给出一个最简单搜索的全部的过程以及代码，之后将对不同的搜索只是针对函数进行介绍（1）DSL搜索对于最简单的DSL搜索，对一个词进行搜索使用url直接进行通信，例如，如果对于一个字段，搜索具体的一个...

2018-07-16 19:52:23 216

转载【Elasticsearch】打分策略详解与explain手把手计算

一、目的一个搜索引擎使用的时候必定需要排序这个模块，一般情况下在不选择按照某一字段排序的情况下，都是按照打分的高低进行一个默认排序的，所以如果正式使用的话，必须对默认排序的打分策略有一个详细的了解才可以，否则被问起来为什么这个在前面，那个在后面不好办，因此对Elasticsearch的打分策略详细的看了下，虽然说还不是了解的很全部，但是大部分都看的差不多了，结合理论以及搜索的结果，做一个简单的...

2018-07-16 19:36:57 2078

转载使用Elasticsearch实现推荐系统

聚合：找出喜欢这部电影的人们同时还喜欢哪些电影假设你运营了一个电影网站，你有很多用户，并且想知道如何推荐给这些用户他们喜欢的电影。一个办法是，把每个用户作为一个文档创建索引，如下所示（movies_liked被设置为被分词的字段，并且用于搜索）：PUT recs/user/1{ "movies_liked": ["Forrest Gump", "Terminator", "Ram...

2018-07-16 17:55:17 15496

转载 Elasticsearch自定排序插件实现

本文将介绍以插件的形式实现Elasticsearch自定义排序。整个插件项目的结构为 1 2 3 4 5 6 7 8 9 10 11 12 13 project --src ----main --------assemblies ---...

2018-07-16 17:39:30 1975

转载基于Elasticsearch实现搜索推荐

在基于Elasticsearch实现搜索建议一文中我们曾经介绍过如何基于Elasticsearch来实现搜索建议，而本文是在此基于上进一步优化搜索体验，在当搜索无结果或结果过少时提供推荐搜索词给用户。背景介绍在根据用户输入和筛选条件进行搜索后，有时返回的是无结果或者结果很少的情况，为了提升用户搜索体验，需要能够给用户推荐一些相关的搜索词，比如用户搜索【迪奥】时没有找到相关的商品，可以推荐搜...

2018-07-16 17:17:37 11652 1

转载 Python中机器学习的特征选择工具

特征选择，即在数据集中查找和选择最有用的特征的过程，是机器学习的关键步骤。不必要的特征会降低训练速度、模型的可解释性，最重要的是会降低测试集的泛化性能。我对临时的特征选择方法感到很失望，但是在解决机器学习问题时又反复用到了这些方法，所以就创建了一个关于特征选择的Python类，该类可以在GitHub上找到。FeatureSelector类包括一些最常见的特征选择方法:1.高百分比的缺失值特征选择法...

2018-07-16 13:27:28 1793 1

转载机器学习系列:xgboost因子择时

用xgboost模型可以提高单因子的MAE、因子的风格轮动秩相关系数，并提高多因子组合的收益和回撤表现，显示出不错的择时效果。本文共分为四个部分，具体如下：一、数据准备和处理；二、预测因子的未来IC：用xgboost静态模型、滚动模型来预测因子的下一期IC；三、单因子选股比较：比较6个因子择时和不择时的表现。四、多因子实证分析：利用xgboost预测的IC值合成因子，并构建组合比较合成因子的效果...

2018-07-15 20:29:20 5474

hadoop-windows

Z-Stack API

《Z-Stack API 接口》中文版

空空如也