自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(4)
  • 资源 (19)
  • 收藏
  • 关注

原创 分组Top N问题(三) - sql及Hive实现

前言:同上篇Hadoop MapReduce 实现分组Top n介绍一样,这次学习Hive实现分组Top n。案例:在数据处理中,经常会碰到这样一个场景,对表数据按照某一字段分组,然后找出各自组内最大的几条记录情形。针对这种分组Top N问题,我们利用Hive、MapReduce等多种工具实现一下。场景模拟:对类如下users表记录,取出不同grade下得分最多的两条记录i

2016-11-25 16:44:25 6131

原创 分组Top N问题(二) - Hadoop MapReduce实现

前言:在Hadoop中,排序是MapReduce的灵魂,MapTask和ReduceTask均会对数据按Key排序,这个操作是MR框架的默认行为,不管你的业务逻辑上是否需要这一操作。技术点:MapReduce框架中,用到的排序主要有两种:快速排序和基于堆实现的优先级队列(PriorityQueue)。Mapper阶段: 从map输出到环形缓冲区的数据会被排序(这是MR框架中改良

2016-11-25 16:23:07 5819 3

原创 分组Top N问题(一) - java实现Top n算法基础

前言:在分析MapReduce、Hive、Redis和Storm、Spark等工具实现分组Top n问题前,我们先看下java最原始实现Top的方法有哪些,为后面奠定些基础,这也是我要整理成一个系列的原因。对于Top n问题,这里根据数据特点用合并法、快排过程法、大小顶堆和PriorityQueue固定队列四种方式来实现。合并法:数据描述:这种方法适用于几个数组有序的情况,来求To

2016-11-25 14:58:46 12845 7

原创 hive常用UDF and UDTF函数介绍-lateral view explode()

前言:Hive是基于Hadoop中的MapReduce,提供HQL查询的数据仓库。这里只大概说下Hive常用到的UDF函数,全面详细介绍推荐官网wiki:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF。定义:UDF(User-Defined-Function),用户自定义函数对数据进行处理。

2016-11-23 14:13:06 12429

spring boot 异常处理方案

spring boot 异常处理方案,github地址:https://github.com/chanjarster/spring-mvc-error-handling-example

2017-08-28

java实现properties文件读取

java实现properties文件读取

2016-12-02

redis3.0-集群部署文档

redis3.0-集群部署文档

2016-09-28

solr分词器IKAnalyzer

solr分词器IKAnalyzer,IK Analyzer 2012FF_hf1和schama配置文件

2016-09-26

The current branch is not configured for pull

The current branch is not configured for pull No value for key branch.master.merge found in configuration

2016-08-06

基于Spring Cloud和ES事件流构建的商城微服务

基于Spring Cloud和ES事件流构建的商城微服务英文文档Event Sourcing in Microservices Using Spring Cloud and Reactor.pdf

2016-07-27

使用Spring Cloud和Docker构建微服务

使用Spring Cloud和Docker构建微服务英文文档

2016-07-27

tomcat5.5javax.el.jar

standard-1.1.2.jar,jstl-1.1.2.jar,javax.el.jar

2016-07-12

传智播客张孝祥java邮件开发_Java邮件开发源代码ppt

传智播客张孝祥java邮件开发_Java邮件开发源代码ppt

2015-03-28

上传插件afinal_0.5_bin.jar

//四大主键,使用插件afinal FinalHttp fh = new FinalHttp(); fh.download(apkurl, Environment.getExternalStorageDirectory().getAbsolutePath()+"/mobilesafe2.0.apk", new AjaxCallBack<File>() { @Override public void onFailure(Throwable t, int errorNo, String strMsg) { t.printStackTrace(); Toast.makeText(getApplicationContext(), "下载失败", 1).show(); super.onFailure(t, errorNo, strMsg); }

2015-03-26

mysql主从配置文件

-> 首先配置master服务器 -> 下载MySQL -> 修改配置文件 启用二进制日志、设置id、添加复制权限用户 -> 配置环境变量 -> 安装服务 -> 配置Slave服务器 -> 连接到master

2015-03-22

WebSocket学习文档

作为下一代的 Web 标准,HTML5 拥有许多引人注目的新特性,如 Canvas、本地存储、多媒体编程接口、WebSocket 等等。这其中有“Web 的 TCP ”之称的 WebSocket格外吸引开发人员的注意。WebSocket 的出现使得浏览器提供对 Socket 的支持成为可能,从而在浏览器和服务器之间提供了一个基于 TCP 连接的双向通道。WebSocket是html5新增加的一种通信协议,目前流行的浏览器都支持这个协议,Web 开发人员可以非常方便地使用 WebSocket 构建实时 web 应用。

2015-01-08

JPA、hibernate项目常用包

从 EJB 技术可以开始应用时起 对其在实际应用中的可用性就一直存在怀疑 在我看来 产生这种现象最重要的两个原因是复杂性和资源密集性 结果 随后出现了比 EJB 更简单 具有更小资源空间的框架(比如 Spring 和 Hibernate) 并且更快流行开来 为了说明这一点 我们注意到 EJB 3 0 规范的方向相对以前出现了一个主要的转变 作为 JSR 220 的一部分 该规范提供了类似 Plain Old Java Object POJO 支持 Dependency Injection(依赖注入)和注释等功能 现在引入了一组全新的 API:Java Persistence API JPA 以允许开发者管理 Java EE(甚至 SE)应用程序中的关系数据 另外 Sun 声称 Java Persistence API 表现了一些 Hibernate TopLink(二者都会在稍后讨论) JDO 以及 EJB 框架中最好的想法 ">从 EJB 技术可以开始应用时起 对其在实际应用中的可用性就一直存在怀疑 在我看来 产生这种现象最重要的两个原因是复杂性和资源密集性 结果 随后出现了比 EJB 更简单 具有更小资源空间的框架(比如 Spring 和 Hibernate [更多]

2015-01-01

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除