- 博客(17)
- 收藏
- 关注
RSS订阅原创 Druid 大数据分析之查询
1、Druid 查询概述 上一节完成数据导入后，接下来讲讲Druid如何查询及统计分析导入的数据。 Druid的查询是使用REST风格的HTTP请求查询服务节点（Broker、Historical、Realtime），这些服务节点暴露REST查询接口，客户端发送Json对象请求查询接口。一般情况下，查询服务接口发布在Broker节点，基于Linux 的POST请求查询如下所示：...
2016-08-31 23:49:08
1044
原创 Druid 大数据分析之快速应用（单机模式）
一、概述 本节快速安装基于单机服务器，很多配置可以默认不需要修改，数据存储在操作系统级别的磁盘。推出快速安装的目的，便于了解并指导基于Druid进行大数据分析的开发流程。本节主要讲Druid的安装、实例数据加载、查询及使用问题解决。 二、安装要求 1. Java 7 及以上 2. Linux, Mac OS X, or other Unix-like
2016-08-30 08:57:12
2103
原创 Druid 大数据分析之快速应用（单机模式）
1、概述 本节快速安装基于单机服务器，很多配置可以默认不需要修改，数据存储在操作系统级别的磁盘。推出快速安装的目的，便于了解并指导基于Druid进行大数据分析的开发流程。本节主要讲Druid的安装、实例数据加载、查询及使用问题解决。 2、安装要求 1. Java 7 及以上 2. Linux, Mac OS X, or other Unix-like OS (Win...
2016-08-30 00:01:50
240
原创 STORM 拓扑构建
在Storm拓扑构建前我们先复习一下Storm概念及组件：1. Nimbus：负责资源分配和任务调度。 2. Supervisor：负责接受nimbus分配的任务，启动和停止属于自己管理的worker进程。 3. Worker：运行具体处理组件逻辑的进程。 4. Task：worker中每一个spout/bolt的线程称为一个task. 在storm0.8之后，task不再与物理线程对应，同一个 spout/bolt的task可能会共享一个物理线程，该线程称为xecutor。5. Topology
2016-08-28 17:54:11
3384
原创 Druid 大数据分析之概况
一、概述 随着互联网快速发展，数据量增长快，达到TB、PB，以交通车流量为例，如湖南省每月的车辆流量至少达到4亿，这个数据量远不止如此。数据量如此大，如何满足后期分析，传统面向OLTP型数据库（ORACLE、MYSQL等）无法要求，渐渐开始转向OLAP，如GreenPlum等，虽然很多OLAP数据库吸收分布式计算思想，数据达到20亿以上后，进行Count、聚合等操作性
2016-08-28 17:39:53
3685
原创 Druid 大数据分析之概况
一、概述 随着互联网快速发展，数据量增长快，达到TB、PB，以交通车流量为例，如湖南省每月的车辆流量至少达到4亿，这个数据量远不止如此。数据量如此大，如何满足后期分析，传统面向OLTP型数据库（ORACLE、MYSQL等）无法要求，渐渐开始转向OLAP，如GreenPlum等，虽然很多OLAP数据库吸收分布式计算思想，数据达到20亿以上后，进行Count、聚合等操作性能仍然达不到客户...
2016-08-28 02:14:25
447
计算机软件开源技术、大数据技术等资源教程
基于时间序列化数据引擎排名，很多OLAP工具，根据自身业务情况选择http://db-engines.com/en/ranking/time+series+dbms 计算机软件开源技术、大数据技术等资源教程（很全面）http://www.tutorialspoint.com/index.htm ...
2016-08-24 13:01:36
121
Scala实例
1、概述Scala是Java的下一代编程语言，支持面向对象及函数，可以与Java相互调用；scala运行需要安装JVM；scala操作灵活，表达示丰富，目前JAVA8向scala靠拢。 2、开发环境1）安装scala eclipse plugin2）安装集成scala IDE 3、第一个Scala实例，类与方法定义及数据库定义 packa...
2016-08-19 22:48:44
216
原创 Thrift实战开发
1、概述前面一节，我们说了Thrift安装及开发环境准备工作，这一节把主要Thrift IDL规范回顾一下，不常用语法规范在这里不一一列举出来；我们可以把Thrift看作是一个编程语言，那么形成一套语法规范，如接口怎么定义、有什么数据类型、方法怎么定义、变量怎么申明与赋值、命名空间(包)、常量等一系列规定；回答上述的问题，我们就清楚Thrift IDL语法规范，自然知道如何编写thrift
2016-08-19 00:04:09
329
原创 Thrift实战准备
为什么用Thrift及各种数据传输方式性能比较 目前流行的服务调用方式有很多种，例如基于 SOAP 消息格式的 Web Service，基于 JSON 消息格式的 RESTful 服务等。其中所用到的数据传输方式包括 XML，JSON 等，然而 XML 相对体积太大，传输效率低，JSON 体积较小，新颖，但还不够完善。本文将介绍由 Facebook 开发的远程服务调用框架 Apac
2016-08-19 00:01:26
369
Thrift实战案例
1、概述前面一节，我们说了Thrift安装及开发环境准备工作，这一节把主要Thrift IDL规范回顾一下，不常用语法规范在这里不一一列举出来；我们可以把Thrift看作是一个编程语言，那么形成一套语法规范，如接口怎么定义、有什么数据类型、方法怎么定义、变量怎么申明与赋值、命名空间(包)、常量等一系列规定；回答上述的问题，我们就清楚Thrift IDL语法规范，自然知道如何编写thrift...
2016-08-18 00:54:04
282
Thrift实战准备
为什么用Thrift及各种数据传输方式比较 目前流行的服务调用方式有很多种，例如基于 SOAP 消息格式的 Web Service，基于 JSON 消息格式的 RESTful 服务等。其中所用到的数据传输方式包括 XML，JSON 等，然而 XML 相对体积太大，传输效率低，JSON 体积较小，新颖，但还不够完善。本文将介绍由 Facebook 开发的远程服务调用框架 Apache...
2016-08-17 18:28:32
111
代码单元与代码点
代码单元与代码点代码点指编码表(比如Unicode)中某个字符的代码值(数字)，书写时前面加U+，比如U+0041是字母A的代码点java中的代码单元指表示编码表字符的最小存储单元，用16位表示Unicode 代码点U+0041U+00DFU+6771U+10400表示字形 ...
2016-08-16 17:46:11
333
原创 Automake/Autoconf
1. autoscan autoscan是 用来扫描源代码目录生成configure.scan文件的 .autoscan可以用目录名做为参数,但如果你不使用参数的 话,那么autoscan将认为使用的是当前目录.autoscan将扫描你所指定目录中的 源文件,并创建configure.scan文件. 2. configure.scan configure.sca...
2016-08-15 15:53:01
107
原创 Java模块化解决方案
网络上很多OSGi的文章上来就Activator实例，看得云里雾里。要想了解OSGi，首先要知道为什么要用OSGi？它有哪些好处？ 首先要明确：Java缺少对高级模块化的支持。OSGi服务平台是专门针对Java对模块化支持不足的情况，由OSGi联盟定义的一个行业标准，它引入了一个面向服务的编程模型，被称作“VM中的SOA”Java模块化的不足 为什么说Ja...
2016-08-15 00:19:08
540
原创 深入浅出ClassLoader
你真的了解ClassLoader吗？这篇文章翻译自zeroturnaround.com的 Do You Really Get Classloaders? ，融入和补充了笔者的一些实践、经验和样例。本文的例子比原文更加具有实际意义，文字内容也更充沛一些，非常感谢作者 Jevgeni Kabanov 能够共享如此优秀的文档。 1. 为什么你需要了解和敬畏ClassLoaderClas...
2016-08-13 17:06:12
103
Generate axis server code from wsdl
1、为什么需要生成服务端? 很多人都用过Web Service 比较常用的是Axis,Cxf，平时开发服务器端都是从Java-->服务端；经常与其它应用做接口对接，根据业务接口文档及Wsdl开发相应客户端，从Wsdl生成相应客户端代码方式很多，列举3种方式： 1） 直接编写代码 2） 开源包,如Axis、cxf自带命令 3） 借助其它工具(myeclipse、soapui等)，可...
2016-08-04 00:34:27
205
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人