- 博客(76)
- 收藏
- 关注
数据接入ElasticSearch方式培训PPT
写道数据接入ElasticSearch几种方式总结,涉及技术hive、flume、logstash、elasticsearch、kafka
2018-01-28 11:53:13 669
原创 Apache ftp tools 图片下载支持中文
写道Apache Commom net:1) 递归path,调用changeWorkingDirectory改变工作目录并验证是否存在 然后直接调用retrieveFileStream(filename),filename不用带路径,path经过编码后,filename带全路径存在问题;2)编码方式统一用new String(filename.getBytes("UTF-8"),"iso...
2017-12-05 23:55:02 248
原创 FtpURLConnection 图片下载编码问题
写道问题:1)Web项目中下载图片,存在下载不全,丢失部份图片2)FTP路径存在中文图片名称或中文路径3)直接运行Main方法可以下载图片,放在Web项目中下载失败,错误异常"FileNotFoundException" 写道为什么直接运行Main方法可以成功下载?Myeclipse/eclipse 右击类--->Run As-->Run Configurati...
2017-12-05 23:13:01 763
原创 Kafka 监控
背景概述 写道 kafka0.9及以前版本kafka offset 保存在zookeeper, 因频繁读写zookeeper性能不高;从0.10开始,主题分区offset存储于kafka独立主题中。 管理监控kafka主题及分区offset至关重要,原网上很开源流行工具KafkaOffsetMonitor、kafka-manager,旧版offset保存于zookeeper,...
2017-11-18 00:31:49 547 1
Spring Cloud之OAuth2
备:附件中OAuth2 授权服务器实现源码及PPT一、Authorization code grant The flow illustrated in Figure 1 includes the following steps:(A) The client (typically, a web application) initiates the flow by di...
2017-07-08 12:04:52 902
Hadoop与Hive日志
1、包准备http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.5.0-cdh5.3.0.tar.gzzookeeper-3.4.5-cdh5.3.0.tar.gzhive-0.13.1-cdh5.3.0.tar.gzhttps://repo1.maven.org/maven2/org/apache/hive/hive-jdbc/...
2017-07-08 11:33:28 1638
原创 Spring Cloud之Configuration Server
为什么用spring cloud config 写道一个Application中不只是代码,还需要连接资源和其它应用,经常有很多需要外部设置的项去调整Application行为,如切换不同的数据库,i18n国际化 等.应用中的会经常见到的xml,properties,yaml等就是配置信息.常见的实现信息配置的方法:● 硬编码(缺点:需要修改代码,风险大)● 放在xml等配置文件中,和应...
2017-05-19 22:51:35 212
Java Servlet3.1规范
目录前言............................... 3其他资料.............................................................................................................................................................
2016-11-25 20:33:11 194
原创 JMX监控(MBean)
一、引言 写道随着企业 IT 规模的不断增长,IT 资源(IT resource)数量不断增加,IT 资源的分布也越来越分散。可以想象,甚至对于一家只有几百台 PC 公司的 IT 管理人员来说,分发一个安全补丁并且保证其在每台 PC 上的安装,如果只依赖人工来完成那简直就是一场噩梦。这样,IT 管理系统就应运而生。JMX可以监控与管理系统资源,一般小公司不注重IT资源监控,而大公司非常得视...
2016-11-23 22:16:27 962
原创 哈希表在JAVA中如何实现
一、 复习一下基础知识1. 截断低位与抹除高位 写道如果一个数(二进制形式 n 位)对 2k 整除和取模: ● (1)整除是截断低位(k),保留高位(n-k); ● (2)取模运算是抹除最高比特位(要求 k = n-1); 不妨以 10(1010) 和 8(1000) 为例: ● (1)整除:10/8 == 1 ● (2)取模:10%8 == 010 == 22. 移位运算 ...
2016-11-23 20:42:44 1889
原创 微服务架构中服务注册与发现
为什么使用服务发现?想象一下,如果你在写代码调用一个有REST API或Thrift API的服务,你的代码需要知道一个服务实例的网络地址(IP地址和端口)。运行在物理硬件上的传统应用中,服务实例的网络地址是相对静态的,你的代码可以从一个很少更新的配置文件中读取网络地址。在一个现代的,基于云的微服务应用中,这个问题就变得复杂多了,如下图所示: 服务实例的网络地址是动态分配的。而且,由于...
2016-11-02 09:30:41 270
Spring boot 入门实例
写道Spring Boot是由Pivotal团队提供的全新框架,其设计目的是用来简化新Spring应用的初始搭建以及开发过程。该框架使用了特定的方式来进行配置,从而使开发人员不再需要定义样板化的配置。通过这种方式,Boot致力于在蓬勃发展的快速应用开发领域(rapid application development)成为领导者。可以 Maven | Gradle | Ant | Starte...
2016-10-29 00:33:27 162
原创 Javascript模块化编程(AMD规范)
(接上文)七、模块的规范先想一想,为什么模块很重要?因为有了模块,我们就可以更方便地使用别人的代码,想要什么功能,就加载什么模块。但是,这样做有一个前提,那就是大家必须以同样的方式编写模块,否则你有你的写法,我有我的写法,岂不是乱了套!考虑到Javascript模块现在还没有官方规范,这一点就更重要了。目前,通行的Javascript模块规范共有两种:CommonJS和AM...
2016-10-09 22:46:27 99
Javascript模块化编程(模块)
网页越来越像桌面程序,需要一个团队分工协作、进度管理、单元测试等等......开发者不得不使用软件工程的方法,管理网页的业务逻辑。Javascript模块化编程,已经成为一个迫切的需求。理想情况下,开发者只需要实现核心的业务逻辑,其他都可以加载别人已经写好的模块。但是,Javascript不是一种模块化编程语言,它不支持"类"(class),更遑论"模块"(module)了。(正在制定中...
2016-10-09 22:39:35 124
Javascript模块化编程(Require.js)
我采用的是一个非常流行的库require.js。一、为什么要用require.js?最早的时候,所有Javascript代码都写在一个文件里面,只要加载这一个文件就够了。后来,代码越来越多,一个文件不够了,必须分成多个文件,依次加载。下面的网页代码,相信很多人都见过。 <script src="1.js"></script> <script...
2016-10-09 21:56:01 127
Java计算两点经纬度距离及最短运行时间
概述 经纬度在地图应用中常见,一般结合路网信息库,进行地图应用开发(流量、路况等),此次从理计算两点经纬度的直线距及最短运行时间预研,实现下述表达式: package com.sunshine.app.utils;import java.text.SimpleDateFormat;import org.slf4j.Logger;import org.slf...
2016-09-12 21:20:19 726
GreenPlum使用日志
1、登录 应用程序可以使用Postgresql jdbc驱动包连接GreenPlum(GP)数据库,命令行登录GP: 写道su - gpadmin// psql -h 192.168.1.2 -d test -U userpsql -h ip -d dbname -U user 2、创建表创建表模板如下,主要注意标红色的地方:With:指定创建表时存储参数(列或行存...
2016-09-12 20:44:52 1994
原创 GreenPlum上手指南
简介 Greenplum应用在OLAP领域,MPP架构,其底层使用Postgre,支持横向扩展,支持行存储、列存储,支持事务、ACID。MPP数据库主打share nothing,即各节点间任何资源都不共享,从硬件的CPU/内存/网络/存储,到上层的操作系统,各节点都是独立的;节点间的交互主要通过网络进行通信。由于数据量越来越大,OLAP产品多采用MPP架构,例如阿里的ADS,百度...
2016-09-06 23:16:37 870
原创 Redis应用之部署
1、概述 Redis 是一个开源(BSD许可)的,内存中的数据结构存储系统,它可以用作数据库、缓存和消息中间件。 它支持多种类型的数据结构,如 字符串(strings), 散列(hashes),列表(lists),集合(sets), 有序集合(sorted sets) 与范围查询, bitmaps, hyperloglogs 和地理空间(geospatial)索引半径查询。 Redi...
2016-09-06 00:45:25 206
原创 Druid 大数据分析之查询
1、Druid 查询概述 上一节完成数据导入后,接下来讲讲Druid如何查询及统计分析导入的数据。 Druid的查询是使用REST风格的HTTP请求查询服务节点(Broker、Historical、Realtime),这些服务节点暴露REST查询接口,客户端发送Json对象请求查询接口。一般情况下,查询服务接口发布在Broker节点,基于Linux 的POST请求查询如下所示:...
2016-08-31 23:49:08 1060
原创 Druid 大数据分析之快速应用(单机模式)
一、概述 本节快速安装基于单机服务器,很多配置可以默认不需要修改,数据存储在操作系统级别的磁盘。推出快速安装的目的,便于了解并指导基于Druid进行大数据分析的开发流程。本节主要讲Druid的安装、实例数据加载、查询及使用问题解决。 二、安装要求 1. Java 7 及以上 2. Linux, Mac OS X, or other Unix-like
2016-08-30 08:57:12 2122
原创 Druid 大数据分析之快速应用(单机模式)
1、概述 本节快速安装基于单机服务器,很多配置可以默认不需要修改,数据存储在操作系统级别的磁盘。推出快速安装的目的,便于了解并指导基于Druid进行大数据分析的开发流程。本节主要讲Druid的安装、实例数据加载、查询及使用问题解决。 2、安装要求 1. Java 7 及以上 2. Linux, Mac OS X, or other Unix-like OS (Win...
2016-08-30 00:01:50 246
原创 STORM 拓扑构建
在Storm拓扑构建前我们先复习一下Storm概念及组件:1. Nimbus:负责资源分配和任务调度。 2. Supervisor:负责接受nimbus分配的任务,启动和停止属于自己管理的worker进程。 3. Worker:运行具体处理组件逻辑的进程。 4. Task:worker中每一个spout/bolt的线程称为一个task. 在storm0.8之后,task不再与物理线程对应,同一个 spout/bolt的task可能会共享一个物理线程,该线程称为xecutor。5. Topology
2016-08-28 17:54:11 3398
原创 Druid 大数据分析之概况
一、概述 随着互联网快速发展,数据量增长快,达到TB、PB,以交通车流量为例,如湖南省每月的车辆流量至少达到4亿,这个数据量远不止如此。数据量如此大,如何满足后期分析,传统面向OLTP型数据库(ORACLE、MYSQL等)无法要求,渐渐开始转向OLAP,如GreenPlum等,虽然很多OLAP数据库吸收分布式计算思想,数据达到20亿以上后,进行Count、聚合等操作性
2016-08-28 17:39:53 3697
原创 Druid 大数据分析之概况
一、概述 随着互联网快速发展,数据量增长快,达到TB、PB,以交通车流量为例,如湖南省每月的车辆流量至少达到4亿,这个数据量远不止如此。数据量如此大,如何满足后期分析,传统面向OLTP型数据库(ORACLE、MYSQL等)无法要求,渐渐开始转向OLAP,如GreenPlum等,虽然很多OLAP数据库吸收分布式计算思想,数据达到20亿以上后,进行Count、聚合等操作性能仍然达不到客户...
2016-08-28 02:14:25 464
计算机软件开源技术、大数据技术等资源教程
基于时间序列化数据引擎排名,很多OLAP工具,根据自身业务情况选择http://db-engines.com/en/ranking/time+series+dbms 计算机软件开源技术、大数据技术等资源教程(很全面)http://www.tutorialspoint.com/index.htm ...
2016-08-24 13:01:36 127
Scala实例
1、概述Scala是Java的下一代编程语言,支持面向对象及函数,可以与Java相互调用;scala运行需要安装JVM;scala操作灵活,表达示丰富,目前JAVA8向scala靠拢。 2、开发环境1)安装scala eclipse plugin2)安装集成scala IDE 3、第一个Scala实例,类与方法定义及数据库定义 packa...
2016-08-19 22:48:44 232
原创 Thrift实战开发
1、概述前面一节,我们说了Thrift安装及开发环境准备工作,这一节把主要Thrift IDL规范回顾一下,不常用语法规范在这里不一一列举出来;我们可以把Thrift看作是一个编程语言,那么形成一套语法规范,如接口怎么定义、有什么数据类型、方法怎么定义、变量怎么申明与赋值、命名空间(包)、常量等一系列规定;回答上述的问题,我们就清楚Thrift IDL语法规范,自然知道如何编写thrift
2016-08-19 00:04:09 343
原创 Thrift实战准备
为什么用Thrift及各种数据传输方式性能比较 目前流行的服务调用方式有很多种,例如基于 SOAP 消息格式的 Web Service,基于 JSON 消息格式的 RESTful 服务等。其中所用到的数据传输方式包括 XML,JSON 等,然而 XML 相对体积太大,传输效率低,JSON 体积较小,新颖,但还不够完善。本文将介绍由 Facebook 开发的远程服务调用框架 Apac
2016-08-19 00:01:26 379
Thrift实战案例
1、概述前面一节,我们说了Thrift安装及开发环境准备工作,这一节把主要Thrift IDL规范回顾一下,不常用语法规范在这里不一一列举出来;我们可以把Thrift看作是一个编程语言,那么形成一套语法规范,如接口怎么定义、有什么数据类型、方法怎么定义、变量怎么申明与赋值、命名空间(包)、常量等一系列规定;回答上述的问题,我们就清楚Thrift IDL语法规范,自然知道如何编写thrift...
2016-08-18 00:54:04 296
Thrift实战准备
为什么用Thrift及各种数据传输方式比较 目前流行的服务调用方式有很多种,例如基于 SOAP 消息格式的 Web Service,基于 JSON 消息格式的 RESTful 服务等。其中所用到的数据传输方式包括 XML,JSON 等,然而 XML 相对体积太大,传输效率低,JSON 体积较小,新颖,但还不够完善。本文将介绍由 Facebook 开发的远程服务调用框架 Apache...
2016-08-17 18:28:32 124
代码单元与代码点
代码单元与代码点代码点指编码表(比如Unicode)中某个字符的代码值(数字),书写时前面加U+,比如U+0041是字母A的代码点java中的代码单元指表示编码表字符的最小存储单元,用16位表示Unicode 代码点U+0041U+00DFU+6771U+10400表示字形 ...
2016-08-16 17:46:11 346
原创 Automake/Autoconf
1. autoscan autoscan是 用来扫描源代码目录生成configure.scan文件的 .autoscan可以用目录名做为参数,但如果你不使用参数的 话,那么autoscan将认为使用的是当前目录.autoscan将扫描你所指定目录中的 源文件,并创建configure.scan文件. 2. configure.scan configure.sca...
2016-08-15 15:53:01 115
原创 Java模块化解决方案
网络上很多OSGi的文章上来就Activator实例,看得云里雾里。要想了解OSGi,首先要知道为什么要用OSGi?它有哪些好处? 首先要明确:Java缺少对高级模块化的支持。OSGi服务平台是专门针对Java对模块化支持不足的情况,由OSGi联盟定义的一个行业标准,它引入了一个面向服务的编程模型,被称作“VM中的SOA”Java模块化的不足 为什么说Ja...
2016-08-15 00:19:08 560
原创 深入浅出ClassLoader
你真的了解ClassLoader吗?这篇文章翻译自zeroturnaround.com的 Do You Really Get Classloaders? ,融入和补充了笔者的一些实践、经验和样例。本文的例子比原文更加具有实际意义,文字内容也更充沛一些,非常感谢作者 Jevgeni Kabanov 能够共享如此优秀的文档。 1. 为什么你需要了解和敬畏ClassLoaderClas...
2016-08-13 17:06:12 116
Generate axis server code from wsdl
1、为什么需要生成服务端? 很多人都用过Web Service 比较常用的是Axis,Cxf,平时开发服务器端都是从Java-->服务端;经常与其它应用做接口对接,根据业务接口文档及Wsdl开发相应客户端,从Wsdl生成相应客户端代码方式很多,列举3种方式: 1) 直接编写代码 2) 开源包,如Axis、cxf自带命令 3) 借助其它工具(myeclipse、soapui等),可...
2016-08-04 00:34:27 214
原创 Redis on Windows
Redis on WindowsThis is a port for Windows based on Redis.We officially support the 64-bit version only. Although you can build the 32-bit version from source if desired.You can download the...
2016-03-02 13:16:36 475
原创 GreenPlum 表创建
GreenPlum存储模式 写道 GreenPlum 数据库创建表时提供了一组关于存储的参数,这一点非常重要。什么时候使用堆(Heap)存储与AO(Append-optimized)存储,什么时候使用基于行式存储与列式存储。正确选择堆与AO和行与列对于大表来说非常重要。 CREATE TABLE 写道Defines a new table....
2016-02-29 21:51:27 1025
原创 STORM消息的可靠性
Storm 能够保证每一个由 Spout 发送的消息都能够得到完整地处理。本文详细解释了 Storm 如何实现这种 保障机制,以及作为用户如何使用好 Storm 的可靠性机制。 消息的“完整性处理”是什么意思一个从 spout 中发送出的 tuple 会产生上千个基于它创建的 tuples。例如,有这样一个 word-count 拓扑:TopologyBuilder...
2016-01-29 23:12:27 189
STORM 拓扑构建
一、Storm大数据位置 解决方案开发商类型描述StormTwitter流式处理Twitter 的新流式大数据分析解决方案S4Yahoo!流式处理来自 Yahoo! 的分布式流计算平台HadoopApache...
2016-01-28 14:59:32 228
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人