- 博客(76)
- 收藏
- 关注
RSS订阅数据接入ElasticSearch方式培训PPT
写道数据接入ElasticSearch几种方式总结，涉及技术hive、flume、logstash、elasticsearch、kafka
2018-01-28 11:53:13
635
原创 Apache ftp tools 图片下载支持中文
写道Apache Commom net:1) 递归path，调用changeWorkingDirectory改变工作目录并验证是否存在 然后直接调用retrieveFileStream(filename),filename不用带路径，path经过编码后，filename带全路径存在问题；2)编码方式统一用new String(filename.getBytes("UTF-8"),"iso...
2017-12-05 23:55:02
197
原创 FtpURLConnection 图片下载编码问题
写道问题：1）Web项目中下载图片,存在下载不全，丢失部份图片2）FTP路径存在中文图片名称或中文路径3）直接运行Main方法可以下载图片，放在Web项目中下载失败，错误异常"FileNotFoundException" 写道为什么直接运行Main方法可以成功下载？Myeclipse/eclipse 右击类--->Run As-->Run Configurati...
2017-12-05 23:13:01
733
原创 Kafka 监控
背景概述 写道 kafka0.9及以前版本kafka offset 保存在zookeeper， 因频繁读写zookeeper性能不高；从0.10开始，主题分区offset存储于kafka独立主题中。 管理监控kafka主题及分区offset至关重要，原网上很开源流行工具KafkaOffsetMonitor、kafka-manager，旧版offset保存于zookeeper，...
2017-11-18 00:31:49
522
1
Spring Cloud之OAuth2
备：附件中OAuth2 授权服务器实现源码及PPT一、Authorization code grant The flow illustrated in Figure 1 includes the following steps:(A) The client (typically, a web application) initiates the flow by di...
2017-07-08 12:04:52
846
Hadoop与Hive日志
1、包准备http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.5.0-cdh5.3.0.tar.gzzookeeper-3.4.5-cdh5.3.0.tar.gzhive-0.13.1-cdh5.3.0.tar.gzhttps://repo1.maven.org/maven2/org/apache/hive/hive-jdbc/...
2017-07-08 11:33:28
1518
原创 Spring Cloud之Configuration Server
为什么用spring cloud config 写道一个Application中不只是代码,还需要连接资源和其它应用,经常有很多需要外部设置的项去调整Application行为,如切换不同的数据库,i18n国际化 等.应用中的会经常见到的xml,properties,yaml等就是配置信息.常见的实现信息配置的方法:● 硬编码(缺点:需要修改代码,风险大)● 放在xml等配置文件中,和应...
2017-05-19 22:51:35
180
Java Servlet3.1规范
目录前言............................... 3其他资料.............................................................................................................................................................
2016-11-25 20:33:11
165
原创 JMX监控（MBean）
一、引言 写道随着企业 IT 规模的不断增长，IT 资源（IT resource）数量不断增加，IT 资源的分布也越来越分散。可以想象，甚至对于一家只有几百台 PC 公司的 IT 管理人员来说，分发一个安全补丁并且保证其在每台 PC 上的安装，如果只依赖人工来完成那简直就是一场噩梦。这样，IT 管理系统就应运而生。JMX可以监控与管理系统资源，一般小公司不注重IT资源监控，而大公司非常得视...
2016-11-23 22:16:27
906
原创 哈希表在JAVA中如何实现
一、 复习一下基础知识1. 截断低位与抹除高位 写道如果一个数（二进制形式 n 位）对 2k 整除和取模： ● （1）整除是截断低位（k），保留高位（n-k）； ● （2）取模运算是抹除最高比特位（要求 k = n-1）； 不妨以 10（1010） 和 8（1000） 为例： ● （1）整除：10/8 == 1 ● （2）取模：10%8 == 010 == 22. 移位运算 ...
2016-11-23 20:42:44
1837
原创 微服务架构中服务注册与发现
为什么使用服务发现？想象一下，如果你在写代码调用一个有REST API或Thrift API的服务，你的代码需要知道一个服务实例的网络地址（IP地址和端口）。运行在物理硬件上的传统应用中，服务实例的网络地址是相对静态的，你的代码可以从一个很少更新的配置文件中读取网络地址。在一个现代的，基于云的微服务应用中，这个问题就变得复杂多了，如下图所示： 服务实例的网络地址是动态分配的。而且，由于...
2016-11-02 09:30:41
255
Spring boot 入门实例
写道Spring Boot是由Pivotal团队提供的全新框架，其设计目的是用来简化新Spring应用的初始搭建以及开发过程。该框架使用了特定的方式来进行配置，从而使开发人员不再需要定义样板化的配置。通过这种方式，Boot致力于在蓬勃发展的快速应用开发领域（rapid application development）成为领导者。可以 Maven | Gradle | Ant | Starte...
2016-10-29 00:33:27
141
原创 Javascript模块化编程(AMD规范)
（接上文）七、模块的规范先想一想，为什么模块很重要？因为有了模块，我们就可以更方便地使用别人的代码，想要什么功能，就加载什么模块。但是，这样做有一个前提，那就是大家必须以同样的方式编写模块，否则你有你的写法，我有我的写法，岂不是乱了套！考虑到Javascript模块现在还没有官方规范，这一点就更重要了。目前，通行的Javascript模块规范共有两种：CommonJS和AM...
2016-10-09 22:46:27
85
Javascript模块化编程(模块)
网页越来越像桌面程序，需要一个团队分工协作、进度管理、单元测试等等......开发者不得不使用软件工程的方法，管理网页的业务逻辑。Javascript模块化编程，已经成为一个迫切的需求。理想情况下，开发者只需要实现核心的业务逻辑，其他都可以加载别人已经写好的模块。但是，Javascript不是一种模块化编程语言，它不支持"类"（class），更遑论"模块"（module）了。（正在制定中...
2016-10-09 22:39:35
106
Javascript模块化编程(Require.js)
我采用的是一个非常流行的库require.js。一、为什么要用require.js？最早的时候，所有Javascript代码都写在一个文件里面，只要加载这一个文件就够了。后来，代码越来越多，一个文件不够了，必须分成多个文件，依次加载。下面的网页代码，相信很多人都见过。 <script src="1.js"></script> <script...
2016-10-09 21:56:01
110
Java计算两点经纬度距离及最短运行时间
概述 经纬度在地图应用中常见，一般结合路网信息库，进行地图应用开发（流量、路况等），此次从理计算两点经纬度的直线距及最短运行时间预研，实现下述表达式： package com.sunshine.app.utils;import java.text.SimpleDateFormat;import org.slf4j.Logger;import org.slf...
2016-09-12 21:20:19
676
GreenPlum使用日志
1、登录 应用程序可以使用Postgresql jdbc驱动包连接GreenPlum（GP）数据库，命令行登录GP： 写道su - gpadmin// psql -h 192.168.1.2 -d test -U userpsql -h ip -d dbname -U user 2、创建表创建表模板如下，主要注意标红色的地方：With：指定创建表时存储参数（列或行存...
2016-09-12 20:44:52
1950
原创 GreenPlum上手指南
简介 Greenplum应用在OLAP领域，MPP架构，其底层使用Postgre，支持横向扩展，支持行存储、列存储，支持事务、ACID。MPP数据库主打share nothing，即各节点间任何资源都不共享，从硬件的CPU/内存/网络/存储，到上层的操作系统，各节点都是独立的；节点间的交互主要通过网络进行通信。由于数据量越来越大，OLAP产品多采用MPP架构，例如阿里的ADS，百度...
2016-09-06 23:16:37
838
原创 Redis应用之部署
1、概述 Redis 是一个开源（BSD许可）的，内存中的数据结构存储系统，它可以用作数据库、缓存和消息中间件。 它支持多种类型的数据结构，如 字符串（strings）， 散列（hashes），列表（lists），集合（sets）， 有序集合（sorted sets） 与范围查询， bitmaps， hyperloglogs 和地理空间（geospatial）索引半径查询。 Redi...
2016-09-06 00:45:25
194
原创 Druid 大数据分析之查询
1、Druid 查询概述 上一节完成数据导入后，接下来讲讲Druid如何查询及统计分析导入的数据。 Druid的查询是使用REST风格的HTTP请求查询服务节点（Broker、Historical、Realtime），这些服务节点暴露REST查询接口，客户端发送Json对象请求查询接口。一般情况下，查询服务接口发布在Broker节点，基于Linux 的POST请求查询如下所示：...
2016-08-31 23:49:08
1026
原创 Druid 大数据分析之快速应用（单机模式）
一、概述 本节快速安装基于单机服务器，很多配置可以默认不需要修改，数据存储在操作系统级别的磁盘。推出快速安装的目的，便于了解并指导基于Druid进行大数据分析的开发流程。本节主要讲Druid的安装、实例数据加载、查询及使用问题解决。 二、安装要求 1. Java 7 及以上 2. Linux, Mac OS X, or other Unix-like
2016-08-30 08:57:12
2076
原创 Druid 大数据分析之快速应用（单机模式）
1、概述 本节快速安装基于单机服务器，很多配置可以默认不需要修改，数据存储在操作系统级别的磁盘。推出快速安装的目的，便于了解并指导基于Druid进行大数据分析的开发流程。本节主要讲Druid的安装、实例数据加载、查询及使用问题解决。 2、安装要求 1. Java 7 及以上 2. Linux, Mac OS X, or other Unix-like OS (Win...
2016-08-30 00:01:50
226
原创 STORM 拓扑构建
在Storm拓扑构建前我们先复习一下Storm概念及组件：1. Nimbus：负责资源分配和任务调度。 2. Supervisor：负责接受nimbus分配的任务，启动和停止属于自己管理的worker进程。 3. Worker：运行具体处理组件逻辑的进程。 4. Task：worker中每一个spout/bolt的线程称为一个task. 在storm0.8之后，task不再与物理线程对应，同一个 spout/bolt的task可能会共享一个物理线程，该线程称为xecutor。5. Topology
2016-08-28 17:54:11
3360
原创 Druid 大数据分析之概况
一、概述 随着互联网快速发展，数据量增长快，达到TB、PB，以交通车流量为例，如湖南省每月的车辆流量至少达到4亿，这个数据量远不止如此。数据量如此大，如何满足后期分析，传统面向OLTP型数据库（ORACLE、MYSQL等）无法要求，渐渐开始转向OLAP，如GreenPlum等，虽然很多OLAP数据库吸收分布式计算思想，数据达到20亿以上后，进行Count、聚合等操作性
2016-08-28 17:39:53
3671
原创 Druid 大数据分析之概况
一、概述 随着互联网快速发展，数据量增长快，达到TB、PB，以交通车流量为例，如湖南省每月的车辆流量至少达到4亿，这个数据量远不止如此。数据量如此大，如何满足后期分析，传统面向OLTP型数据库（ORACLE、MYSQL等）无法要求，渐渐开始转向OLAP，如GreenPlum等，虽然很多OLAP数据库吸收分布式计算思想，数据达到20亿以上后，进行Count、聚合等操作性能仍然达不到客户...
2016-08-28 02:14:25
435
计算机软件开源技术、大数据技术等资源教程
基于时间序列化数据引擎排名，很多OLAP工具，根据自身业务情况选择http://db-engines.com/en/ranking/time+series+dbms 计算机软件开源技术、大数据技术等资源教程（很全面）http://www.tutorialspoint.com/index.htm ...
2016-08-24 13:01:36
111
Scala实例
1、概述Scala是Java的下一代编程语言，支持面向对象及函数，可以与Java相互调用；scala运行需要安装JVM；scala操作灵活，表达示丰富，目前JAVA8向scala靠拢。 2、开发环境1）安装scala eclipse plugin2）安装集成scala IDE 3、第一个Scala实例，类与方法定义及数据库定义 packa...
2016-08-19 22:48:44
204
原创 Thrift实战开发
1、概述前面一节，我们说了Thrift安装及开发环境准备工作，这一节把主要Thrift IDL规范回顾一下，不常用语法规范在这里不一一列举出来；我们可以把Thrift看作是一个编程语言，那么形成一套语法规范，如接口怎么定义、有什么数据类型、方法怎么定义、变量怎么申明与赋值、命名空间(包)、常量等一系列规定；回答上述的问题，我们就清楚Thrift IDL语法规范，自然知道如何编写thrift
2016-08-19 00:04:09
313
原创 Thrift实战准备
为什么用Thrift及各种数据传输方式性能比较 目前流行的服务调用方式有很多种，例如基于 SOAP 消息格式的 Web Service，基于 JSON 消息格式的 RESTful 服务等。其中所用到的数据传输方式包括 XML，JSON 等，然而 XML 相对体积太大，传输效率低，JSON 体积较小，新颖，但还不够完善。本文将介绍由 Facebook 开发的远程服务调用框架 Apac
2016-08-19 00:01:26
357
Thrift实战案例
1、概述前面一节，我们说了Thrift安装及开发环境准备工作，这一节把主要Thrift IDL规范回顾一下，不常用语法规范在这里不一一列举出来；我们可以把Thrift看作是一个编程语言，那么形成一套语法规范，如接口怎么定义、有什么数据类型、方法怎么定义、变量怎么申明与赋值、命名空间(包)、常量等一系列规定；回答上述的问题，我们就清楚Thrift IDL语法规范，自然知道如何编写thrift...
2016-08-18 00:54:04
265
Thrift实战准备
为什么用Thrift及各种数据传输方式比较 目前流行的服务调用方式有很多种，例如基于 SOAP 消息格式的 Web Service，基于 JSON 消息格式的 RESTful 服务等。其中所用到的数据传输方式包括 XML，JSON 等，然而 XML 相对体积太大，传输效率低，JSON 体积较小，新颖，但还不够完善。本文将介绍由 Facebook 开发的远程服务调用框架 Apache...
2016-08-17 18:28:32
96
代码单元与代码点
代码单元与代码点代码点指编码表(比如Unicode)中某个字符的代码值(数字)，书写时前面加U+，比如U+0041是字母A的代码点java中的代码单元指表示编码表字符的最小存储单元，用16位表示Unicode 代码点U+0041U+00DFU+6771U+10400表示字形 ...
2016-08-16 17:46:11
318
原创 Automake/Autoconf
1. autoscan autoscan是 用来扫描源代码目录生成configure.scan文件的 .autoscan可以用目录名做为参数,但如果你不使用参数的 话,那么autoscan将认为使用的是当前目录.autoscan将扫描你所指定目录中的 源文件,并创建configure.scan文件. 2. configure.scan configure.sca...
2016-08-15 15:53:01
97
原创 Java模块化解决方案
网络上很多OSGi的文章上来就Activator实例，看得云里雾里。要想了解OSGi，首先要知道为什么要用OSGi？它有哪些好处？ 首先要明确：Java缺少对高级模块化的支持。OSGi服务平台是专门针对Java对模块化支持不足的情况，由OSGi联盟定义的一个行业标准，它引入了一个面向服务的编程模型，被称作“VM中的SOA”Java模块化的不足 为什么说Ja...
2016-08-15 00:19:08
528
原创 深入浅出ClassLoader
你真的了解ClassLoader吗？这篇文章翻译自zeroturnaround.com的 Do You Really Get Classloaders? ，融入和补充了笔者的一些实践、经验和样例。本文的例子比原文更加具有实际意义，文字内容也更充沛一些，非常感谢作者 Jevgeni Kabanov 能够共享如此优秀的文档。 1. 为什么你需要了解和敬畏ClassLoaderClas...
2016-08-13 17:06:12
87
Generate axis server code from wsdl
1、为什么需要生成服务端? 很多人都用过Web Service 比较常用的是Axis,Cxf，平时开发服务器端都是从Java-->服务端；经常与其它应用做接口对接，根据业务接口文档及Wsdl开发相应客户端，从Wsdl生成相应客户端代码方式很多，列举3种方式： 1） 直接编写代码 2） 开源包,如Axis、cxf自带命令 3） 借助其它工具(myeclipse、soapui等)，可...
2016-08-04 00:34:27
197
原创 Redis on Windows
Redis on WindowsThis is a port for Windows based on Redis.We officially support the 64-bit version only. Although you can build the 32-bit version from source if desired.You can download the...
2016-03-02 13:16:36
445
原创 GreenPlum 表创建
GreenPlum存储模式 写道 GreenPlum 数据库创建表时提供了一组关于存储的参数，这一点非常重要。什么时候使用堆(Heap)存储与AO(Append-optimized)存储，什么时候使用基于行式存储与列式存储。正确选择堆与AO和行与列对于大表来说非常重要。 CREATE TABLE 写道Defines a new table....
2016-02-29 21:51:27
953
原创 STORM消息的可靠性
Storm 能够保证每一个由 Spout 发送的消息都能够得到完整地处理。本文详细解释了 Storm 如何实现这种 保障机制，以及作为用户如何使用好 Storm 的可靠性机制。 消息的“完整性处理”是什么意思一个从 spout 中发送出的 tuple 会产生上千个基于它创建的 tuples。例如，有这样一个 word-count 拓扑：TopologyBuilder...
2016-01-29 23:12:27
169
STORM 拓扑构建
一、Storm大数据位置 解决方案开发商类型描述StormTwitter流式处理Twitter 的新流式大数据分析解决方案S4Yahoo!流式处理来自 Yahoo! 的分布式流计算平台HadoopApache...
2016-01-28 14:59:32
210
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人