- 博客(180)
- 资源 (17)
- 收藏
- 关注
转载 设计模式
Java开发中的23种设计模式详解(转)http://www.cnblogs.com/maowang1991/archive/2013/04/15/3023236.html
2017-08-28 20:27:19
445
转载 Linux日志文件总管——logrotate
日志文件包含了关于系统中发生的事件的有用信息,在排障过程中或者系统性能分析时经常被用到。对于忙碌的服务器,日志文件大小会增长极快,服务器会很快消耗磁盘空间,这成了个问题。除此之外,处理一个单个的庞大日志文件也常常是件十分棘手的事。logrotate是个十分有用的工具,它可以自动对日志进行截断(或轮循)、压缩以及删除旧的日志文件。例如,你可以设置logrotate,让/var/log
2017-03-14 16:22:06
726
转载 java CRC16算法,分解一个大Key实例。和各种hash算法代码
[java] view plain copy package org.rui.hi; /** * 测试: 解决场景:把1亿的用户 存储在一个队列里,过大。用sharding 摸拟redis 集群 sharding Redis * 集群使用数据分片(sharding)而非一致性哈希(consistency hashing)来实现: 一个 Re
2017-03-09 11:33:29
2209
转载 flume与kafka整合
flume与kafka整合前提:flume安装和测试通过,可参考:http://www.cnblogs.com/rwxwsblog/p/5800300.htmlkafka安装和测试通过,可参考:http://www.cnblogs.com/rwxwsblog/p/5800224.html在上诉条件满足的情况下才能进行flume和kafka的整合。fl
2017-03-01 21:14:42
1600
转载 Flume+Kafka+Sparkstreaming日志分析
最近要做一个日志实时分析的应用,采用了flume+kafka+sparkstreaming框架,先搞了一个测试Demo,本文没有分析其架构原理。 简介:flume是一个分布式,高可靠,可用的海量日志聚合系统,kafka是一高吞吐量的分布式发布订阅系统,sparkstreaming是建立在spark上的实时计算框架,这这个Demo中,以上内容均为单机版伪分布,flume的source为ex
2017-02-24 22:07:54
911
转载 Flume+HBase采集和存储日志数据
前言大数据时代,谁掌握了足够的数据,谁就有可能掌握未来,而其中的数据采集就是将来的流动资产积累。几乎任何规模企业,每时每刻也都在产生大量的数据,但这些数据如何归集、提炼始终是一个困扰。而大数据技术的意义确实不在于掌握规模庞大的数据信息,而在于对这些数据进行智能处理,从中分析和挖掘出有价值的信息,但前提是如何获取大量有价值的数据。在最近的工作当中,本人刚好实现
2017-02-24 22:01:04
2284
转载 实战Apache-Flume采集DB数据到kafka
Flume是一个优秀的数据采集组件,有些重量级,其本质也是根据SQL语句的查询结果组装成opencsv格式的数据,默认的分隔符号是逗号(,),可以重写opencsv某些类进行修改 1、下载[root@hadoop0 bigdata]# wget http://apache.fayea.com/flume/1.6.0/apache-flume-1.6.0-bin.tar.g
2017-02-23 16:38:16
6080
转载 基于flume-ng抓取mysql数据到kafka
flume是一个日志收集器,更多详细的介绍可以参照官网:http://flume.apache.org/ 在apache flume的官网上没有找到sql数据源数据抓取的source,可以利用github上的plugin插件:https://github.com/keedio/flume-ng-sql-source,1.4.3版本基于hibernate实现,已可以适配所有的
2017-02-23 16:30:53
4575
4
转载 Apache Flume 1.6.0 用户指南
引言概述Apache Flume是一个分布式的、可靠的、易用的系统,可以有效地将来自很多不同源系统的大量日志数据收集、汇总或者转移到一个数据中心存储。Apache Flume的作用不仅限于日志汇总,因为数据源是可以自定义的,Flume也可以被用于传输大量的事件数据,包括但不限于网络流量数据、社交媒体产生的数据、电子邮件和几乎所有可能的数据源。Apache Flu
2017-02-23 16:02:40
2249
转载 Flume入门教程
Flume 简介Flume 作为 cloudera 开发的实时日志收集系统,受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG(original generation),属于 cloudera。但随着 FLume 功能的扩展,Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来,尤其是在 Flume OG 的最后一个发行版本 0
2017-02-22 21:57:15
4520
转载 nginx.conf中关于nginx-rtmp-module配置指令详解
译序:截至 Jul 8th,2013 官方公布的最新 Nginx RTMP 模块 nginx-rtmp-module 指令详解。指令Corertmp语法:rtmp { ... }上下文:根描述:保存所有 RTMP 配置的块。server语法:server { ... }上下文:rtmp描述:声明一个 RTMP 实例。rtmp { server {
2017-02-22 20:01:07
2763
转载 一个直播例子:快速集成iOS基于RTMP的视频推流
效果图iTools有点卡, 但是推到服务器倒是很快的.推流前言这篇blog是iOS视频直播初窥:的一个补充. 因为之前传到github上的项目中没有集成视频的推流.有很多朋友简信和微博上问我推流这部分怎么实现的. 所以, 我重新集成了RTMP的推流, 合并到了之前的项目中.下载链接github(完整版视频直播)blog详解(建议大家结
2017-02-22 16:40:25
951
转载 missian(4)使用异步客户端
重要:Missian刚刚更新到0.31,新增了Future风格的回调方式。 Missian没有绑定spring,但是强烈推荐配合spring一起使用。异步客户端由于需要调用BeanLocator去寻找回调的 Bean,如果配合Spring使用,可以直接使用SpringLocator(BeanLocator的唯一实现),否则需要自己实现。 使用异步客户端需要注意一点:
2017-02-22 16:25:03
309
转载 missian(3)同步客户端
同步客户端比较简单,它具备以下能力: 1、同步调用Missian服务(通过HTTP或TCP均可)2、同步调用Hessian服务3、使用短连接。作者本人的经验是,在网络通信时,使用短连接比较简单,在一个机柜或者机房内的通信,可以考虑短连接。4、使用连接池,保持长连接。 我们先来看看Missian的同步客户端是怎么工作的。 步骤一
2017-02-22 15:56:36
336
转载 missian(2)配置服务器
在使用Missian时,spring是可选的,但是作者本人强烈推荐和Spring配合使用。Spring是一个伟大的项目,并且它不会对程序在运行时的效率带来任何损耗。 Missian在服务器端依赖与Mina,Missian只是提供一个Codec(协议编码解码,兼容TCP和HTTP)和一个Handler(调用Hessian序列化机制来反序列化数据、使用BeanLocator来定位这次调
2017-02-22 15:54:14
374
转载 missian(1)
missian是什么 hessian(hessian over mina)是一个基于HTTP的优秀的、高效的RPC框架,而missian可以理解为:基于mina对hessian进行扩展,使之:1、具备异步RPC能力,但同时也提供了同步的客户端,和hessian完全兼容2、能够在TCP之上传输,省掉了HTTP编码解码的过程,但是同事也支持HTTP协议,意味着hes
2017-02-22 15:51:04
464
转载 Hessian学习(1)
hessian是一个采用二进制格式传输的服务框架,相对传统soap web service,更轻量,更快速。官网地址:http://hessian.caucho.com/目前已经支持N多语言,包括:Java/c#/flex/PHP/ruby...maven的依赖项如下:1 dependency>2 groupId>com.cauchogroupId>3
2017-02-22 15:34:26
256
转载 Netty4.x中文教程系列(五) 从头开始Bootstrap
其实自从中文教程系列(五)一直不知道自己到底想些什么。加上忙着工作上出现了一些问题。本来想就这么放弃维护了。没想到有朋友和我说百度搜索推荐了我的文章。瞬间有点小激动啊。决定自己要把这个教程系列完善下去。这里诚挚的想支持我的盆友们道歉。真的是让你们失望了。我居然有想放弃的这种丧心病狂的念头。以后绝对不会了。 其实伴随着对Netty的逐步深入学习。感觉自己对netty的了
2017-02-20 21:51:01
2407
1
转载 Netty4.x中文教程系列(四)编解码器Codec
上一篇文章详细解释了ChannelHandler的相关构架设计,版本和设计逻辑变更等等。 这篇文章主要在于讲述Handler里面的Codec,也就是相关的编解码器。原本想把编解码器写在上一篇文章里面的。后来想想Netty里面的编解码器太多了。想要一次写完比较困难。于是重新开了一篇文章来专门写这个。1. Hello World !实例中的使用 在这里先讲一下我
2017-02-20 21:49:28
872
转载 Netty4.x中文教程系列(三) ChannelHandler
上一篇文章详细解释了Hello World示例的代码。里面涉及了一些Netty框架的基础。 这篇文章用以解释ChannelHandler。笔者本身在以前写过文章ChannelHandler改动及影响 和 ChannelInitializer 学习 对Netty的.ChannelHandler做过阐述。里面主要描述了4.x版本相对于3.x版本的改动以及影响。并引用了一些文章。为大家
2017-02-20 21:48:33
981
转载 Netty 中文教程 (二) Hello World !详解
上一篇文章,笔者提供了一个Hello World 的Netty示例。 时间过去了这么久,准备解释一下示例代码。1.HelloServer 详解 HelloServer首先定义了一个静态终态的变量---服务端绑定端口7878。至于为什么是这个7878端口,纯粹是笔者个人喜好。大家可以按照自己的习惯选择端口。当然了。常用的几个端口(例如:80,8080,843(Flash及Si
2017-02-20 21:43:56
699
转载 Netty4.x中文教程系列(一)Hello World !
在中国程序界。我们都是学着Hello World !慢慢成长起来的。逐渐从一无所知到熟悉精通的。 第二章就从Hello World 开始讲述Netty的中文教程。 首先创建一个Java项目。引入一个Netty 框架的包。这个步骤我在本系列教程的后面就不在重复了。 先上一张我示例的项目工程图给大家看一下:1.下载并为项目添加Netty框架 Ne
2017-02-20 21:42:35
1427
转载 分布式搜索elasticsearch配置文件详解
elasticsearch的config文件夹里面有两个配置文件:elasticsearch.yml和logging.yml,第一个是es的基本配置文件,第二个是日志配置文件,es也是使用log4j来记录日志的,所以logging.yml里的设置按普通log4j配置文件来设置就行了。下面主要讲解下elasticsearch.yml这个文件中可配置的东西。cluster.name: elas
2017-02-20 19:55:12
267
转载 分布式搜索elasticsearch高级配置之(三)----------中文分词集成
elasticsearch官方只提供smartcn这个中文分词插件,效果不是很好,好在国内有medcl大神(国内最早研究es的人之一)写的两个中文分词插件,一个是ik的,一个是mmseg的,下面分别介绍下两者的用法,其实都差不多的,先安装插件,命令行:安装ik插件:[plain] view plain copyplugin -install me
2017-02-20 19:54:02
587
转载 分布式搜索elasticsearch高级配置之(二)------线程池设置
一个Elasticsearch节点会有多个线程池,但重要的是下面四个:索引(index):主要是索引数据和删除数据操作(默认是cached类型)搜索(search):主要是获取,统计和搜索操作(默认是cached类型)批量操作(bulk):主要是对索引的批量操作(默认是cached类型)更新(refresh):主要是更新操作(默认是cached类型)可以通过给设置一个参
2017-02-20 19:51:33
928
转载 分布式搜索elasticsearch高级配置之(一)------分片分布规则设置
分片分布是把索引分片分布到节点的过程。这个操作会在初次启动集群,副本分配,负载均衡,或增加删除节点时进行。下面是一些与分片分布相关的设置:cluster.routing.allocation.allow_rebalance设置根据集群中机器的状态来重新分配分片,可以设置为always, indices_primaries_active和indices_all_active,默认是设
2017-02-20 19:50:30
235
转载 分布式搜索elasticsearch java API 之(八)------使用More like this实现基于内容的推荐
基于内容的推荐通常是给定一篇文档信息,然后给用户推荐与该文档相识的文档。Lucene的api中有实现查询文章相似度的接口,叫MoreLikeThis。Elasticsearch封装了该接口,通过Elasticsearch的More like this查询接口,我们可以非常方便的实现基于内容的推荐。先看一个查询请求的json例子:[plain] view plai
2017-02-20 19:49:12
815
转载 分布式搜索elasticsearch java API 之(七)------与MongoDB同步数据
elasticsearch提供river这个模块来读取数据源中的数据到es中,es官方有提供couchDB的同步插件,因为项目用到的是MongoDB,所以在找mongodb方面的同步插件,在Git上找到了elasticsearch-river-mongodb。 这个插件最初是由aparo写的,最开始的功能就是读取mongodb里面的表,记录最后一条数据的id,根据时间间隔不断访
2017-02-20 19:48:10
741
转载 分布式搜索elasticsearch java API 之(六)------批量添加删除索引
elasticsearch支持批量添加或删除索引文档,Java api里面就是通过构造BulkRequestBuilder,然后把批量的index/delete请求添加到BulkRequestBuilder里面,执行BulkRequestBuilder。下面是个例子:[java] view plain copyimport static org.el
2017-02-20 19:47:27
2287
转载 分布式搜索elasticsearch java API 之(五)------搜索
elasticsearch的查询是通过执行json格式的查询条件,在Java api中就是构造QueryBuilder对象,elasticsearch完全支持queryDSL风格的查询方式,QueryBuilder的构建类是QueryBuilders,filter的构建类是FilterBuilders。下面是构造QueryBuilder的例子:[java] view plain
2017-02-20 19:46:50
246
转载 分布式搜索elasticsearch java API 之(三)(四)------索引数据、删除索引数据
es索引数据非常方便,只需构建个json格式的数据提交到es就行,下面是个Java api的例子[java] view plain copyXContentBuilder doc = jsonBuilder() .startObject() .field("title", "this is a t
2017-02-20 19:45:54
1255
转载 分布式搜索elasticsearch java API 之(二)------put Mapping定义索引字段属性
Mapping,就是对索引库中索引的字段名及其数据类型进行定义,类似于关系数据库中表建立时要定义字段名及其数据类型那样,不过es的mapping比数据库灵活很多,它可以动态添加字段。一般不需要要指定mapping都可以,因为es会自动根据数据格式定义它的类型,如果你需要对某些字段添加特殊属性(如:定义使用其它分词器、是否分词、是否存储等),就必须手动添加mapping。有两种添加mapping的方
2017-02-20 19:44:32
3166
1
转载 分布式搜索elasticsearch java API 之(一)------与集群交互
注意:这是es1.x及以下版本的交互方式,新的2.x版本的请浏览es官网,里面有比较详细的例子(https://www.elastic.co/guide/en/elasticsearch/client/Java-api/current/transport-client.html)这是关于elasticsearch Java api的第一篇教程,陆续会把es的一些心得写出来。
2017-02-20 19:43:28
230
转载 ElasticSearch的Java Api基本操作入门指南
ElasticSearch是一个基于Lucene构建的开源,分布式,RESTful搜索引擎框架。分布式是其最大的特点。安装比较简单,如果单机运行的话直接下载解压,在命令行下运行bin/elasticsearch就行了(win的dos和linux的窗口都行)。它能够通过http、restful、thrift等方式访问。不过今天我们看的是使用最普通的java api来测试其功能。java
2017-02-20 19:42:16
798
转载 CAS 单点登陆
一、Tomcat配置SSL1. 生成 server key以命令方式换到目录%TOMCAT_HOME%,在command命令行输入如下命令: keytool -genkey -alias tomcat_key -keyalg RSA -storepass changeit -keystore server.keystore -validity 3600 用户名输入域名,如loc
2017-02-20 14:41:45
646
转载 Shiro 权限管理
先简单介绍一下Shiro,对于没有用过Shiro的朋友,也算是做个简介吧。 Shiro是Apache下的一个开源项目,我们称之为Apache Shiro。它是一个很易用与Java项目的的安全框架,提供了认证、授权、加密、会话管理,与 Spring Security 一样都是做一个权限的安全框架,但是与Spring Security 相比,在于 Shiro 使用了比较简单易懂易于使用的授权方
2017-02-20 14:39:15
891
转载 直播系列5-使用nginx+nginx-rtmp-module+ffmpeg搭建流媒体服务器笔记(二)
第二部分1、昨天已经把网络摄像机的rtsp视频流成功利用FFmpeg和Nginx转换成rtmp流推送到了nginx视频服务器上面,并且通过vlc可以观看到直播视频。今天继续昨天的工作,将rtsp的视频流推送到Nginx上面,客户端根据hls协议使用http在网页进行观看(推送的仍然是rtmp视频流),关于hls,先给一小段简单介绍:HTTP Live Streaming(H
2017-02-09 17:56:02
501
转载 直播系列4-使用nginx+nginx-rtmp-module+ffmpeg搭建流媒体服务器笔记(一)
第一部分主要步骤及命令记录:1、下载nginx,地址http://nginx.org/en/download.html,选择最新版本下载、解压。当前最新版为:nginx-1.7.9。2、为了增加对rtmp的支持,下载nginx-rtmp-module,地址:https://github.com/arut/nginx-rtmp-module#example-nginxconf
2017-02-09 16:49:39
3686
2
转载 直播系统3-ffmpeg处理RTMP流媒体的命令和发送流媒体的命令(UDP,RTP,RTMP)
将文件当做直播送至liveffmpeg -re -i localFile.mp4 -c copy -f flv rtmp://server/live/streamName re限制输出速率,按照帧率输出将直播媒体保存至本地文件ffmpeg -i rtmp://server/live/streamName -c copy dump.flv
2017-02-09 16:46:16
2364
单点登录最好实例SSOAuth+SSOWebDemo1+SSOWebDemo2.zip
2013-01-14
单点登录最好实例
2013-01-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人