flume拦截器

RegexExtractorInterceptor作为一个Interceptor实现类可以根据一个正则表达式匹配event body来提取字符串,并使用serializers把字符串作为header的值实例:以如下的命令使用execsource收集日志的时候,可以根据文件的名称设置不同的head...

2017-04-26 17:05:02

阅读数 15

评论数 0

flume+elasticsearch

转自:http://blog.csdn.net/yujimoyouran/article/details/59104131 简单描述一下这个例子:将项目日志实时采集到elasticsearch,便于统一管理。 1. 收集日志格式为: log4j.properties : org.apach...

2017-04-26 16:54:31

阅读数 19

评论数 0

ssh远程执行命令方法和Shell脚本实例

ssh的-t参数   复制代码代码如下: -t      Force pseudo-tty allocation.  This can be used to execute arbitrary screen-based programs on a remote machine, wh...

2017-01-24 10:41:43

阅读数 65

评论数 0

分布式开放消息系统(RocketMQ)的原理与实践

备注:1.如果您此前未接触过RocketMQ,请先阅读附录部分,以便了解RocketMQ的整体架构和相关术语2.文中的MQServer与Broker表示同一概念 分布式消息系统作为实现分布式系统可扩展、可伸缩性的关键组件,需要具有高吞吐量、高可用等特点。而谈到消息系统的设计,就回避不了...

2016-12-13 13:23:17

阅读数 17

评论数 0

RocketMQ与Kafka对比(18项差异)

转自:https://github.com/alibaba/RocketMQ/wiki/rmq_vs_kafka 淘宝内部的交易系统使用了淘宝自主研发的Notify消息中间件,使用MySQL作为消息存储媒介,可完全水平扩容,为了进一步降低成本,我们认为存储部分可以进一步优化,2011年初,Li...

2016-12-13 13:15:27

阅读数 10

评论数 0

hcatalog简介和使用

Hcatalog是apache开源的对于表和底层数据管理统一服务平台,目前最新release版本是0.5,不过需要hive 0.10支持,由于我们hive集群版本是0.9.0,所以只能降级使用hcatalog 0.4,由于hcatalog中所有的底层数据信息都是保存在hive metastore...

2016-11-24 09:46:55

阅读数 70

评论数 0

Dubbo多注册中心

  (1) 多注册中心注册   需求:xx银行有些服务来不及在上海部署,只在北京部署,而上海的其它应用需要引用此服务,就可以将服务同时注册到两个注册中心。   consumer.xml   <?xmlversion="1.0...

2016-11-16 18:19:35

阅读数 9

评论数 0

Sqoop-1.4.6安装部署及详细使用介绍

之所以选择Sqoop1是因为Sqoop2目前问题太多。无法正常使用,综合比较后选择Sqoop1。 Sqoop1安装配置比较简单 一、安装部署 (1)、下载地址:http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.5.2.tar...

2016-11-07 09:44:19

阅读数 16

评论数 0

Spark基本工作流程及YARN cluster模式原理

转载请注明出处:http://www.cnblogs.com/BYRans/ Spark基本工作流程 相关术语解释 Spark应用程序相关的几个术语: Worker:集群中任何可以运行Application代码的节点,类似于YARN中的NodeManager节点。在Spark on Y...

2016-10-21 10:50:52

阅读数 13

评论数 0

Spark任务提交jar包依赖解决方案

http://blog.csdn.net/wzq294328238/article/details/48054525   通常我们将Spark任务编写后打包成jar包,使用spark-submit进行提交,因为spark是分布式任务,如果运行机器上没有对应的依赖jar文件就...

2016-09-26 10:52:24

阅读数 38

评论数 0

mysql主从复制

 mysql主从复制(超简单) 怎么安装mysql数据库,这里不说了,只说它的主从复制,步骤如下: 1、主从服务器分别作以下操作:  1.1、版本一致  1.2、初始化表,并在后台启动mysql  1.3、修改root的密码2、修改主服务器master:   #vi /etc/my.cnf...

2016-09-26 10:31:56

阅读数 10

评论数 0

Maven类包冲突终极解决小技若干

那句话怎么讲来着的...  引用 如果你爱他,就请让他用Maven,因为那里是天堂,如果你恨他,就请让他用Maven,因为那里是地狱. Maven对于新手来说是《步步惊心》,因为它包罗万象,博大精深,因为当你初来乍到时,你就像一个进入森林的陌生访客一样迷茫。 Maven对于老手来说是《真爱...

2016-08-19 14:34:21

阅读数 13

评论数 0

linux下为目录和文件设置权限

linux下为目录和文件设置权限,包括子目录的循环递归设置 chmod  命令可以改变所有子目录的权限,下面有2种方法 改变一个文件的权限: chmod mode file|dir 改变所有子目录的权限: chmod mode dir -R                  注意后面加了个-R...

2016-08-10 10:54:56

阅读数 14

评论数 0

linux系统安装mysql

  http://jingyan.baidu.com/article/a378c9609eb652b3282830fd.html linux安装mysql服务分两种安装方法: ①源码安装,优点是安装包比较小,只有十多M,缺点是安装依赖的库多,安装编译时间长,安装步骤复杂容易...

2016-07-25 18:32:02

阅读数 10

评论数 0

Linux下Mysql 5.6.21 tar包安装实践

http://blog.csdn.net/zhanngle/article/details/41042631   环境:centos 6.4 x64 先下载mysql安装包打开 http://dev.mysql.com/downloads/mysql/  选择 linux - Gene...

2016-07-25 14:58:36

阅读数 14

评论数 0

linux下scp命令详解--主机之间拷贝文件

    不同的Linux之间copy文件常用有3种方法,第一种就是ftp,也就是其中一台Linux安装ftp Server,这样可以另外一台使用ftp的client程序来进行文件的copy。第二种方法就是采用samba服务,类似Windows文件copy的方式来操作,比较简洁方便,第三种就是利...

2016-07-05 15:36:25

阅读数 20

评论数 0

Java8 Lambda表达式教程

http://blog.csdn.net/ioriogami/article/details/12782141/   1. 什么是λ表达式   λ表达式本质上是一个匿名方法。让我们来看下面这个例子:     public int add(int x, int y) {        r...

2016-06-21 13:36:40

阅读数 12

评论数 0

java连接ldap

http://blog.csdn.net/zfpigpig/article/details/21176697   首先必须了解ldap,ldap相关可以问度娘。这边我重点要提的是dn(distinguished name),通俗的来说就是唯一标示。 然后现在可以先下一个ldapadmin,...

2016-06-14 16:24:21

阅读数 11

评论数 0

LDAP概念和原理

http://blog.sina.com.cn/s/blog_6151984a0100ey3z.html   什么是目录服务?    目录服务就是按照树状存储信息的模式    目录服务的特点? 目录服务与关系型数据库不同?  目录服务的数据类型主要是字符型, 而不是关系数据库提供的整数、...

2016-06-14 16:21:34

阅读数 28

评论数 0

Portal相关技术及架构

 Portal以用户为中心,提供统一的用户登录,实现信息的集中访问,集成了办公商务一体的工作流环境。利用Portal技术,可以方便地将员工所需要的,来源于各种渠道的信息资料集成在一个统一的桌面视窗之内。根据Portal提供的定制功能,部门主管可以为本部门人员量身定制一套特有的信息门户,将部门共同...

2016-06-01 10:38:16

阅读数 30

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭