DoNotStop-CSDN博客

翻译 Flume (十) Sources - Kafka Source

Kafka Source是一个Apache Kafka消费者，它从Kafka主题中读取消息。如果您正在运行多个Kafka Source，可以为这些Source配置相同的消费者组（Consumer Group），以便每个Source都读取一组唯一的主题分区。属性名称默认值描述 channels – type – 组件类型名称，需要是or...

2018-08-01 16:50:13 3204

翻译 Flume (九) Channels - Kafka Channel

事件存储在Kafka群集中（必须单独安装）。 Kafka提供高可用性和复用(high availability and replication)，因此如果代理或kafka代理崩溃，事件可立即用于其他接收器.Kafka channel 可用于多种场景：使用Flume source and sink - 它为事件提供了可靠且高度可用的通道使用Flume source and interce...

2018-08-01 16:48:31 9117 2

翻译 Flume (八) Sources

Avro Source监听Avro端口并从外部Avro客户端流接收事件。当与另一个（previous hop）Flume代理上的内置Avro Sink配对时，它可以创建分层集合拓扑。必需属性以粗体显示。属性名称默认值描述 channels – type – 组件类型名称，需要是avro bind – hostna...

2018-08-01 09:30:21 528

翻译 Flume (七) Monitoring

Flume中的监控仍在进行中。变化可能经常发生。几个Flume组件向JMX平台MBean服务器报告度量标准。可以使用Jconsole查询这些指标。JMX Reporting可以通过使用flume-env.sh在JAVA_OPTS环境变量中指定JMX参数来启用JMX报告，如export JAVA_OPTS="-Dcom.sun.management.jmxremote -Dco...

2018-07-31 14:17:04 743

Flume has the capability to modify/drop events in-flight. This is done with the help of interceptors. Interceptors are classes that implement org.apache.flume.interceptor.Interceptor interface. An interceptor can modify or even drop events based on any cri

2018-07-31 13:57:42 623

翻译 Flume (五) Channel Selectors

Flume Channel Selectors， Replicating ，Multiplexing and Custom Channel Selector

2018-07-26 16:37:50 565

翻译 Flume (四) Sink Processors

接收组（Sink groups）允许用户将多个接收器分组到一个实体中。接收器处理器（Sink processors）可用于在组内的所有接收器上提供负载均衡功能，或在临时故障（temporal failure）的情况下实现从一个接收器到另一个接收器的故障转移。

2018-07-26 16:37:18 724

翻译 Flume (三) Configuration

Configuration正如前面部分所述，Flume代理程序配置是从类似于具有分层属性设置的Java属性文件格式的文件中读取的。Defining the flow要在单个代理中定义流，您需要通过channel连接sources 和sinks 。您需要列出给定agent的sources，sinks 和channels，然后将sources和sinks指向channels。 sou...

2018-07-26 16:34:15 287

翻译 Flume (二) Setup

SetupSetting up an agentFlume代理配置存储在本地配置文件中。这是一个遵循Java属性文件格式的文本文件。可以在同一配置文件中指定一个或多个代理的配置。配置文件包括代理中每个Source，Sink和Channel的属性以及它们如何连接在一起以形成数据流。Configuring individual components (配置单个组件)Eac...

2018-07-26 16:32:50 331

翻译 Flume (一) Introduction

OverviewApache Flume是一个分布式、高可靠和高可用的, 用于收集、聚集和将来自不同来源的大量日志数据移动到一个中央数据仓库。Apache Flume不仅仅局限于数据的聚集。由于数据是可定制的，Flume可用于传输大量事件数据，包括但不限于网络流量数据，社交媒体生成的数据，电子邮件消息以及几乎任何可能的数据源。Apache Flume是Apache软件基金会的顶级项目。...

2018-07-26 16:29:42 211

转载 Mockito Mock vs. Spy in Spring Boot Tests

原文：https://dzone.com/articles/mockito-mock-vs-spy-in-spring-boot-tests I have met many developers who refer to tests as “Unit Tests” when they are actually integration tests. In service layers, I’ve ...

2018-07-16 10:11:54 382

翻译 Apache 学习笔记 - mod_rewrite参考文档（mod_rewrite reference documentation）

http://httpd.apache.org/docs/2.4/en/mod/mod_rewrite.html

2018-06-29 16:46:10 270

翻译 Apache 学习笔记 - 使用mod_rewrite进行URL重定向和重新映射（Using mod_rewrite for redirection and remapping of URLs）

http://httpd.apache.org/docs/2.4/en/rewrite/remapping.html

2018-06-29 14:24:03 1207

翻译 Apache 学习笔记 - Apache mod_rewrite

http://httpd.apache.org/docs/2.4/en/rewrite/mod_rewrite provides a way to modify incoming URL requests, dynamically, based on regular expression rules. This allows you to map arbitrary URLs onto you...

2018-06-29 14:12:23 274

翻译 Apache 学习笔记 - 反向代理指南

http://httpd.apache.org/docs/2.4/howto/reverse_proxy.html In addition to being a “basic” web server, and providing static and dynamic content to end-users, Apache httpd (as well as most other web ser...

2018-06-29 13:59:57 905

翻译 Apache 学习笔记 - Apache中的环境变量

http://httpd.apache.org/docs/2.4/en/env.html有两种影响Apache HTTP Server的环境变量。首先，由底层操作系统控制环境变量。这些在服务器启动之前设置。它们可以用于配置文件的扩展，并且可以选择使用PassEnv指令传递给CGI脚本和SSI。其次，Apache HTTP Server提供了一种将信息存储在也称为环境变量的命名变量中的机...

2018-06-01 16:37:22 3589

翻译 Apache 学习笔记 - 配置文件

http://httpd.apache.org/docs/2.4/en/configuring.html本文档描述了用于配置Apache HTTP Server的文件。主要配置文件通过将指令放置在纯文本配置文件中来配置Apache HTTP Server。主配置文件通常称为httpd.conf。该文件的位置是在编译时设置的，但可以用-f命令行标志覆盖。另外，可以使用Inc...

2018-06-01 16:08:38 379

翻译 Apache 学习笔记 - 绑定到地址和端口

http://httpd.apache.org/docs/2.4/en/bind.html 概要当httpd启动时，它绑定到本地机器上的某个端口和地址，并等待请求进入。默认情况下，它监听机器上的所有地址。然后，或许需要监听其他特定的端口，或仅监听选定的地址，或者两者的组合。这通常与虚拟主机功能相结合，虚拟主机决定了httpd如何响应不同的IP地址，主机名和端口。该Listen ...

2018-06-01 15:26:37 1979

翻译 Apache 学习笔记 - 配置部分（Configuration Sections）

配置文件与指令：配置文件位置 apache/conf 默认配置文件：httpd.conf，配置文件拆分，通过Include指令加载指令配置：配置文件中的指令可能适用于整个服务器，也可能仅限于应用于特定目录，文件，主机或URL 全局：指令必须出现在配置文件中，并且不再任何一个&amp;amp;amp;amp;amp;lt;Directory&amp;amp;amp;amp;amp;gt;, &amp;amp;amp;amp;amp;lt;Locat

2018-05-31 18:10:30 1402

转载 JVM 内存

JVM内存分为哪几部分，这些部分分别都存储哪些数据？按照Java虚拟机规范的规定，JVM自动管理的内存将会包括以下几个运行时数据区域。程序计数器　　程序计数器（Program Counter Register）是JVM中一块较小的内存区域，保存着当前线程执行的虚拟机字节码指令的内存地址。Java多线程的实现，其实是通过线程间的轮流切换并分配处理器执行时间的方式来实现的，在任何时...

2018-03-06 16:33:12 879

转载 JVM 类加载机制

Java的类加载器都有哪些?每个类加载器都加载哪些类？　这些类加载之间的父子关系是怎样的？　什么是双亲委派模型？　为什么Java的类加载器要使用双亲委派模型？　　如何自定义自己的类加载器，自己的类加载器和Java自带的类加载器关系如何处理？默认的类加载器只知道如何从本地系统加载类。如果我们的程序只是在本机跑的话，一般来说默认加载器可以应付。但是如果我们...

2018-03-06 15:11:53 164

转载 JVM GC

什么样的对象会被GC?超出作用域或者引用计数为空的对象，从gc root开始搜索找不到的对象，并且经历过一次标记、清理后，仍然没有复活的对象。解释：对象被引用一次，引用计数+1。但是若出现两个对象互相引用，没有其他对象引用他们，那么他们会造成资源泄露。所以只适合一些简单的引用场景。GC roots”，或者说tracing GC的“根集合”，就是一组必须活跃的引用，不是对象。例如...

2018-03-06 14:58:39 202

原创 SpringBoot 之启动过程

通过main方法启动的过程：@SpringBootApplicationpublic class TestApplication extends SpringBootServletInitializer { //通过main方法启动，使用内置服务器 public static void main(String[] args) { SpringApplic...

2018-02-24 11:52:25 1420

原创 Spring Boot 之 @ConfigurationProperties

@ConfigurationProperties 使用方式有两种 1、在类上使用该注解 2、在工厂方法上使用该注解（@bean）@Target({ElementType.TYPE, ElementType.METHOD})@Retention(RetentionPolicy.RUNTIME)@Documentedpublic @interface ConfigurationPr...

2018-02-23 14:55:10 30385

原创 Spring Boot 之 CommandLineRunner，ApplicationRunner

我们在开发过程中会有这样的场景：需要在容器启动的时候执行一些内容，比如：读取配置文件信息，数据库连接，删除临时文件，清除缓存信息，在Spring框架下是通过ApplicationListener监听器来实现的。在Spring Boot中给我们提供了两个接口来帮助我们实现这样的需求。这两个接口就是我们今天要讲的CommandLineRunner和ApplicationRunner，他们的执行时机为容...

2018-02-13 16:55:31 18634 1

原创 SpringBatch 之 spring.batch.job.enabled

spring.batch.job.enabled 配置用于启动时是否创建JobLauncherCommandLineRunner, 若spring.batch.job.enabled=true, 则会创建JobLauncherCommandLineRunner实例并且执行。spring.batch.job.enabled=false则不会创建实例。那SpringBoot是如何做到的呢？首先，如...

2018-02-13 11:44:16 4443

原创 Spring数据源自动配置

单个项目涉及多个数据库时，我们需要做很多的数据库配置之外，还需要写很多的代码来配置数据源，通常这样的代码是具有一定重复性的，因此希望能够简单的配置。为了一次编码多次使用，我们需要手动的把数据源交给Spring管理，因此我们需要注册数据源信息。通过实现ImportBeanDefinitionRegistrar来注册bean，通过实现EnvironmentAware获取配置信息。数据库配置信息####s

2017-12-08 13:41:50 1179 1

原创 Spring4+dbcp+mysql6.06使用注解实现动态切库（不支持跨库事务）

maven依赖<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.o

2017-12-06 15:39:54 777

原创 Spring4+Atomikos3.9+mysql6.06使用注解实现跨库事务

maven依赖<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.o

2017-12-06 14:40:12 3071

转载 spring整合rabbitMQ代码实例

http://www.cnblogs.com/tohxyblog/p/7256554.html

2017-11-10 10:46:57 388

转载使用RabbitMQ实现延迟任务(转载)

https://www.cnblogs.com/haoxinyue/p/6613706.html

2017-11-09 14:09:13 336

原创跨域请求解决方案

什么是跨域？跨域，指的是浏览器不能执行其他网站的脚本。它是由浏览器的同源策略造成的，是浏览器对javascript施加的安全限制。跨域的形式：域名不同，协议不同（http,https）解决方法： 1、前端跨域请求 2、后端处理跨域请求@PropertySource("classpath:crossdomain.properties")@Component@Order(Integer.MI

2017-10-20 14:10:01 400

原创 FlyDB

PhilosophyThere are a variety of ways how jOOQ and Flyway could interact with each other in various developmentsetups. In this tutorial we're going to show just one variant of such framework team play

2017-09-21 18:32:13 987

原创 jooq使用自定义策略生成代码（How to use a custom strategy with the jOOQ code-generator and Maven?）

工程结构： generator子模块，用于自定义策略jooq模块为父模块，用于实现业务自定义代码生成策略：MyStratege package com.code.generator.stratege;import org.jooq.tools.StringUtils;import org.jooq.util.CatalogDefinition;import org.jooq.util.De

2017-08-13 16:04:15 5214 6

转载在Centos 中将zookeeper设置成开机启动

转载：http://blog.csdn.net/eric_sunah/article/details/48087807部署了Zookeeper之后，当需要重启机器时，开机后往往需要花一点时间对zookeeper集群进行启动，由于zookeeper没有主节点的概念，且一个节点的重启不会对集群造成什么影像，所以可以考虑把 zookeeper设置成开机启动，具体流程如下准备工作切换到/etc/rc.d

2017-06-23 14:58:34 383

原创 Linux服务器多服务部署

在服务器上部署多个服务的方式： 1、多个Tomcat，一个服务部署在一个Tomcat下 2、一个Tomcat，所有服务部署在这一个Tomcat下问题：第一种方式：难以维护，Tomcat难以升级第二种方式：服务互相影响，只能作为个人测试使用。目标：只需一个Tomcat，部署多个服务，服务之间互不影响环境：VMWare+Centos7+Tomcat8.5 第一步：...

2017-06-23 13:31:27 830

原创快速找质数

2017-05-05 14:08:29 759

原创 linux命令

jps 查看运行的jar程序systemctl status firewalld.service 查看防火墙状态systemctl stop firewalld.service 关闭防火墙ifconfig 查看本地ipcurl ip:端口netstate -tnul 查看本机开放端口history 查看历史命令ssh-keygen 生成秘钥tar -xvf 源文件 -C 目的文件

2017-04-12 22:18:23 382

原创 Hadoop单点安装FAQ

Q1: Starting namenodes on [localhost] ERROR: Attempting to launch hdfs namenode as root ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting launch. 解决1：是因为缺少用户定义造成的，所以分别编辑开始和关闭脚本 $ vim

2017-04-12 20:47:03 25112 4

原创排序算法之选择排序

选择排序算法：每一趟找到最小的值，记录最小值index，交换最小值到最后结果位置。/** * 选择排序算法. * * @author peiyu */public class SelectorSort { public static List<Integer> sort(List<Integer> datas) { for (int i = 0; i < data

2017-03-17 17:59:32 269

RPC的简单实现

RPC简单实现

HttpClientTool

跨库事务工具类

Spring集成Redis

RabbitMQ测试

servlet简单实现的MVC框架

空空如也