mrdavidtian-CSDN博客

原创 log4j+flume+kafka实现日志收集

log4j+flume+kafka实现日志处理

2017-10-11 17:58:18 1801

原创 log4j+flume+HDFS实现日志存储

1. HDFS配置1.1.Hadoop集群搭建有关HDFS的配置，请参考CentOS7.0下Hadoop2.7.3的集群搭建,为了容易操作，本示例采用单机模式, 即解压hadoop到/opt/hadoop/目录下;1.2.hdfs配置$HADOOP_HOME/etc/hadoop/core-site.xml配置<configuration> <property>

2017-10-11 16:22:37 1750

1.简介apache flume 是一种分布式的、可靠的、可用的系统，主要用于高效地收集、聚合和移动大量来自不同来源的日志数据到一个集中的数据存储区。 flume的使用不仅限于日志的数据聚合。由于数据源是可定制的，flume可以用于传输大量的事件数据，包括但不限于网络流量数据、数字媒体生志的数据。电子邮件消息和几乎任何可能的数据源。2.flume事件(event)flume的核心是把数据从数据源(

2017-09-25 15:59:42 7102

原创 Java IO之FileInputStream&FileOutputStream

Java IO之InputStream和OutputStreamInputStream和OutputStream之间的对应关系InputStream与OutputStream及其子类间具有很强的对称性。下图很形象地展现出它们之间的对应关系，只有PrintStream是没有对应的。 1.FileInputStream 和 FileOutputStreamjava.io.FileInputStream

2017-09-18 15:49:14 754

原创 Java IO体系架构图

Java的核心库java.io提供了全面的IO接口。包括：文件读写、标准设备输出等。Java中IO是以流为基础进行输入输出的，所有数据被串行化写入输出流，或者从输入流读入。

2017-09-15 14:59:24 4385

原创 java文件操作之文件操作

如何创建文件，删除文件

2017-09-14 17:13:23 603

原创 java文件操作之创建目录

如何在java中操作目录

2017-09-14 17:08:41 819

原创 Java文件操作之类详细讲解

Java.io.File类详细讲解java.io.File类是文件和目录路径名的抽象表示。以下是有关文件的要点： - 实例可以或都可以不表示实际的文件系统对象，如文件或目录。如果是这样表示这样一个对象，然后该对象位于一个分区。分区是存储为文件系统的操作系统的特定部分。 - 文件系统可以实现限制某些操作的实际文件系统对象，如读，写和执行上。这些限制统称为访问权限。 - File类的实例是不可变的

2017-09-14 16:54:53 550

原创建造者模式(Builder Pattern)

建造者模式(Builder Pattern)建造者模式建造都模式(Builder Pattern)使用多个简单的对象一步一下构建成一个复杂的对象。这种类型的设计属于创建型模式，它提供了一种创建对象的最佳方式。一个Builder类会一步一步构造最终的对象，该Builder类是独立于其它对象的。说明功能：将一个复杂的构建与其表示分离，使得同样的构建过程可以创建不同的表示。主要解决：主要解决在软件

2017-09-12 15:28:07 612

原创 Log4j日志配置详解

Log4j日志配置详解1.Log4j组件Loggers(记录器)Appenders(输出源)Layouts(布局)1.1. Loggers(记录器)Loggers组件在此系统中被分为五个级别： - DEBUG - INFO - WARN - ERROR - FATAL五个级别的顺序,分别用来指定这条日志信息的重要程度： DEBUG < INFO < WARN < ERROR <

2017-08-29 15:11:36 8962 1

原创 Log4j发送日志到服务器上

Log4j发送日志到服务器上1.服务器端1.1.在服务器上新新建目录[dtadmin@apollo~]$ cd ~ #跳转到home目录[dtadmin@apollo~]$ sudo mkdir log4j #新建目录log4j1.2.上传log4j的jar包到新建的目录itlocals-MacBook-Pro:~ david.tian$ scp /opt/maven/repo/log4j/log

2017-08-29 10:25:14 3694

原创 Java面向对象编程之Java集合(Collections)

Java Collections1.集合(Collections)Java中集合类是Java编程中使用最频繁、最方便的类。集合类作为容器类可以存储任何类型的数据，当然也可以结合泛型存储指定的类型（不过泛型仅仅在编译期有效，运行时是会被擦除的）。集合类中存储的仅仅是对象的引用，并不存储对象本身。集合类的容量可以在运行期间进行动态扩展，并且还提供很多很方便的方法，如求集合的并集、交集等。2.集合类结构J

2017-08-17 14:54:12 431

原创 Java面向对象编程之接口(interface)

Java接口接口（英文：Interface），在JAVA编程语言中是一个抽象类型，是抽象方法的集合，接口通常以interface来声明。一个类通过继承接口的方式，从而来继承接口的抽象方法。接口并不是类，编写接口的方式和类很相似，但是它们属于不同的概念。类描述对象的属性和方法。接口则包含类要实现的方法。除非实现接口的类是抽象类，否则该类要定义接口中的所有方法。接口无法被实例化，但是可以被实

2017-08-16 12:52:42 1319

原创 Java面向对象编程之多态(polymorphism)

Java多态多态是同一个行为具有多个不同表现形式或形态的能力。多态性是对象多种表现形式的体现。比如我们说”宠物”这个对象，它就有很多不同的表达或实现，比如有小猫、小狗、蜥蜴等等。那么我到宠物店说”请给我一只宠物”，服务员给我小猫、小狗或者蜥蜴都可以，我们就说”宠物”这个对象就具备多态性。接下来让我们通过实例来了解Java的多态。例子public interface Vegetarian{

2017-08-16 12:50:00 2432

原创 Java 抽象工厂模式

Java设计模式 - 抽象工厂模式抽象工厂模式是另一个创建模式。抽象工厂模式，也称为工厂的工厂，有一个工厂创建其他工厂。当使用抽象工厂模式时，我们首先使用超级工厂创建工厂，然后使用创建的工厂创建对象。例子下面的代码展示了如何使用抽象工厂模式。我们将要创建形状和打印机。对于形状，我们会有圆形，矩形和正方形。对于打印机，我们将有纸张打印机，网络打印机和屏幕打印机。对于shape，我们将创

2017-08-16 12:47:26 268

原创 Java 工厂模式

Java设计模式 - 工厂模式工厂模式是一种创建模式，因为此模式提供了更好的方法来创建对象。在工厂模式中，我们创建对象而不将创建逻辑暴露给客户端。例子在以下部分中，我们将展示如何使用工厂模式创建对象。由工厂模式创建的对象将是形状对象，如圆形，矩形。首先，我们设计一个接口来表示Shape。public interface Shape { void draw();}然后我们创建实现接

2017-08-16 12:46:31 718

原创 Java面向对象编程之封装(encapsulation)

Java 封装Java 封装在面向对象程式设计方法中，封装（英语：Encapsulation）是指，一种将抽象性函式接口的实作细节部份包装、隐藏起来的方法。封装可以被认为是一个保护屏障，防止该类的代码和数据被外部类定义的代码随机访问。要访问该类的代码和数据，必须通过严格的接口控制。封装最主要的功能在于我们能修改自己的实现代码，而不用修改那些调用我们代码的程序片段。适当的封装可以让程式

2017-08-15 17:57:29 2877

原创 Java面向对象编程之抽像类(abstract class)

Java抽像类Java抽像类在面向对象的概念中，所有的对象都是通过类来描述的，但是反过来，并不是所有的类都是用来描绘对象的，如果一个类中没有包含足够的信息来描述一个具体的对象，这样的类就是抽象类。抽象类除了不能实例化对象以外，类的其它功能依然存在，成员变量、成员方法和构造函数的访问方式和普通类一样。由于抽象类不能实例化对象，所以抽象类必须被继承，才能被使用。也是因为这个原因，通常在设计阶段决

2017-08-15 17:56:27 2448

原创 Java面向对向编程之多态(polymorphism)

Java多态Java多态多态是同一个行为具有多个不同表现形式或形态的能力。多态性是对象多种表现形式的体现。比如我们说”宠物”这个对象，它就有很多不同的表达或实现，比如有小猫、小狗、蜥蜴等等。那么我到宠物店说”请给我一只宠物”，服务员给我小猫、小狗或者蜥蜴都可以，我们就说”宠物”这个对象就具备多态性。接下来让我们通过实例来了解Java的多态。例子public interface Veget

2017-08-15 17:55:00 287

原创 Java面向对象编程之重载(overload)和重写(override)

Java重写(override)与重载(overload)重写(override)重写是子类对父类的允许访问的方法的实现过程进行重新编写！返回值和形参都不能改变。即外壳不变，核心重写！重写的好处在于子类可以根据需要，定义特定于自己的行为。也就是说子类能够根据需要实现父类的方法。在面向对象原则里，重写意味着可以重写任何现有方法。实例如下：class Animal{ public v

2017-08-15 17:53:41 840

原创 Java面向对象编程之继承(inheritance)

Java面向对象编程-继承Java继承继承是java面向对象编程技术的一块基石，因为它允许创建分等级层次的类。继承可以理解为一个对象从另一个对象获取属性的过程。如果类A是类B的父类，而类B是类C的父类，我们也称C是A的子类，类C是从类A继承而来的。在Java中，类的继承是单一继承，也就是说，一个子类只能拥有一个父类继承中最常使用的两个关键字是extends和implements。这两个关

2017-08-15 17:51:34 3489

原创 CentOS7上Apache impala2.7集成apache kudu1.3

Apache impala集成apache kudu1.环境准备1.1.服务器配置 ID IP address Hostname Notes 1 192.168.56.181 apollo.dt.com Hadoop Master 2. Spark Master 3.Kudu Master 4. Impala Master 5.

2017-06-21 15:01:06 4351 8

原创 CentOS7.0安装配置Storm集群

1.环境准备操作系统: CentOS7.0Zookeeper版本：zookeeper-3.4.10Storm版本：apache-storm-1.1.0JDK版本：jdk1.8.0_77Python版本：集群配置如下： # os hostname ip software notes 1 CentOS7 apollo.dt.com 192.168.56.1

2017-06-21 13:56:04 4392 1

原创 Apache Storm简介

Storm是一个免费开源、分布式、高容错的实时计算系统。Storm令持续不断的流计算变得容易，弥补了Hadoop批处理所不能满足的实时要求。Storm经常用于在实时分析、在线机器学习、持续计算、分布式远程调用和ETL等领域。Storm的部署管理非常简单，而且，在同类的流式计算工具，Storm的性能也是非常出众的

2017-06-20 11:26:40 3297

原创 CentOS7.0配置couchbase集群

1.环境准备服务器配置 ID IP address Hostname Notes 1 192.168.56.181 apollo.dt.com couchbase 2 192.168.56.182 artemis.dt.com couchbase 3 192.168.56.183 uranus.dt.com couchbase2.单机安

2017-06-19 14:49:21 1843

原创 CentOS7.0安装配置CouchBase

简介Couchbase 是一个开源的、分布式的、面向文档（document-oriented）的 NoSQL 数据库，并且内置了 Memcached 服务。本文分享的是自己在 Linux 上成功安装 Couchbase Server 的实际操作步骤。1.下载Couchbase1.1.登录Couchbase官网, 如下图所示：1.2.直接下载或者通过wget[root@apollo dtadmin~]

2017-06-19 10:33:30 1898

原创 MySQL使用UDF调用shell脚本

在最近的项目中，由于需要使用MySQL的UDF（user defined function），这个特性从未使用过，而且个人觉得这个特性以后应该会经常使用，所以写下博文，记录和分享这个特性的用法。UDF是mysql的一个拓展接口，UDF（Userdefined function）可翻译为用户自定义函数，这个是用来拓展Mysql的技术手段。

2017-06-14 15:20:54 4156

原创 CentOS7.0安装配置redis集群

1.redis集群简介redis集群在启动的时候就自动在多个节点间分好片。同时提供了分片之间的可用性：当一部分redis节点故障或网络中断，集群也能继续工作。但是，当大面积的节点故障或网络中断（比如大部分的主节点都不可用了），集群就不能使用。所以，从实用性的角度，Redis集群提供以下功能： ● 自动把数据切分到多个redis节点中 ● 当一部分节点挂了或不可达，集群依然能继续工作2

2017-06-13 17:00:30 884

原创 CetnOS7.0安装配置Kafka集群

1.简介Kafka是一种高吞吐的分布式发布订阅消息系统，能够替代传统的消息队列用于解耦合数据处理，缓存未处理消息等，同时具有更高的吞吐率，支持分区、多副本、冗余，因此被广泛用于大规模消息数据处理应用。Kafka支持Java及多种其它语言客户端，可与Hadoop、Storm、Spark等其它大数据工具结合使用。本教程主要介绍Kafka在CentOS7上的安装和使用，包括功能验证和集群的简单配置。2

2017-06-12 14:47:27 1868

原创 CentOS7安装配置zookeeper集群

1.简介Zookeeper有三种运行模式：单机模式、伪集群模式和集群模式。安装zookeeper的先决条件是首先保证已安装Java运行环境。 zookeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件，是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。Zoo

2017-06-12 10:55:43 4564

原创 CentOS7.0基于hadoop集群安装配置Hive

前言安装Apache Hive前提是要先安装hadoop集群，并且hive只需要在hadoop的namenode节点集群里安装即可（需要再有的namenode上安装)，可以不在datanode节点的机器上安装。还需要说明的是，虽然修改配置文件并不需要把hadoop运行起来，但是本文中用到了hadoop的hdfs命令，在执行这些命令时你必须确保hadoop是正在运行着的，而且启动hive的前提也需要h

2017-06-07 13:18:02 7952 2

原创 Apache kudu1.3在CentOS7 的安装与配置(rpm) 的安装与配置

Kudu1.3在CentOS7 的安装与配置(rpm)前言Apache Kudu是一个比较新的大数据组建，在国内大规模应用的公司不多，Kudu的安装文档也只能找到官网上的一份，自己按照官网的步骤进行安装的过程中也遇到了一些问题，现记录下完整的安装过程。2.Kudu安装# 安装依赖包[root@uranus kudu]# yum -y install cyrus-sasl-plain lsb ntp

2017-05-25 15:46:29 5752 1

原创 CentOS7基于Hadoop 2.7.3安装Hive 2.1.1

安装hive前提是要先安装hadoop集群，并且hive只需要再hadoop的namenode节点集群里安装即可(需要再所有namenode上安装)，可以不在datanode节点的机器上安装。另外还需要说明的是，虽然修改配置文件并不需要你已经把hadoop跑起来，但是本文中用到了hadoop命令，在执行这些命令前你必须确保hadoop是在正常跑着的，而且启动hive的前提也是需要had

2017-05-17 01:16:33 22595

原创十三.Scala数组

Scala数组 Scala 语言中提供的数组是用来存储固定大小的同类型元素，数组对于每一门编辑应语言来说都是重要的数据结构之一。声明数组变量并不是声明 number0、number1、…、number99 一个个单独的变量，而是声明一个就像 numbers 这样的变量，然后使用 numbers[0]、numbers[1]、…、numbers[99] 来表示一个个单独的变量。数组中某个指定的元素是

2017-04-26 11:09:00 471

原创十二.Scala字符串

Scala 字符串以下实例将字符串赋值给一个常量：object TestString1 { val greeting: String = "Hello,World!" def main(args: Array[String]) { println( greeting ) }}以上实例定义了变量 greeting，为字符串常量，它的类型为 String (java.lan

2017-04-25 23:23:40 2567

原创 CentOS7 基于Hadoop2.7 的Spark2.0集群搭建

CentOS7 基于Hadoop2.7 的Spark2.0集群搭建 1.前提Hadoop 2.7 集群已搭建完毕,有关Hadoop集群搭建请参考:CentOS7.0下Hadoop2.7.3的集群搭建Hadoop集群服务器列表服务器IP 服务器Hostname 192.168.56.216 apollo.hadoop.com 192.168.56.217 artemis.ha

2017-04-25 16:53:19 1388

原创十一.Scala 闭包

Scala 闭包闭包是一个函数，返回值依赖于声明在函数外部的一个或多个变量。闭包通常来讲可以简单的认为是可以访问一个函数里面局部变量的另外一个函数。如下面这段匿名的函数：val multiplier = (i:Int) => i * 10 函数体内有一个变量 i，它作为函数的一个参数。如下面的另一段代码：val multiplier = (i:Int) => i * factor在 mul

2017-04-25 13:46:34 316

原创十. Scala函数详解

Scala函数详解1.Scala函数说明函数是一组一起执行一个任务的语句。您可以把代码划分到不同的函数中。如何划分代码到不同的函数中是由开发者决定的，但是在逻辑划分上，划分通常是根据第个函数的某个特定功能决定的，以便实现模块化编程需要。 Scala有函数和方法，二者在语义上的区别很小。 * Scala方法是类的一部分，而函数是一个对象可以赋值给一个变量。换句话说在类中定义的函数就是方法。 *

2017-04-25 11:47:46 766

原创九.Scala 循环

Scala 循环有的时候，我们可能需要多次执行同一块代码。一般情况下，语句是按顺序执行的：函数中的第一个语句先执行，接着是第二个语句，依此类推。编程语言提供了更为复杂执行路径的多种控制结构。循环语句允许我们多次执行一个语句或语句组，下面是大多数编程语言中循环语句的流程图： 1.循环类型Scala 语言提供了以下几种循环类型。循环类型描述 while 循环运行一系列语句，

2017-04-24 17:42:33 703

原创八.Scala流程控制语句

Scala流程控制语句 1.Scala IF…ELSE 语句Scala IF…ELSE 语句是通过一条或多条语句的执行结果（True或者False）来决定执行的代码块。可以通过下图来简单了解条件语句的执行过程: 1.1.if 语句if 语句有布尔表达式及之后的语句块组成。语法 if 语句的语法格式如下：if(布尔表达式){ // 如果布尔表达式为 true 则执行该语句块}如果

2017-04-24 15:36:13 565

Oracle 常用数据字典

Oracle 数据字典很多,通常我记不住所有的名字,我们可以用以下SQL去查数据字典的名字

2011-10-20

Oracle 10g RAC的负载均衡配置

Oracle 10g RAC的负载均衡配置，负载均衡是指连接的负载均衡。RAC的负载均衡主要是指新会话连接到RAC数据库时，如何判定这个新的连接要连到哪个节点进行工作。在RAC中，负载均衡分为两种，一种是基于客户端连接的，另外一种是基于服务器端的。

2011-10-20

eclipse部署android开发环境

eclipse部署android开发环境,详细介绍如何在eclipse中配置android开发环境，一步一步介绍，内容详细，值得下载

2011-10-20

PL/SQL 11g 编程从入门到精通.PDF

最权威的PL/SQL从入门到精通教程。由浅而深，代码拷出来可以直接运行

2011-10-18

DataAdapter是如何更新数据库数据的

DataAdapter对象不仅只是捕获数据的功能，事实上它还可以帮助你将更新后的DataSet以批次的方式再写回后台数据库，而且还相当简单，只要调入Update方法，并传入准备更新的DataSet及DataTable即可。

2009-09-17

Arraylist 的用法

ArrayList就是传说中的动态数组，用MSDN中的说法，就是Array的复杂版本，它提供了如下一些好处：动态的增加和减少元素灵活的设置数组的大小

2009-09-17

MD5算法之C#程序 MD5算法描述

当我要写一个MD5算法的程序时，发现中英文的语言描述都有一些不确切的地方，某些个细节讲得不清楚，或者说很费解。最后不得不拿出C语言的源程序来调试，这对于理解算法是很不利的。于是就总结了一下我摸索到的一些要点

2009-09-16

CSHARP冒泡算法实例

参加多次笔试，居然有几次都考到了冒泡算法.现将原代码分享如下.C#的算法，很精典！请大家多多关注，不好可以骂我！现在面试用到很多的，可以下载看看

2009-09-16

C＃处理鼠标和键盘事件

在程序运行中，产生事件的主体有很多，其中尤其以键盘和鼠标为最多。本文就来探讨一下在C＃中和这二个主体相关的事件的处理过程。

2009-09-16

GridView用法大合集

是我开发项目时做的一本小合集。里面包含了GRIDVIEW的数据绑定并实现分页功能、选中，编辑，取消，删除、实现正反双向排序功能、DropDownList控件的绑定、通过CheckBox删除选中记录、实现跨页面多选、删除GridView 控件行信息弹出确认提示框、实现自动编号、实现主细表、单元格中使用“…“替换超长字符。。。。看好了帮我顶，谢谢

2009-06-29

PLSQL 10天自学通

只要10天就可掌握，完全可以上手的一个易学教程

2009-05-24

Oracle DBA 5天入门通

有点oracle基础的，只需要5天就会对DBA要掌握的知识有个框架上的了解，是一门DBA入门的最好教程，通俗易懂。。。

2009-05-24

JavaScript 5天自学通

对概念了解的只需要5天，略为懂的只需1天，很好的一本书，上手特别地快。。。

2009-05-24

CSharp从入门到精通全攻略

这本书从最简单的介绍开始，说明C#与JAVA的区别以及各自的优点。然后从最简单的C#事例开始讲解C#语言编程及编程技巧。每一个知识点都有对应的例子，讲解透彻，简单明了，是一本不可多得的好书。

2009-04-27

C#编程新手入门通（内含PDG格式阅读软件）

这本教程是我找了好长时间，但没有找到PDF格式的，只找到PDG格式的，为了方便大家，我把PDF阅读器也放在里面。，相当精典，是新手入门最好的一本书，不说不行，看了才知道价值。

2009-04-23

学习C#入门必看的实例程序.rar

这本书含有100个例字，每个例子都是针对C#的学习关键知识点设计的，是学习C#必须知道的一些程序例子．掌握了这些例子，你就会对Ｃ#有一个更加崭新的认识和提高．

2009-04-23

高级PLSQL编程（包、过程、函数、触发器等的详细介绍）

本书主要是讲如何利用PLSQL语句编程，主要用具体的事例来进行介绍编程思想，从具体到抽象，又从抽象回到具体，例子代码精炼易懂，是学习PLSQL提高的必备之书。

2009-04-22

DataGridView控件用法合集

综合讲解DataGridView控件用法，内容详细、透彻、易懂。是我见过的介绍DataGridView控件用法中用法最好的，2小时即可掌握它的全部用法。

2009-04-22

vs2005水晶报表１小时速成教程.txt

该文档是我花了三天时间整理完成的，是新手学做水晶报表的最佳文档，只要花心思学习１小时，即可以做出一个很漂亮的水晶报表．本书安全新颖，源代码齐全．

2009-04-22

实战Visual C#数据库编程

　　针对数据库编程始终是程序设计语言的一个重要方面的内容，也是一个难点。数据库编程的内容十分丰富，但最为基本编程的也就是那么几点，譬如：连接数据库、得到需要的数据和针对数据记录的浏览、删除、修改、插入等操作。其中又以后面针对数据记录的数据操作为重点。本文就来着重探讨一下Visual C＃数据库基本编程，即：如何浏览记录、修改记录、删除记录和插入记录。本书详细讲解了数据库编程，代码齐全

2009-04-21

Storm分布式实时计算模式.pdf

本书由Apache Storm项目核心贡献者亲笔撰写，融合了作者丰富的Storm实战经验，通过大量示例，全面而系统地讲解使用Storm进行分布式实时计算的核心概念及应用，并针对不同的应用场景，给出多种基于Storm的设计模式，为读者快速掌握Storm分布式实时计算提供系统实践指南

2017-08-16

Spark高级数据分析 (美) sandy ryza;uri laserson; 龚少成(译) ---文字版.pdf

Spark高级数据分析 (美) sandy ryza;uri laserson; 龚少成(译) ---文字版.pdf 个人收集电子书，仅用学习使用，不可用于商业用途，如有版权问题，请联系删除

2017-08-16

Spark快速大数据分析.pdf

《Spark 快速大数据分析》是一本为 Spark 初学者准备的书,它没有过多深入实现细节,而是更多关注上层用户的具体用法。不过,本书绝不仅仅限于 Spark 的用法,它对 Spark 的核心概念和基本原理也有较为全面的介绍

2017-08-16

Spark实战高手之_从零开始.pdf

伴随着大数据相关技术和产业的逐步成熟,继 Hadoop 之后,Spark 技术以其无可比拟的优势,发展迅速,将成为替代 Hadoop 的下一代云计算、大数据核心技术。作为国内 Spark 亚太研究院云计算分布式大数据 Spark 实战高手之路三部曲之第一部,本书的网络发布版为图文并茂方式,边学习,边演练,不需要任何前置知识,从零开始,循序渐进。

2017-08-16