2015年09月_Wang_Zhenwei

12月 11月 10月 09月 08月 07月

转载 flume学习（十一）：如何使用Spooling Directory Source

1.如何理解将FTP上的信令数据汇聚到HDFS上去存储？2.使用Spooling Directory Source的时候同时读写一个文件会怎样？最近在弄一个信令数据汇聚的事情，主要目的是把FTP上的信令数据汇聚到HDFS上去存储。逻辑是这样的：把FTP服务器上的文件下载到一台主机上，然后SCP到另外一台主机上的Spooling Director

2015-09-30 16:38:35 829

转载 flume学习（十）：使用Morphline Interceptor

1.Morphline是干嘛用的？2.如何将message属性添加到event的headers当中？Morphline是干嘛用的？简单点说就是一个ETL工具，详细介绍：http://kitesdk.org/docs/current/ ... ReferenceGuide.html这里有一个注意点，是和cloudera search版本有关系的，我是用

2015-09-30 16:35:50 955

转载 flume学习（九）：自定义拦截器

1.如何添加拦截器RegexExtractorExtInterceptor？2.改动的内容中是如何增加两个配置参数？还是针对学习八中的那个需求，我们现在换一种实现方式，采用拦截器来实现。先回想一下，spooldir source可以将文件名作为header中的key:basename写入到event的header当中去。试想一下，如果有一个拦截器可以

2015-09-30 16:05:59 1062

转载 flume学习（七）、（八）：如何使用event header中的key值以及自定义source

1.如何使用event header中的key值？2.如何部署扩展自定义的spooling directory source？前面我们已经说到我们在header中添加了一个key为：flume.client.log4j.logger.source ，然后有两个应用程序，一个设置为app1,一个设置为app2。现在有这么一个需求，要将app1的日志输出到

2015-09-30 15:18:44 8008

转载 flume学习（六）：使用hive来分析flume收集的日志数据

1.遇到无法转换成JSON对象的字符串时应如何处理？2.遇到非JSON格式输入的时候应如何处理？前面已经讲过如何将log4j的日志输出到指定的hdfs目录，我们前面的指定目录为/flume/events。如果想用hive来分析采集来的日志，我们可以将/flume/events下面的日志数据都load到hive中的表当中去。如果了解hive的load

2015-09-30 15:15:24 1322

转载 flume学习（五）：flume将log4j日志数据写入到hdfs

1.将log4j的日志输出到agent的日志文件当中，应如何配置文件？2.把log4j的日志直接采集输出到hdfs中去，如何修改flume.conf中sink的配置？在第一篇文章中我们是将log4j的日志输出到了agent的日志文件当中。配置文件如下：tier1.sources=source1tier1.channels=chan

2015-09-30 14:26:04 1709

转载 flume学习（四）：Flume Channel Selectors使用

1、怎样将不同项目的的日志输出到不同的channel？2、如何理解一个sink为hdfs,一个sink为logger的拓扑结构？3、怎样在Log4jExtAppender.java类里扩展一个参数？前几篇文章只有一个项目的日志，现在我们考虑多个项目的日志的收集，我拷贝了一份flumedemo项目,重命名为flumedemo2,添加了一个WriteLog2.java类

2015-09-30 11:06:08 880

转载 flume学习（三）：Flume Interceptors的使用

1、如何理解flume拦截器？2、如何使用regex_filter和 timestamp这两个拦截器来实现一个较强的功能？3、怎样为source1添加了两个拦截器？对于flume拦截器,我的理解是：在app(应用程序日志)和 source 之间的，对app日志进行拦截处理的。也即在日志进入到source之前，对日志进行一些包装、清新过滤等等动作。官方上提

2015-09-30 10:45:52 1100

转载 flume学习（二）：如何找到cm安装的flume的配置文件

1、如何将log4j的日志输出到agent的日志文件当中？2、怎么将sink的type由logger变为hdfs？3、报错？你给目录授权了吗？通过CM安装好flume-ng之后，可以在管理界面上修改flume.conf配置，但是 /etc/flume-ng/conf目录下的flume.conf文件却空空如也。由于对CM的运行原理不了解，搞不明白我修改的配置信息保存到

2015-09-30 10:32:35 1932

转载 flume学习（一）：log4j直接输出日志到flume

1、如何让log4j直接输出日志到flume？2、如何写一个简单的测试类来测试呢？3、如何看到log4j的日志是否输出到了flume中？log4j.properties配置：log4j.rootLogger=INFOlog4j.category.com.besttone=INFO,flumelog4j.appender.flume

2015-09-30 10:06:42 1133

转载 Flume学习8_Flume1.5.0入门：安装、部署、及flume的案例

一、什么是Flume?　　flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来，尤其是在 Flume OG 的最后一个发

2015-09-29 16:53:27 902

转载 Spark学习1_【Spark六十一】Spark Streaming组合Flume、Kafka进行日志分析

【Spark六十一】Spark Streaming结合Flume、Kafka进行日志分析第一步，Flume和Kakfa对接，Flume抓取日志，写到Kafka中第二部，Spark Streaming读取Kafka中的数据，进行实时分析本文首先使用Kakfa自带的消息处理（脚本）来获取消息，走通Flume和Kafka的对接1. Flume配置1. 下

2015-09-28 10:00:05 1632

转载 CentOS学习8_CentOS取消自动待机休眠

配置 xorg.conf，且不能出错，否则系统可能会起不来，所以配置时要格外小心。vi /etc/X11/xorg.conf 添加以下内容Section "ServerFlags" Option "BlankTime" "0" Option "StandbyTime" "0" Option "SuspendTime

2015-09-27 19:21:12 12836 4

转载 Kafka错误1_kafka中 FailedToSendMessageException解决_修改host.name

注：在启动Kafka的过程中，同样遇到这个问题，在将host.name=Slave1host.name=Slave2host.name=Slave3后面改为机器的IP地址后，解决问题；原文来自：http://my.oschina.net/u/1475616/blog/343875这两天在学kafka,把官网上的demo部署到自

2015-09-27 19:15:13 14800

原创 CentOS6.5下kafka＋ZooKeeper操作整理

关闭防火墙：service iptables stop （以下操作在Slave1、Slave2、Slave3上都有进行）Zookeeper:目录：cd /usr/local/zookeeper 启动zookeeper：[root@Slave1 zookeeper]# cd bin[root@Slave1 bin]# sh zkServer.sh start

2015-09-25 20:21:56 1627

转载 Linux学习12_每天一个linux命令（42）：kill命令

Linux中的kill命令用来终止指定的进程（terminate a process）的运行，是Linux下进程管理的常用命令。通常，终止一个前台进程可以使用Ctrl+C键，但是，对于一个后台进程就须用kill命令来终止，我们就需要先使用ps/pidof/pstree/top等工具获取进程PID，然后使用kill命令来杀掉该进程。kill命令是通过向进程发送指定的信号来结束相应进程的。在默认情况下

2015-09-25 11:34:00 527

转载 Linux学习11_linux grep命令及ps -ef | grep java的含义

linux grep命令1.作用Linux系统中grep命令是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来。grep全称是Global Regular Expression Print，表示全局正则表达式版本，它的使用权限是所有用户。2.格式grep [options]3.主要参数[options]主要参数：－c：只输出匹配行的计数

2015-09-25 10:54:42 2046

转载 Linux学习10_linux进程查看连载之：PS命令及ps -ef | grep java的含义

关于ps -ef | grep java的含义：[root@Slave1 hadoop]# ps -ef|grep javaroot 99582 96423 0 19:31 pts/1 00:00:00 grep java[root@Slave1 hadoop]# 分别代表着：用户名 PIDSID 进程的cpu占用率进程启动时间和日期与进程关联的终端(

2015-09-25 10:21:00 9950

转载 JAVA学习2_Eclipse引入jar包的三种方式

使用Eclipse开发应用程序，少不了使用第三方jar包，而每次引入jar包都是一个不小的问题，不仅那些jar包的位置经常弄不清楚，而且很浪费时间。鉴于此，我列举了三种常用的jar包引入方式，其中第一种是我们最常用的普通操作方式，而第二种和第三种则是快速版的操作方式。下面看第一种方式：基本步骤式右键项目属性，选择Property，在弹出的对话框左侧列表中选择Java

2015-09-24 23:48:14 1364

原创 Linux学习9_sh命令使用问题解决

输入命令时，遇到下面的问题：[hadoop@Slave1 bin]$ cd /usr/local/kafka[hadoop@Slave1 kafka]$ cd bin[hadoop@Slave1 bin]$ kafka-topics.sh --list --zookeeper localhost:2181bash: kafka-topics.sh: command not found[

2015-09-24 16:49:10 1770

原创 Hadoop错误9_解决Hadoop的Safe mode is ON问题

好久没启动Hadoop集群，今天启动后发现出了一些问题。启动后，输入jps命令，发现Namenode节点没有启动，问题描述如下：[hadoop@Master hadoop]$ jps33100 ResourceManager33358 Jps32957 SecondaryNameNode同样，输入bin/hdfs dfsadmin -report查看各个节点的状态，也显示失败：[

2015-09-24 10:45:24 8807 1

原创 VMware学习2_解决VMware虚拟机重启后IP地址变化问题

VMware重启后，IP地址可能会发生变化，给环境配置和软件安装带来了很大的不变，所以需要把VMware虚拟机的IP地址设定为固定值，避免因为因IP地址变化而重新修改配置文件。打开VMware软件，在编辑------>虚拟网络编辑器中，查看相关设置：虚拟机网络类型采用的是NAT模式，子网地址是192.168.154.0，虚拟机的IP地址都是192.168.154.*。进入虚拟机内，

2015-09-24 09:27:32 26109 1

翻译 MongoDB System Properties

MongoDB System PropertiesMongoDB系统特性Please select another system to compare it with MongoDB.Our visitors often compare MongoDB with Cassandra, HBase and MySQL.可以选择另一个系统与MongoDB进行比较。

2015-09-23 13:24:37 1394

转载 MongoDB学习9_【MongoDB for Java】Java操作MongoDB

开发环境：System：WindowsIDE：eclipse、MyEclipse 8Database：mongoDB开发依赖库：JavaEE5、mongo-2.5.3.jar、junit-4.8.2.jarEmail：[email protected]：http://blog.csdn.net/IBM_hoojohttp://hoo

2015-09-23 10:01:13 527

转载 MongoDB学习8_MongoDB查询语句

Find方法的使用find(参数1，参数2)参数1：需要返回的文档参数2：指定想要的键?1234567//查询users表中age为27的文档db.users.find({'age': 27})//查询users表中username为joe的文

2015-09-22 20:45:45 652

转载 MongoDB学习7_mongodb查询语句与sql语句的对照

左边是mongodb查询语句，右边是sql语句。db.users.find() select * from usersdb.users.find({"age" : 27}) select * from users where age = 27db.users.find({"username" : "joe", "age" : 27}) select * from users

2015-09-22 20:43:54 811

翻译 Elastic Search vs. mongodb

Elastic Search vs. mongodbES和其他数据库的对比：Top comparisons… vs. Sphinx+… vs. Oracle… vs. Cloudant… vs. RethinkDB… vs. Aerospike… vs. influxdb… vs. DynamoDB… vs. Druid…

2015-09-22 16:43:34 2096

转载 MongoDB学习6_MongoDB基本管理命令

MongoDB是一个NoSQL数据库系统：一个数据库可以包含多个集合（Collection），每个集合对应于关系数据库中的表；而每个集合中可以存储一组由列标识的记录，列是可以自由定义的，非常灵活，由一组列标识的实体的集合对应于关系数据库表中的行。下面通过熟悉MongoDB的基本管理命令，来了解MongoDB提供的DBMS的基本功能和行为。MongoDB命令帮助系统

2015-09-22 15:48:44 640

翻译 MySQL vs ElasticSearch vs MongoDB

Anfang des Jahres habe ich mySQL und MongoDB aus Sicht der Daten verglichen, jetzt geht es um Leistung. Neu im Bunde ist dieses Mal ElasticSearch, eine nicht-Datenbank, die sich vor allem mit schnel

2015-09-21 15:10:57 7258

转载 MongoDB学习5_Elasticsearch、MongoDB和Hadoop比较

原地址IT界在过去几年中出现了一个有趣的现象。很多新的技术出现并立即拥抱了“大数据”。稍微老一点的技术也会将大数据添进自己的特性，避免落大部队太远，我们看到了不同技术之间的边际的模糊化。假如你有诸如Elasticsearch或者Solr这样的搜索引擎，它们存储着JSON文档，MongoDB存着JSON文档，或者一堆JSON文档存放在一个Hadoop集群的HDFS中。你可以使用这三种配置完成

2015-09-21 14:22:25 1184

转载 MySQL学习7_You must SET PASSWORD before executing this statement解决方法

Linux rpm方式安装完MySQL之后 mysql>SET PASSWORD = PASSWORD('newpasswd');求知若渴, 虛心若愚……其实上面的操作在：MySQL学习2_CentOS下安装MySQL遇到问题：Access denied for user 'root'@'localhost'

2015-09-19 13:23:36 1116

转载 MySQL学习6_ERROR! MySQL server PID file could not be found!解决方法

第一种：可能是硬盘满了，清理下垃圾文件。/etc/init.d/mysql start无法启动MySQL错误信息如下：ERROR! MySQL server PID file could not be found!Starting MySQL.. ERROR! The server quit without updating PID file (

2015-09-19 11:31:11 14263

原创 MySQL学习5_CentOS下Mysql数据库（不使用yum命令）的安装与配置

注：按照上一个安装说明操作，会出现一些问题。比如，自动安装的mysql版本很旧，5.1.0x版本的，官网的Mysql已经是 5.6.x版本了。如果坚持安装最新版本，在MYSQL官网下载rpm-.tar安装包，Linux 64位版本的大小大约300MB左右。 1.下载：MySQL-5.6.26-1.linux_glibc2.5.x86_64.rpm-bundle.tar下

2015-09-18 17:04:30 1307

转载 MySQL学习4_CentOS/Linux下的MySQL安装文件类型：rpm package,rpm bundle和Compressed TAR Archive有什么区别

1、rpm package:是某个特定的包，比如server,client,shared lib等 -- 是的，可以单独安装2、rpm bundle：是该版本所有包的集合 --- 一般是把服务器端要用的都安装上，其他的不带，尤其是开发包3、Compressed TAR Archive，是源码，必须用源码方式

2015-09-18 13:39:21 14369

转载 MySQL学习3_CentOS下Mysql数据库的安装与配置

Linux学习之CentOS(十三)--CentOS6.4下Mysql数据库的安装与配置如果要在Linux上做j2ee开发，首先得搭建好j2ee的开发环境，包括了jdk、tomcat、eclipse的安装(这个在之前的一篇随笔中已经有详细讲解了Linux学习之CentOS(七)--CentOS下j2ee环境搭建),如果要开发web项目，我们当然可以安装一个myeclipse到L

2015-09-18 11:02:42 588

原创 MySQL学习2_CentOS下安装MySQL遇到问题：Access denied for user 'root'@'localhost'

问题描述：[root@Master hadoop]# mysqladmin -u root password 'root'mysqladmin: connect to server at 'localhost' failederror: 'Access denied for user 'root'@'localhost' (using password: NO)'

2015-09-18 10:43:35 689

原创 MySQL学习1_Win7下安装MySQL5.6.26

Win7下安装MySQL5.6.261.下载Windows下MySQL下载安装：http://dev.mysql.com/downloads/mysql/或http://dev.mysql.com/downloads/file.php?id=458258版本为mysql-5.6.26-winx64 2.解压 3.环境变量配置新增一个环境变量变量名：M

2015-09-17 21:14:19 757

转载 Network学习1_localhost、127.0.0.1 和本机IP 三者的区别

网络javaIP地址的记法：IP地址由四个字节构成，为了方便阅读和书写，每个字节用0-255的数字表示，字节之间用’.'分割，如：10.10.152.235有时候我们会看到这样的IP：10.10.152.235/24，后面的/24表示子网掩码，24表示子网掩码上有24个1，等价于255.255.255.0 。IP地址和子网掩码按位与，得到的

2015-09-17 10:03:37 4879

原创 Flume学习7_Flume配置文件内容详解

对（CentOS6.5下，Flume安装及配置详细教程）（链接：http://blog.csdn.net/wang_zhenwei/article/details/48438105）中的配置文件进行解释：a1.sources = r1a1.sinks = k1a1.channels = c1该配置文件中配置了一个代理a1 在代理agent中配置了一个

2015-09-16 18:25:57 5567