linux监控某一个文件夹,flume监控一个linux指定的一个文件夹的文件信息

1.编辑一个配置文件 flume-app.conf  拷贝至fulme的安装目录的conf下

# The configuration file needs to define the sources,

# the channels and the sinks.

### define agent

a3.sources = r3

a3.channels = c3

a3.sinks = k3

### define sources

a3.sources.r3.type = spooldir

### 要扫描的文件夹

a3.sources.r3.spoolDir = /opt/cdh-5.3.6/flume-1.5.0-cdh5.3.6/spoollogs

### 以.log结尾的文件不扫描

a3.sources.r3.ignorePattern = ^(.)*\\.log$

### 扫描完成的文件加一个后缀

a3.sources.r3.fileSuffix = .delete

### define channels

a3.channels.c3.type = file

a3.channels.c3.checkpointDir = /opt/cdh-5.3.6/flume-1.5.0-cdh5.3.6/filechannel/checkpoint

a3.channels.c3.dataDirs = /opt/cdh-5.3.6/flume-1.5.0-cdh5.3.6/filechannel/data

### define sink

a3.sinks.k3.type = hdfs

### 已当天日期在hdfs上创建一个文件夹

a3.sinks.k3.hdfs.path = hdfs://hadoop:8020/user/xuyou/flume/splogs/%Y%m%d

a3.sinks.k3.hdfs.fileType = DataStream

a3.sinks.k3.hdfs.writeFormat = Text

a3.sinks.k3.hdfs.batchSize = 10

a3.sinks.k3.hdfs.useLocalTimeStamp = true

### bind the soures and sink to the channel

a3.sources.r3.channels = c3

a3.sinks.k3.channel = c3

创建 spoollogs 文件夹  准备一些数据   测试 .log结尾的文件是否被扫描到

执行命令

bin/flume-ng agent \

-c conf \

-n a3 \

-f conf/flume-app.conf \

-Dflume.root.logger=DEBUG,console

查看文件   .log结尾的文件果然没有被读取到  已经读取的文件也被加上后缀了

在hdfs上自动以当天时间命名生成了一个文件夹

然后测试 是否一直监控这个文件夹

创建一个文件  然后在查询发现被标记 后缀了  (ps：如果此文件夹是空的 不会在hdfs生成对应的文件)

一个获取指定目录下一定格式的文件名称和文件修改时间并保存为文件的python脚本

摘自:http://blog.csdn.net/forandever/article/details/5711319 一个获取指定目录下一定格式的文件名称和文件修改时间并保存为文件的python脚本 ...

Shell 命令行，写一个自动整理 ~/Downloads/ 文件夹下文件的脚本

Shell 命令行,写一个自动整理 ~/Downloads/ 文件夹下文件的脚本 在 mac 或者 linux 系统中,我们的浏览器或者其他下载软件下载的文件全部都下载再 ~/Downloads/ 文 ...

Win7-其中的文件夹或文件已在另一个程序中打开

Win7-其中的文件夹或文件已在另一个程序中打开 如何解决Win7系统在删除或移动文件时提示,“操作无法完成,因为其中的文件夹或文件已在另一个程序中打开,请关闭该文件夹或文件,然后重试”.   步骤阅 ...

C# 将文件夹中文件复制到另一个文件夹

p{ text-align:center; } blockquote > p > span{ text-align:center; font-size: 18px; color: #ff0 ...

php--------删除一个路径下的所有文件夹和文件

php遍历一个文件夹内的所有文件和文件夹,并删除所有文件夹和子文件夹下的所有文件的代码,通过递归方式实现达到清空一个目录的效果,代码简单实用. 也适合在thinkphp中清理缓存,在thinkphp中 ...

python调用另一个文件中的代码，pycharm环境下：同文件夹下文件(.py)之间的调用，出现红线问题

如何调用另一个python文件中的代码无论我们选择用何种语言进行程序设计时,都不可能只有一个文件(除了“hello world”),通常情况下,我们都需要在一个文件中调用另外一个文件的函数呀数据等等, ...

linux安装PyCharm，PyCharm常用快捷键及调试模式，pycharm里面对文件夹或者文件进行重命名

PyCharm常用快捷键及调试模式 2017年10月18日 23:13:43 菜鸟之神 阅读数:5835    版权声明:本文为博主原创文章,未经博主允许不得转载. https://blog.csdn ...

使用FileSystemWatcher监控文件夹及文件

引言 这一周主要精力集中学习一个同事开发的本地文件搜索项目上,其中客户端添加共享文件时主要是使用FileSystemWatcher 监控文件,并在各种事件发生时向服务器发送消息. 解决方法 FileS ...

albert1017 Linux下压缩某个文件夹(文件夹打包)

albert1017 Linux下压缩某个文件夹(文件夹打包) tar -zcvf /home/xahot.tar.gz /xahottar -zcvf 打包后生成的文件名全路径 要打包的目录例子:把 ...

随机推荐

Linux Shell脚本逻辑操作符简介

在写程序时,会用到条件判断,测试条件是否成立.很多时候,判断条件是多个的,这个时候需要用到逻辑操作符.shell脚本中常用的有哪些逻辑操作符呢? 1.逻辑与: -a 格式: conditon1 -a ...

封装ajax

function ajaxRequest(method,url,sync,param,responseFun){ //创建对象 var httpRequest; if(window.XMLHttpRe ...

sql语句游标的写法

当循环查找一张表的信息时,我们得写一张游标来对每条信息进行操作,具体格式如下 DECLARE @fitemid int DECLARE #point_cursor CURSORFORSELECT fi ...

PHP获取指定页面的指定内容

在刚入手PHP的时候,经理让我自己做一个文章的管理系统为了方便管理微信端发的消息.除了简单的添加分类.管理分类.添加文章.管理文章,还有一个功能就是要从微信文章网址中拿到网址上的标题.作者以及发表时间 ...

java 基本数据类型与变量类型

Java语言提供了八种基本类型.六种数字类型(四个整数型,两个浮点型),一种字符类型,还有一种布尔型. byte,short,char,int,long,float,double Java语言支持的变 ...

C# 图解教程 第三章 类型、存储和变量

类型.存储和变量 C#程序是一组类型声明类型是一种模板实例化类型数据成员和函数成员预定义类类型用户定义类型栈和堆 栈堆 值类型和引用类型 存储引用类型对象的成员C#类型的分类 变量静态类型和dynam ...

RN如何基于js代码手动打一个main.jsbundle

react-native bundle --entry-file index.js --bundle-output ./ios/bundle/main.jsbundle --platform ios ...

CentOS7 图形化方式安装 Oracle 18c 单实例

下载 Oracle 数据库,zip 包 https://www.oracle.com/technetwork/database/enterprise-edition/downloads/index.h ...

tomcat8 manager页面限制IP访问

tomcat8 manager页面限制IP访问 配置tomcat8/webapps/manager/META-INF/context.xml

常见异常代码oracle

exception oracle error sqlcode value condition no_data_found ora-01403 +100 select into 语句没有符合条件的记录返 ...