2018年07月_Joseph25

转载 Flume-ng http监控介绍

转自：https://blog.csdn.net/Team77/article/details/44154529说明：这里主要介绍http接口的监控增量方式介绍获取到的监控参数：{ "SOURCE.r1": { "OpenConnectionCount": "0", 当前有效的连接数 "Type": "SOURCE", ...

2018-07-31 09:32:02 534

原创 flume-kafka-flume-hdfs

将数据建立软链接，并同步到文件夹里，供flume采集#! /bin/bashmydate=`date +%Y-%m-%d-%H`#mydate=`date -d "yesterday" +%Y%m%d`monitorDir="/data/webapp/d5wx-webapp/logs/monitor/"filePath="/data/webapp/d5wx-webapp/lo...

2018-07-29 21:00:01 549

原创找不到或无法加载主类org.apache.sqoop.sqoop

Sqoop转移数据到hdfs找不到或无法加载主类 org.apache.sqoop.sqoop网上说把sqoop的lib目录下的sqoop的(sqoop-1.4.5.jar或sqoop-1.4.6.jar)包放到hadoop的lib下，并且也放到sqoop的lib下(这个是我自己琢磨的，不知道用不同放)解决方法：1.sqoop-1.4.x.tar.gz在1.4.5以上的安装包已经没有了...

2018-07-23 10:26:18 2935 1

原创 flume集群(一)定时采集+channel过滤

要求：Agent foo定时采集文件夹，将采集到的数据传到Agent bar ，在Agent bar里过滤，然后上传到HDFS一：脚本将数据同步到软连接文件夹里#! /bin/bashmydate=`date +%Y-%m-%d-%H -d '-1 hour'`monitorDir="/opt/dap/monitor/"filePath="/opt/dap/respon...

2018-07-18 08:55:57 1881

转载 Flume；里的HDFS上的sink参数配置

关键字：flume、hdfs、sink、配置参数Flume中的HDFS Sink应该是非常常用的，其中的配置参数也比较多，在这里记录备忘一下。channel typehdfspath写入hdfs的路径，需要包含文件系统标识，比如：hdfs://namenode/flume/webdata/可以使用flume提供的日期及%{host}表达式。filePrefix默认值：F...

2018-07-12 13:49:48 356

原创 CentOS启动虚拟机，显示模块“Disk”启动失败

1，找到虚拟机的node03目录，先删除里面的以.lck为后缀名的文件，然后重启.vmx文件，应该就没问题了。2，如果还有问题，网上还说把里面的vmci0.present = "TRUE"改为 vmci0.present = "FALSE" 注：我是删除了.lck文件名就可以了，如有侵权请联系删除...

2018-07-10 22:51:53 1027

原创 CentOS下jps报command not found

在Linux下jps，报command not found这是因为配置文件读取的jdk出bug了，所以在vim /etc/profile里export出你自己安装的jdk路径就行export PATH="/opt/jdk/bin:$PATH" 同时，还要在你自己写的的环境变量里加上：export PATH=/usr/bin:/usr/sbin:/bin:/sbin ...

2018-07-04 15:26:38 1409

Joseph25的博客