- 博客(7)
- 收藏
- 关注
RSS订阅原创 Flink read data from hdfs
DataStreamSource 读取hdfspackage com.umetrip.umeflink.connector.hdfs;import org.apache.flink.configuration.Configuration;import org.apache.flink.streaming.api.datastream.DataStreamSource;import org...
2019-06-28 12:33:59
1121
原创 systemctl flume
/usr/lib/systemd/system/flume.service#[unit]配置了服务的描述，规定了在network启动之后执行。#[service]配置服务的pid，服务的启动，停止，重启。#[install]配置了使用用户。[Unit]Description=FlumeAfter=syslog.target network.target remote-fs.target...
2019-06-06 20:11:19
571
原创 pyspark log4j
https://stackoverflow.com/questions/25407550/how-do-i-log-from-my-python-spark-scriptlog_util.py#!/usr/bin/python# coding=utf-8import socketdef main(): print("hello ....") tags = dict(...
2019-06-06 19:49:19
714
原创 HDFS Namenode HA恢复
背景：HDFS 集群为HA 模式，但Standby NameNode 于2月份停止运行，5月27日凌晨Active NameNode也异常退出，在重启Active NameNode时失败，日志显示合并editlog 过程失败。尝试一：将Active NameNode节点上的edit log 手工复制到Standby NameNode，重启Active NameNode，仍然出现相同错误。尝试...
2019-05-31 20:55:31
596
转载 flume定制 之 taildir 目录递归
转载：https://www.jianshu.com/p/9cd850b49dbf背景 : flume taildir源码只支持监控一级目录下的文件目标 : 实现目录递归, 即可以同时监控子目录.定制步骤 :下载flume源码修改flume-taildir-source源码flume版本: 1.9.2flume taildir收集监控文件的代码位置:flume-taildir-...
2019-05-11 12:30:20
840
1
原创 graphite_exporter收集spark on yarn metrics
参考：https://community.hortonworks.com/articles/222813/monitoring-spark-2-performance-via-grafana-in-amba-1.htmlhttps://blog.csdn.net/lsshlsw/article/details/82670508jmx 方式，端口冲突问题https://argus-sec.co...
2019-05-11 11:43:47
3242
2
转载 flume自定义Serializer收集日志入elasticsearch
转自：https://blog.csdn.net/yujimoyouran/article/details/59104131简单描述一下这个例子：将项目日志实时采集到elasticsearch，便于统一管理。收集日志格式为：log4j.properties ： org.apache.log4j.Logger： %d{ISO8601} [%l-%M]-[%p] %t %m%nlogb...
2019-05-03 20:35:50
357
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人