- 博客(5)
- 收藏
- 关注
RSS订阅原创 Hbase配置与工具操作类
基础配置hbase-env.shexport JAVA_HOME=/opt/nsfocus/espc/deps/javaexport HBASE_CLASSPATH=/opt/nsfocus/espc/conf/hadoop/hbase-site.xml<configuration><property> <name>hbase.rootdi...
2018-11-26 17:31:24
227
原创 Flume Agent应用配置
以下是Flume作为Agent实例，把应用数据发送到hdfs上，实现实时数据转发的功能。example.conf: A single-node Flume configurationName the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1Describe/configure the sou...
2018-11-26 15:54:07
832
原创 SparkStreaming序列化问题处理
经过个把月的摸爬滚打，项目终于在磕磕绊绊中成型了。先来个简介：用python 写了一堆的聚类算法，将线上数据进行聚类分析，找出离群点，建立模型。用这些模型用来检测用户的行为。bug产生的过程实时检测部分采用SparkStreaming实现，在使用过程中发现代码启动后一直会包序列化问题，瞻仰下咱们这个bug，测试美眉将bug级别从normal改到high，又从high改到了cri，那个扎...
2018-11-23 11:31:26
1606
1
原创 SparkStreaming实时处理应用
import java.util.ArrayList;import java.util.HashMap;import java.util.HashSet;import java.util.Map;import java.util.Set;import org.apache.log4j.Logger;import org.apache.spark.SparkConf;import o...
2018-11-14 16:08:10
574
原创 flink流处理demo
flink流处理demoimport org.apache.flink.api.common.functions.FoldFunction;import org.apache.flink.api.java.functions.KeySelector;import org.apache.flink.api.java.tuple.Tuple2;import org.apache.flink.s...
2018-11-14 14:04:56
3187
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人