![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
实时大数据
文章平均质量分 73
wishuhappyyear
这个作者很懒,什么都没留下…
展开
-
SODBASE实时大数据基础(二):类SQL语言EPL与Storm或jStorm集成
互联网+的影响力就是大,storm框架原本是设计用来做互联网短文本处理和一些统计工作的,借着互联网的东风越来越多地被大家使用。在一些场合,特别是在已经用了storm架构以后,发现又想用EPL语句,storm和类SQL语言EPL结合也不失为一种方案。对在线规则修改、窗口数据可靠性要求高的地方还有用专用的CEP集群方案、Hot-Hot HA等方案可供选择,不过这些不是本文的重点。本文的重点就是让sto转载 2016-04-11 19:45:26 · 1744 阅读 · 0 评论 -
SODBASE实时大数据基础(三):SODBASE与Spark streaming集成
基于内存RDD的Spark框架相比Hadoop MapReduce框架有许多独特的优点,在越来越多项目中得到应用。Spark计算框架包括其Streaming组件,是批处理(Lamda架构中Batch Layer)的思路。若要在使用Spark的同时, 1)不修改Spark streaming代码和重启应用,实现多场景流式计算、规则管理 2)实现低延时关联模式实时分析 可将SODBASE C转载 2016-04-11 19:49:13 · 721 阅读 · 0 评论 -
SODBASE CEP学习进阶篇(二)续:日志采集-Flume Syslog采集
1. 启动CEP模型 启动CEP Server ./catalina.sh run 下载loganalysis.sod CEP模型文件。 使用Server Admin将loganalysis.soddata2安装到CEP Server,并启动,控制台输出 May 29, 2016 5:14:26 PM com.sodbase.cep.graphmodelexecutor.原创 2016-05-29 17:21:28 · 1810 阅读 · 0 评论 -
SODBASE运维----Linux下SODBASE CEP集群命令
如果我们完全用SODBASE Server搭建集群,没有采用Storm等框架。在Linux下如何操作集群呢,本文给出几个示例供参考 例如,有10台服务器,10.10.1.1 ~ 10.10.1.10 只要在一台安装Server Admin的客户端上,就可以操作整个集群 (1)安装模型 在所有服务器上安装model.soddata,比如都是从消息队列消费数据做流式分析 for i in {原创 2016-07-19 20:35:40 · 807 阅读 · 0 评论 -
常见问题----Spark Streaming 读取User Group ID设置
在Spark Streaming中设置User Group ID,优点是可跟踪Kafka中此Group ID的Offset,下次重启时从上次中断的地方开始读数据。但是如果Kafka中已经不保存对应Offset的数据,则会报java.lang.ClassNotFoundException: kafka.common.OffsetOutOfRangeException的错误。 解决方法:不使用U原创 2016-06-06 17:26:39 · 1078 阅读 · 0 评论 -
SODBASE实时大数据基础(一):实时同步Mysql数据库到Kafka
实时大数据平台需要有一系列的基础,例如将业务数据库同步到基于Hadoop架构的数据仓库,从而解决大数据实时查询的需求。同时,相比全量同步数据也减少对网络带宽的消耗。原创 2016-04-09 23:13:08 · 13426 阅读 · 0 评论