- 博客(2)
- 资源 (7)
- 收藏
- 关注
原创 基于 Flume+Kafka+Spark Streaming 实现实时监控输出日志的报警系统
运用场景:我们机器上每天或者定期都要跑很多任务,很多时候任务出现错误不能及时发现,导致发现的时候任务已经挂了很久了。 解决方法:基于 Flume+Kafka+Spark Streaming 的框架对这些任务的输出日志进行实时监控,当检测到日志出现Error的信息就发送邮件给项目的负责人。 目的:通过这个小项目熟悉基于 Flume+Kafka+Spark Streaming 框架实时分析处理日...
2018-08-01 13:39:10 6424 1
原创 大数据平台--数据库的迁移(HBase、Hive、Mysql)
一、HBase的迁移 步骤:获取表-->压缩-->迁移到目标集群-->解压-->把文件上传到HDFS的HBase目录下-->利用hbase hbck修复 (注意:不需要事先在目标群集上创建表) //------在源群集上的操作---------- //flush源HBase将表的缓存数据都写进磁盘 hbase -> flush 'tableName' /...
2018-07-17 10:18:29 2788
基于 Flume+Kafka+Spark Streaming 实现实时监控输出日志的报警系统的 Spark Streaming 程序代码
2018-08-01
基于SSH框架B2C网上商城(Java web)
2016-12-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人