![](https://img-blog.csdnimg.cn/20201229091621603.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据项目
文章平均质量分 90
大数据项目
大勇任卷舒
这个作者很懒,什么都没留下…
展开
-
大数据智能运维平台方案-2
2.1 告警系统此模块用于在监控过程中针对集群不合理的指标值(全局参数控制)进行预警2.1.1 告警配置查看告警阈值点击参数,可调整告警阈值2.1.2 告警服务启停点击“启动”后,告警服务会启动并及时发送告警邮件每隔15分钟(全局参数控制)会重新检查并发送告警邮件,页面中可以看到告警信息2.1.3 页面告警页面提示出现告警点击右上角邮件图标,查看告警详情2.1.4 邮件告警2.2 巡检此模块实现了集群自动化巡检和生成巡检报告,包括基础巡检和深度巡检两大原创 2021-01-15 13:28:13 · 962 阅读 · 0 评论 -
大数据智能运维平台方案-1
1.1 功能详细介绍1.1.1 登录界面用户首先需要获取license,激活产品后才能正常使用,提示如下:点击激活,会自动生成机器码,请联系厂商获取激活码激活后,会提示到期日,产品可以正常进行登录了1.1.2 首页首页是向导页,以路线图的方式引导你进行集群配置和集群监控1.2 配置管理1.2.1 全局配置用于配置全局参数和服务,包括数据保留配置、告警服务、告警配置和数据库配置等修改全局参数1.2.2 数据库配置用于配置关系型数据库,支持Mysql和PostgreSQL等原创 2021-01-14 12:00:26 · 2117 阅读 · 0 评论 -
某金融大数据平台数据同步方案
Greenplum数据导入方案Case2:tsale_staticshares表导数导数说明:存储格式:parquet压缩:snappy并行度:3Impala查询单表统计时间:4.28s空间开销:约1G时间开销:约7分钟Case2:tsale_dividenddetail表导数导数说明:存储格式:parquet压缩:snappy并行度:5Impala查询单表统计时间:3.35s空间开销:约2.2G 时间开销:约23原创 2020-12-10 14:51:42 · 219 阅读 · 0 评论 -
某金融大数据平台搭建测试
需求分析背景现网采用Greenplum作为数据仓库平台,Oracle作为业务核心数据库目前现网系统存在可扩展性差,性能瓶颈等问题。考虑使用CDH大数据平台来解决现网问题。整体需求搭建CDH大数据平台,并进行故障诊断测试对现网Greenplum数据库进行T+1数据同步对现网Oracle数据库进行准实时数据同步在CDH平台进行业务功能测试项目进度规划总结:所有任务按计划完成整体系统架构CDH安装之集群规划规划了4台机器CDH安原创 2020-12-08 10:52:11 · 179 阅读 · 2 评论