- 博客(5)
- 收藏
- 关注
RSS订阅原创 分布式事务解决方案--Seata--实操
分布式事务解决方案--Seata--实操Seata背景介绍Seata版本选择Seata实操1.问题描述2.问题定位3.解决方案SeataSeata 是一款开源的分布式事务解决方案，致力于在微服务架构下提供高性能和简单易用的分布式事务服务。本文旨在使用Seata进行开发过程中踩过的坑进行记录与总结，不对Seata原理介绍，有兴趣可参考官方文档。背景介绍在应用分布式架构的时候，不可不免的会遇到分布式事务的问题，市面上有很多成熟的解决方案，本次选用阿里巴巴开源的Seata作为分布式事务的解决方案，主要是
2020-06-24 13:49:47
1047
原创 基于FusionInsight Manager的大数据架构图
大数据架构图介绍架构图介绍基于华为FusionInsight Manager的大数据架构图架构图
2019-12-18 15:59:40
1686
原创 Spark调优(二)-----合理配置Spark集群的Executor,Core,Partition
概述合理配置Executor，Core，Partition会大大提高集群的计算效率。举个例子：100道计算题，如果一个人计算可能需要100min，但如果平均分配给10个人计算，每人算10道题，然后再汇总给一个人提交，那只需要10min就可以完成。为了帮助大家更全面的理解底层原理和一些基本概念，先介绍Spark架构与Spark调度模块，调优在文章最末目录概述Spark架构Spark调...
2019-10-29 16:10:10
1364
原创 Spark调优(一)-----使用broadcast广播变量
最近在做一些Spark的调优，前期生产实践的经验一直没顾得上总结，借此机会做个回顾，也算给自己做个积累背景介绍:基于华为大数据平台（其实就是多了个安全认证，user.keytab和krb5.conf）Spark消费Kafka中的数据,并读取HBase静态表，与表中的数据做一些略复杂的逻辑计算，最终返回结果。优化方式以下是亲测的一些Spark调优方法并附上优化时间：1.使用broadcas...
2019-10-28 14:55:23
1101
原创 应用华为大数据平台配置大数据项目①
应用华为大数据平台配置大数据项目①概述框架详述关于log4j概述智慧交通项目,由车载硬件设备发送GPS等数据,经过简单处理后经大数据平台计算返回结果,实时处理使用Spark2X,离线批处理使用Hive的MapReduce,作为历史数据存入Oracle,本文主要记录关于华为大数据平台使用FLume,Kafka,HDFS,Spark2X,等组件配置,使用过程中遇到的一些问题(踩过的坑),总结经验,...
2019-08-22 11:34:04
2542
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人