- 博客(6)
- 收藏
- 关注
RSS订阅原创 【学习笔记】浅识蚂蚁金服大数据产品“数据集成平台DIP”
信息来源：https://tech.antfin.com/docs/2/127816先一下蚂蚁金服大数据产品“数据集成平台”的相关术语，核心亮点：多数据源、任务调度编号 信息项 详情 1 数据集成平台DIP 包括：数据工厂DQS(Data query service)和任务调度服务JSS(Job scheduling service) 2 ETL脚本...
2019-10-29 21:56:07
963
原创 【学习笔记】浅识蚂蚁金服大数据产品“数据洞察分析平台DI”
信息来源：https://tech.antfin.com/docs/2/127816心得：一个报表工具，好像微软的Excel也能做。没错，简单的报表Excel能做，但是最核心的是Excel不支持外部多样的数据源。相关术语：编号 信息项 信息详情 1 数据洞察分析平台 DI 数据洞察分析平台是一个BI (商业智能Business Intelligence...
2019-10-29 21:53:28
835
原创 【容灾心得】浅谈业务补偿
【背景】设计一个十全十美的容灾方案，在技术和成本上是非常大的挑战，因此可以考虑服务降级和业务补偿。场景：Redis、Memcache、OCS（阿里云产品）通常用户缓存用户登录信息，这样使得用户不用频繁登录系统。在容灾切换到新的机房后，连接信息通常会失效，如果考虑缓存全部自动同步到备机房，技术难度较大。解决方案：业务支持幂等重试，即重试时也会获得相同的结果。...
2019-10-29 20:15:07
297
1
原创 【学习笔记】容灾场景下涉及常见的数据类型
【背景】近期基于阿里云和蚂蚁的产品做容灾方案，最难处理的是数据，因此整理一下涉及的数据类型，做个学习笔记。不对的地方，持续纠正。常见的数据存储类型 阿里云产品 蚂蚁产品 开源产品 说明 OTS -- hbase 表格存储，列式存储，HBase在物联网、车联网、用户画像、对象存储、AI、Feeds、GIS等场景有广泛应用 OSS -- ...
2019-10-27 18:08:13
305
原创 【学习笔记】tcpdump抓包 wireshark分析网络性能
tcp抓包命令：tcpdump -s 0 -i any -vvv -w /tmp/1.pcapwireshark 查看2个IP之间的网络时延：菜单栏 Statistics→TCP Stream Graph→Round Trip time 效果如下：往返时间（round-trip time, RTT）是指一个数据包从发出到确认被成功接收所需要的时间。或者说，往返时间就是数据包抵达目的地的...
2019-10-25 19:11:37
1977
原创 【学习笔记】为什么zookeeper的节点个数是奇数
【说人话的描述】拜占廷将军典故：古罗马时代有个强大的帝国叫拜占庭，她的军队非常强大，周围有10个小国家，饱受拜占庭帝国的欺压。但是，必须同一时间有6个以上的国家进攻才有可能打败拜占庭帝国，否则就一定会战败。问题出现了，古时候军队之间的通信完全依赖于人，如果一个国家的军队里有奸细，无论是下令的将军还是传信的通信兵，都可能会使得另外9个国家收到假消息，从而造成作战失败。那么如果你是一个小国的国王，...
2019-10-24 21:10:19
287
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人