![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
AWS系列
扎克begod
喜欢算法、数据结构,大数据开发,性能优化,源码分析,高并发、低能耗、高容错、可扩展、解耦合架构设计。
展开
-
AWS之SQS消息队列使用经验
1、问:什么是可见性超时? 可见性超时是一个时段,在这个时段内,Amazon SQS 会阻止其他处理组件接收和处理某条消息。有关更多信息,请参阅 Amazon SQS 开发人员指南中的可见性超时。 这个特性,在工作当中,我们可以提高基于sqs消息服务的并发能力。比如有1000个sqs client在监听同一个消息队列,因为每个消息内容不一样,而且可见期间,只能被一个c...原创 2018-08-31 18:08:23 · 13201 阅读 · 0 评论 -
AWS之EMR Job的几种提交方式
AWS包装改进开源Hadoop的MapReduce,自己搞了一个EMR,不过基本完全兼容我们开源的Hadoop。 EMR的几种提交job方式: 1、可以通过add step,通过设置job flow,将多个job,放到一个flow中串行执行。适合大批量job提交。 2、可以通过console,添加job jar,执行,其实和hadoop jar 执行一样。...原创 2018-08-31 18:14:07 · 1593 阅读 · 0 评论