AWS系列
拉丁解牛说技术
拉丁哥,10年+TOP金融互联网大厂开发经验,大道至简、行胜于言。用最少的代码+最直白的文字,分享JAVA技术栈。
展开
-
AWS之SQS消息队列使用经验
1、问:什么是可见性超时? 可见性超时是一个时段,在这个时段内,Amazon SQS 会阻止其他处理组件接收和处理某条消息。有关更多信息,请参阅 Amazon SQS 开发人员指南中的可见性超时。 这个特性,在工作当中,我们可以提高基于sqs消息服务的并发能力。比如有1000个sqs client在监听同一个消息队列,因为每个消息内容不一样,而且可见期间,只能被一个c...原创 2018-08-31 18:08:23 · 13252 阅读 · 0 评论 -
AWS之EMR Job的几种提交方式
AWS包装改进开源Hadoop的MapReduce,自己搞了一个EMR,不过基本完全兼容我们开源的Hadoop。 EMR的几种提交job方式: 1、可以通过add step,通过设置job flow,将多个job,放到一个flow中串行执行。适合大批量job提交。 2、可以通过console,添加job jar,执行,其实和hadoop jar 执行一样。...原创 2018-08-31 18:14:07 · 1611 阅读 · 0 评论