![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
guaniu_zsx
这个作者很懒,什么都没留下…
展开
-
Spark相关总结
开源的、数据分析、开发快、运行快spark core批量处理、spark streaming流式处理、spark mllib机器学习、spark GraphX图计算spark基于内存的计算MapReduce处理海量数据,无法取代Storm实时流失处理,无法取代Hive无法取代Spark为什么快?基于内存、DAG优化Spark四种运行模式:Local、Standalone(Master、Zookee...原创 2018-03-09 16:20:58 · 593 阅读 · 0 评论 -
spark on yarn和mapreduce on yarn的区别
Apache Spark 的高性能一定程度上取决于它采用的异步并发模型(这里指server/driver 端采用的模型),这与 Hadoop 2.0(包括 YARN 和MapReduce)是一致的。 Hadoop 2.0 自己实现了类似 Actor 的异步并发模型,实现方式是 epoll+状态机,而 Apache Spark 则直接采用了开源软件Akka,该软件实现了 Actor 模型,性...原创 2018-03-09 16:51:36 · 419 阅读 · 0 评论 -
关于高并发及其详解
一、什么是高并发高并发(High Concurrency)是互联网分布式系统架构设计中必须考虑的因素之一,它通常是指,通过设计保证系统能够同时并行处理很多请求。高并发相关常用的一些指标有响应时间(Response Time),吞吐量(Throughput),每秒查询率QPS(Query Per Second),并发用户数等。响应时间:系统对请求做出响应的时间。例如系统处理一个HTTP请求需要20...转载 2018-03-10 18:21:40 · 180 阅读 · 0 评论