everysummer-CSDN博客

转载 MapReduce 算法设计(二)--- Pairs 和 Stripes

Pairs 和 Stripes之前提到从MapReduce 可控和不可控的方面我们可以挖掘出一些有用的设计模式。在可控方面Key 和Value 数据结构的自定义给了我们很大的发挥空间。本篇要讲述的就是Pairs 和Stripes 。这两种设计模式并没有利用MapReduce 的框架机制，而是巧妙的利用数据结构来实现的。但是依然可以利用我们之前提到的Combiner 和In-Mapper Comb...

2018-05-03 13:45:28 715 1

原创 spark基础知识

spark基础知识 1.Spark是什么?UCBerkeley AMPlab所开源的类HadoopMapReduce的通用的并行计算框架。dfsSpark基于mapreduce算法实现的分布式计算，拥有HadoopMapReduce所具有的优点;但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的...

2017-08-08 15:35:15 183

Apache Benchmark-2.2.19-64

ab是apache自带的压力测试工具。ab非常实用，它不仅可以对apache服务器进行网站访问压力测试，也可以对或其它类型的服务器进行压力测试。比如nginx、tomcat、IIS等

2018-12-26

Java性能优化权威指南.pdf 带书签完整版

本书从Java应用的性能调优提供建议。包含：性能监控、性能分析、Java HotSpot VM调优、高效的基准测试以及Java 企业级应用的性能调优。

2018-05-25

Python爬虫开发与项目实战书签目录版

Python是一门简明、易学的语言，本书适合入门，进阶，。 ython爬虫开发与项目实战从基本的爬虫原理开始讲解，通过介绍Pthyon编程语言与HTML基础知识引领读者入门，之后根据当前风起云涌的云计算、大数据热潮，重点讲述了云计算的相关内容及其在爬虫中的应用，进而介绍如何设计自己的爬虫应用。主要内容分为基础篇、中级篇、深入篇，基础篇包括Python编程基础、Web前端基础、HTML基础知识、基础爬虫设计、强化爬虫技术等。中级篇包括数据存储、动态网站抓取

2018-04-13