- 博客(4)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 设计数据生成器，产生自定义的流数据
一个streaming application的性能测试方案在上一篇文章中讲过了，今天讨论了关于输入的流的数据形态是否有影响性能，这一块也要做测试。 因为实际的业务场景的数据生成器还没有要过来，现在就先决定自己写着用。 要考虑的主要是三点：数据的数量，即每秒要产生多少条数据数据的字段多少，例如说wordcount，一行要给几个单词还是几百个单词数据字段的长度，我设计的是给了一个rate，有
2016-08-25 19:12:57
1067
原创 spark自带的PageView测试用例
PageView所在位置：org.apache.spark.examples.streaming.clickstream默认的使用方法：1.bin/run-example org.apache.spark.examples.streaming.clickstream.PageViewGenerator 44444 102.在另一个终端bin/run-example org.apache.spark.
2016-08-25 18:50:30
2094
原创 Spark组件的benchmark
Spark组件的benchmark一、 Benchmark 简单介绍基准测试（benchmark），主要指的是，实现对一类测试对象的某项性能指标进行定量的和可对比的测试。目前主要的测试点是测试负载（workload）的执行时间，传输速率，吞吐量，资源占用率等。目前在大数据开源组件上，还没有统一的标准，尤其在spark上更是很少，目前IBM，Intel等都自己写了一些benchmark
2016-08-20 10:17:28
4375
原创 Ganglia在CentOS7_x86_64上的yum安装与配置
Ganglia在CentOS7_x86_64上的yum安装与配置2016年8月15日（本文档来自网上，我个人添加并且修改了一些内容，红色是我添加的部分）0 前记： yum安装Ganglia比起make install 安装Ganglia方式要简单很多，因为yum方式安装不用自己去下载编译安装各依赖包。 下面我介绍Ganglia在CentOS7_x8
2016-08-20 10:12:39
6847
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人