网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
- Berkeley BigDataBench
随着Spark的推出,由AMPLab开发的一套大数据基准测试工具,官网介绍:https://amplab.cs.berkeley.edu/benchmark/ - Hadoop GridMix
Hadoop自带的Benchmark,作为Hadoop自带的测试工具使用方便、负载经典,应用广泛 - BigDataBenchmark
中科院研发,官方文档,哈哈,还是英文的资料:http://prof.ict.ac.cn/publications/ - TPC-DS
广泛应用于SQL on Hadoop的产品评测。官网在这:http://www.tpc.org/tpcds/
可能需要你跑(翻)个(下)路(墙)才能到达。 - Hibench
由Intel开发的针对Hadoop的基准测试工具,开源的,用户可以到Github库中下载:https://github.com/intel-hadoop/HiBench - Hadoop自带的基准测试工具
主要有TestDFSIO、mrbench和nnbench。
TestDFSIO用于测试HDFS的IO性能;nnbench用于测试NameNode的负载;mrBench多次反复执行一个小作业,用于测试在集群上小作业的运行是否可以重复以及运行是否高效。
文档资料在这:
http://www.michael-noll.com/blog/2011/04/09/benchmarking-and-stress-testing-an-hadoop-cluster-with-terasort-testdfsio-nnbench-mrbench/ - BDGS数据生成器
用于基准测试的数据生成,BDGS在保留原始数据特性的基础上以小规模真实数据生成大规模数据,能够生成文本数据和图表数据。
pdf文档在这:
http://prof.ict.ac.cn/BigDataBench/old/2.0/wp-content/uploads/2013/10/BDGS_BigDataBench.pdf
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
/forums/4f45ff00ff254613a03fab5e56a57acb)**