- 博客(9)
- 资源 (5)
- 收藏
- 关注
原创 Hadoop之MapReduce & HDFS
Hadoop是Apache下的一个项目,由HDFS、MapReduce、Hive、Zookeeper、HBase等组成。其中MapReduce和HDFS是两个最基础最重要的成员。本文主要介绍了MapReduce和HDFS的设计理念和一些基础内容。
2015-10-24 14:29:59 745
转载 Spark——并行计算框架
SparkSpark是一个通用的并行计算框架,是一种快速处理大规模数据的通用引擎,由UCBerkeley的AMP实验室开发。其架构如下图所示: Spark与Hadoop相比Spark的中间数据放到内存中,对于迭代运算效率比较高 Spark更适合于迭代运算比较多的ML和DM运算。因为在Spark里面,有RDD的抽象概念;Spark比Hadoop更通用 Spark提供多种数据集操作类型,而Ha
2015-10-22 22:22:32 8071
原创 C++运行结果中让控制台停住的办法
大多数初学者都会遇到的问题:C++程序在控制台中的运行结果一闪而过,不便查看产生的结果。下面针对这个问题给出以下几种解决方案:1. 使用标准输入来实现暂停 int temp; cin >> temp;2. 在程序末尾输入**system("pause");**3. **CTRL+ F5**4. 选中项目->右键->Properties->Configuration Properties-
2015-10-13 20:44:56 4793
高阶函数 in Scala
2015-09-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人