- 博客(4)
- 收藏
- 关注
原创 Spark的简单介绍(与MapReduce对比)
1.spark计算 引擎: 1.快速 DAG(有向无环图) Memory 2.通用 spark sparkSQL、SparkStreaming等相当于在spark平台上的 jar包 需要时直接以Jar包的方式导入2运行模式. Hadoop、Mesos、standlone。 可以处理任意类型的hadoop数据源 如hbase、hive等3.MapReduce与Spark
2017-02-10 15:46:39 2158
原创 MapReduce 倒排索引的实现
package cheryl.dhcc.mapreduce;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.In
2017-02-09 16:20:09 668
原创 Mapreduce 处理gbk文件的方式(输入gbk文件和输出gbk文件)
package cheryl.dhcc.mapreduce;import java.io.IOException;import java.io.UnsupportedEncodingException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apach
2017-02-05 14:19:01 1323
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人