- 博客(4)
- 收藏
- 关注
RSS订阅原创 Spark的简单介绍（与MapReduce对比）
1.spark计算 引擎： 1.快速 DAG（有向无环图） Memory 2.通用 spark sparkSQL、SparkStreaming等相当于在spark平台上的 jar包 需要时直接以Jar包的方式导入2运行模式. Hadoop、Mesos、standlone。 可以处理任意类型的hadoop数据源 如hbase、hive等3.MapReduce与Spark
2017-02-10 15:46:39
2147
原创 MapReduce 倒排索引的实现
package cheryl.dhcc.mapreduce;import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.In
2017-02-09 16:20:09
661
原创 Mapreduce 处理gbk文件的方式（输入gbk文件和输出gbk文件）
package cheryl.dhcc.mapreduce; import java.io.IOException; import java.io.UnsupportedEncodingException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apach
2017-02-05 14:19:01
1318
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人