案例
文章平均质量分 92
瓶中怪
一无所求 , 怎会一无所有
展开
-
单词统计,MapReducer处理数据,写入HBase数据库(案例)
WordCountDemopackage com.word;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.hbase.mapreduce.TableMapReduceUt...原创 2019-01-17 21:37:26 · 1776 阅读 · 0 评论 -
单词数量统计简单(案例)
基于hadoop2.x集群HDFS分布式文件存储系统MapReducer分布式离线计算框架快捷跳转JobWordCountMapwc- JobWordCountpackage com.wordcount;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import o...原创 2019-01-08 21:21:39 · 1489 阅读 · 0 评论 -
二度人脉推荐(案例)
- 基于:hadoop2.x集群:HDFS + MapReduceJobFriendsMao01Resource01Map02Resource02JobFriendspackage com.friend;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;impo...原创 2019-01-07 21:52:09 · 1944 阅读 · 0 评论 -
HBaseAPI(案例)
package com.hbase; import java.io.BufferedReader; import java.io.File; import java.io.FileNotFoundException; import java.io.FileReader; import java.io.IOException; import java.io.Reader...原创 2019-01-17 20:24:25 · 1705 阅读 · 1 评论 -
Scala和Java代码实现的SprkAPI
scala+sparkAPIpackage com.crediimport org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}/** * Created by Administrator on 2019/2/7. */object ScalaWordCountEasy { de...原创 2019-02-17 09:44:32 · 1476 阅读 · 0 评论 -
hdfsAPI
通过代码操作hdfs系统上的数据文件package com.credi;import java.io.BufferedInputStream;import java.io.BufferedOutputStream;import java.io.File;import java.io.FileInputStream;import java.io.FileNotFoundExcept...原创 2019-02-09 19:36:26 · 1575 阅读 · 0 评论 -
sparkSQL
sparkSQL介绍sparkSQL将SQL解析成spark任务来执行 , 使用更友好 .Shark是基于Spark计算框架之上且兼容Hive语法的SQL执行引擎, 底层的计算采用了Spark , 性能比MapReduce的Hive大约快2倍之上 . 当数据全部加载到内存的情况下 , 性能几乎快10倍. Shark完全兼容了Hive , 但是Shark对于HIve的依赖性太强 , 不...原创 2019-02-21 22:57:34 · 1241 阅读 · 0 评论