spark保存数据到hbase_Spark读取Hbase中的数据

如果想及时了解iteblog_hadoop

大家可能都知道很熟悉Spark的两种常见的数据读取方式(存放到RDD中)：(1)、调用parallelize函数直接从集合中获取数据，并存入RDD中；Java版本如下： JavaRDD myRDD = sc.parallelize(Arrays.asList(1,2,3));

Scala版本如下： val myRDD= sc.parallelize(List(1,2,3))

这种方式很简单，很容易就可以将一个集合中的数据变成RDD的初始化值；更常见的是(2)、从文本中读取数据到RDD中，这个文本可以是纯文本文件、可以是sequence文件；可以存放在本地(file://)、可以存放在HDFS(hdfs://)上，还可以存放在S3上。其实对文件来说，Spark支持Hadoop所支持的所有文件类型和文件存放位置。Java版如下： /

User: 过往记忆

Date: 14-6-29

Time: 23:59

bolg:

本文地址：/archives/1051

过往记忆博客，专注于hadoop、hive、spark、shark、flume的技术博客，大量的干货

过往记忆博客微信公共帐号：iteblog_hadoop

/

import org.apache.spark.SparkConf;

import org.apache.spark.api.java.JavaRDD;

import org.apache.spark.api.java.JavaSparkContext;