spark
Liu-Lv
我要飞呀飞呀飞呀,飞得更高更远
展开
-
Spark连接HBase进行读写相关操作【CDH5.7.X】
参考文档:http://blog.csdn.net/u013468917/article/details/52822074文章内容:1. 通过Spark读取HBase的表并通过转换RDD2.Spark连接HBase进行表写入操作版本:CDH集群版本:CDH5.7.1Spark版本:spark-1.6.0+cdh5.7.1+193HBase版本原创 2017-10-29 21:42:25 · 1843 阅读 · 1 评论 -
Spark连接HBase操作异常处理ERROR spark.SparkContext: Error initializing SparkContext. java.lang.SecurityExcep
异常报错信息: ERROR spark.SparkContext: Error initializing SparkContext.java.lang.SecurityException: class "javax.servlet.FilterRegistration"'s signer information does not match signer information of ot原创 2017-10-23 09:54:37 · 1175 阅读 · 0 评论 -
Spark的WordCount详解
WordCount代码详解1、创建SparkConf/**创建SparkConf设置设置本地执行,不需要安装spark集群比如setMaster 设置集群Master ULR,如果设置local是Spark在本地运行 **/val conf = new SparkConf()conf.setAppName("Wow, My first Spark APP in IDEA原创 2017-10-23 16:22:34 · 759 阅读 · 0 评论 -
Spark Streaming结合Spark SQL开发案例:电商中不同类别中最热门的商品排名
Spark Streaming+Spark SQL在线读取nc输入数据动态计算写入Oralce表原创 2017-10-24 12:51:23 · 513 阅读 · 0 评论 -
Spark Streaming 编程指南-Spark2.0(官方文档)
SparkStreaming编程指南官方文档-Spark2.0转载 2017-10-25 13:20:05 · 351 阅读 · 0 评论 -
Spark Streaming自定义数据源-实现自定义输入DStream和接收器
Spark Streaming输入DStream也可以用自定义的方式创建。你需要做的只是实现一个自定义的接收器(receiver),以便从自定义的数据源接收数据,然后将数据推入Spark中原创 2017-10-25 13:34:53 · 3030 阅读 · 0 评论