Spark
七分正经
这个作者很懒,什么都没留下…
展开
-
【Spark】Spark之读取Hbase数据库表并写入文件
import org.apache.hadoop.hbase.HBaseConfigurationimport org.apache.hadoop.hbase.client.{HBaseAdmin, Result}import org.apache.hadoop.hbase.io.ImmutableBytesWritableimport org.apache.hadoop.hbase.ma...原创 2018-06-19 18:36:02 · 1500 阅读 · 0 评论 -
【Spark】Spark连接mysql数据库
package com.menkoudai.loan.data.spark.scalaimport java.sql.{Connection, DriverManager, PreparedStatement}import java.util.Propertiesimport org.apache.spark.sql.{DataFrame, SQLContext}import org....原创 2018-06-20 14:44:47 · 1309 阅读 · 0 评论 -
【Spark】Spark将计算结果写入到Mysql中
今天主要来谈谈如果将Spark计算的结果写入到Mysql或者其他的关系型数据库里面。其实方式也很简单,代码如下:package scalaimport java.sql.{DriverManager, PreparedStatement, Connection}import org.apache.spark.{SparkContext, SparkConf}object RDDto...转载 2018-06-20 16:33:23 · 1116 阅读 · 0 评论 -
【Spark】Spark 简单介绍
Spark官方网站http://spark.apache.orgSpark通用性解释Spark的特点官方网站都有。目前支持Java,Scala, Python,R。推荐使用Java和Scala,spark2中对python的支持不够好。Spark的数据源HDFS, HBase, Cassandra(类似于hbase数据库,国外用的多) Hive, Tachyo...转载 2018-08-09 10:35:10 · 237 阅读 · 0 评论