scala
王冬的csdn
这个作者很懒,什么都没留下…
展开
-
Spark sql 之 DataFrame 与 RDD相互转换
一 、RDD转DataFrame 通过 case class 创建 DataFrames import org.apache.spark.SparkConf import org.apache.spark.SparkContext import org.apache.spark.sql.SQLContext object TestDataFrame { def main(args...原创 2020-02-03 22:27:11 · 563 阅读 · 0 评论 -
Spark读取Kafka数据存入redis
1. 构建一个scala项目 具体构建过程可参考:https://blog.csdn.net/weixin_44122028/article/details/103881508 2. 依赖配置如下 name := "SparkStreamingReadKafka" scalaVersion := "2.10.5" organization := "com.dd" //添加依赖 library...原创 2020-01-21 17:27:49 · 973 阅读 · 0 评论 -
scala操作kafka
创建sbt eclipse 项目 详情请参考:https://blog.csdn.net/weixin_44122028/article/details/103881508 加入kafka依赖 name := "FirstKafka4Sbt" scalaVersion := "2.11.11" autoScalaLibrary := false organization := "com.tl...原创 2020-01-21 17:22:29 · 1206 阅读 · 0 评论 -
SBT + eclipse 构建scala项目
SBT构建scala项目1.环境准备 1.环境准备 我已分享软件资源到百度网盘,需要的自行下载 百度网盘链接: jdk 1.8 安装过程自行百度 scala 2.10.4 下载地址1 scala官网: http://www.scala-lang.org/downloads 下载地址2 本人网盘:https://pan.baidu.com/s/1-00jojFnIGuv64e7jsY1BA 提取码...原创 2020-01-08 19:48:06 · 586 阅读 · 1 评论