spark
myanddream
这个作者很懒,什么都没留下…
展开
-
SparkSQL简单入门操作
代码 package com.mydemo import org.apache.spark.SparkContext import org.apache.spark.rdd.RDD import org.apache.spark.sql.{DataFrame, Dataset, SparkSession} object KCDF02 { case class Score(name: String, clazz: Int, score: Int) def main(args: Array[Strin原创 2020-05-18 14:40:23 · 236 阅读 · 0 评论 -
spark输出本地文件为空解决方法
文件名称 winutils 该文件一定要置于bin目录下,然后在代码初始写入以下代码 System.setProperty("hadoop.home.dir","C:\\Users\\myuser\\winutils\\") 上面地址是bin的父地址,bin目录下置于该文件,文件链接 链接:https://pan.baidu.com/s/12l8m9_PPP4_kMiMA8z0fyQ 提取码:t3qt ...原创 2020-05-18 14:37:01 · 1000 阅读 · 0 评论 -
sparkstreaming本地读取数据获取不到内容
代码 sparkstreaming本地读取数据代码块 package com.mydemo import org.apache.spark.SparkConf import org.apache.spark.streaming.dstream.DStream import org.apache.spark.streaming.{Seconds, StreamingContext} object strDemo { def main(args: Array[String]): Unit = {原创 2020-05-18 13:56:12 · 1419 阅读 · 1 评论