- 博客(9)
- 问答 (1)
- 收藏
- 关注
原创 Spark Streaming(头歌)
第1关:套接字流实现黑名单过滤代码:importorg.apache.spark.SparkConfimportorg.apache.spark.streaming.StreamingContextimportorg.apache.spark.streaming.SecondsobjectTransformBlackList{defmain(args:Array[String]):Unit={/**********Begin**********/...
2022-06-21 13:57:29
3849
1
原创 SparkSQL数据源
第1关:SparkSQL加载和保存代码:packagecom.educoder.bigData.sparksql2;importorg.apache.spark.sql.AnalysisException;importorg.apache.spark.sql.SaveMode;importorg.apache.spark.sql.SparkSession;publicclassTest1{ publicstaticvo...
2022-06-21 13:54:08
2219
原创 SparkSQL简单使用(头歌)
第1关:SparkSQL初识代码:packagecom.educoder.bigData.sparksql;importorg.apache.spark.sql.AnalysisException;importorg.apache.spark.sql.Dataset;importorg.apache.spark.sql.Row;importorg.apache.spark.sql.SparkSession;publicclassTest1{...
2022-06-21 13:40:24
3601
转载 第2关:“大胃王”比赛数据柱形图绘制——柱形图展示优化
代码:# -*- coding: utf-8 -*-import pandas as pdfrom matplotlib import pyplot as plthot_dog = pd.read_csv(r"matplotlib_bar/csv/hot-dog-contest-winners.csv")def plot(): # ********* Begin *********# fig, ax = plt.subplots() #sub...
2022-06-21 13:23:46
2185
1
原创 第1关:“大胃王”比赛数据柱形图绘制——绘制柱形图的基本步
代码:# -*- coding: utf-8 -*-import pandas as pdfrom matplotlib import pyplot as plthot_dog = pd.read_csv(r"matplotlib_bar/csv/hot-dog-contest-winners.csv")def plot(): # ********* Begin *********# fig, ax = plt.subplots() #subplots返回画布和子图 ...
2022-06-21 13:22:05
2456
原创 Spark算子--Scala版本(头歌)
第1关转换算子之map和distinct算子代码如下:importorg.apache.spark.rdd.RDDimportorg.apache.spark.{SparkConf,SparkContext}objectEduCoder1{ defmain(args:Array[String]):Unit={ valconf=newSparkConf().setAppName("educoder1").setMaster...
2022-06-14 14:32:08
3448
3
转载 RDD的创建 -Scala
第1关集合并行化创建RDD代码如下:importorg.apache.spark.rdd.RDDimportorg.apache.spark.SparkContextimportorg.apache.spark.SparkConfobjectStudent{ defmain(args:Array[String]):Unit={ valconf=newSparkConf().setAppName(this.getClass.g...
2022-06-14 13:54:52
5845
2
原创 RDD概述提(头歌)
1、下面哪个不是 RDD 的特点 (C )A、可分区B、可序列化C、可修改D、可持久化2、关于Spark RDD的弹性,哪项是错误的(D)A、容错性B、数据调度弹性C、内存和磁盘切换D、固定大小3、Spark的算子类型(A C)A、转换算子B、迭代算子C、动作算子D、核心算子...
2022-06-14 13:27:51
1334
原创 SparkContext初始化--Scala篇(头歌)
importorg.apache.spark.{SparkConf,SparkContext}objectTest{ defmain(args:Array[String]):Unit={ /**********Begin**********/ //第一步:设置SparkConf valconf=newSparkConf().setAppName("educoder").setMaster("local") //第二步:初始化S...
2022-06-14 13:15:25
2793
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人