大数据处理Spark
大数据
优惠券已抵扣
余额抵扣
还需支付
¥9.90
¥99.00
购买须知?
本专栏为图文内容,最终完结不会低于15篇文章。
订阅专栏,享有专栏所有文章阅读权限。
本专栏为虚拟商品,基于网络商品和虚拟商品的性质和特征,专栏一经购买无正当理由不予退款,不支持升级,敬请谅解。
小施没烦恼
这个作者很懒,什么都没留下…
展开
-
educoder中共享单车之数据可视化
【代码】educoder中共享单车之数据可视化。原创 2023-11-20 22:03:00 · 477 阅读 · 0 评论 -
educoder中SparkSQL数据源
Spark SQL 还包括一个可以使用JDBC从其他数据库读取数据的数据源,与使用JdbcRDD相比,此功能应该更受欢迎。这是因为结果作为DataSet返回,可以在Spark SQL中轻松处理,也可以与其他数据源连接。原创 2023-06-19 00:08:31 · 184 阅读 · 0 评论 -
educoder中SparkSQL简单使用
【代码】educoder中SparkSQL简单使用。原创 2023-06-19 00:02:50 · 303 阅读 · 0 评论 -
educoder中Spark GraphX—寻找社交媒体中的“影响力用户”
近年来互联网技术的发展带来了在线社交网络的繁荣,微博、微信、Twitter等社交平台已经走进人们生活的方方面面。丰富的社交数据使得研究者们有机会对社交网络进行深入研究,同时也带来了前所未有的挑战。本关将利用Pregel实现统计一个用户的跟随者(粉丝数),跟随者最多的拥有最大影响力。原创 2023-06-18 23:35:32 · 1160 阅读 · 0 评论 -
educoder中网约车大数据综合项目 —— 数据分析Spark
基于 EduCoder 平台提供的初始数据集,统计湖南省当天的各时间段订单总数量与各市级当天各时间段订单总数量。原创 2023-06-18 23:54:15 · 395 阅读 · 0 评论 -
educoder中Spark GraphX—构建图及相关操作
第1关:GraphX-构建图及相关基本操作import org.apache.log4j.{Level, Logger}import org.apache.spark.graphx._import org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}object GraphX_Test_stu{ def main(args:Array[String]): Unit ={ //屏蔽日志..原创 2022-05-13 18:20:53 · 2124 阅读 · 1 评论 -
educoder中SparkStreaming--scala
第1关:QueueStreamimport java.text.SimpleDateFormatimport java.util.Dateimport org.apache.spark.{HashPartitioner, SparkConf}import org.apache.spark.rdd.RDDimport org.apache.spark.streaming.{Seconds, StreamingContext}import scala.collection.mutableo..原创 2022-05-13 18:19:14 · 1271 阅读 · 0 评论 -
educoder中kafka-入门篇
第1关:kafka - 初体验#!/bin/bash#1.创建一个副本数量为1、分区数量为3、名为 demo 的 Topickafka-topics.sh --create --zookeeper 127.0.0.1:2181 --replication-factor 1 --partitions 3 --topic demo#2.查看所有Topickafka-topics.sh --list --zookeeper 127.0.0.1:2181#3.查看名为demo的Topic..原创 2022-05-13 18:15:51 · 875 阅读 · 0 评论 -
Educoder中Spark算子--Scala版本
第1关:转换算子之map和distinct算子import org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}object EduCoder1 { def main(args: Array[String]): Unit = { val conf =new SparkConf().setAppName("educoder1").setMaster("local") val sc原创 2022-05-13 18:10:56 · 637 阅读 · 0 评论 -
Educoder中Spark任务提交
第1关:spark-submit提交#!/bin/bashcp -r Spark/SparkRDD/target/project.jar /rootcd /opt/spark/dist/bin#********** Begin **********#./spark-submit --master local --class Student /root/project.jar#********** End **********#原创 2022-05-13 18:07:43 · 4814 阅读 · 0 评论 -
Educoder中Scala语言第一章
package stepobject step1 { def main(args: Array[String]): Unit = { /********** Begin *********/ print("HelloWorld") /********** End *********/ } }第2关:数据类型及变量packa...原创 2022-05-13 18:05:45 · 2313 阅读 · 0 评论 -
Educoder中Scala面向对象编程
第1关:继承abstract class Phone{ val phoneBrand: String def info() def greeting() { println("Welcome to use phone!") }}class Apple extends Phone{ override val phoneBrand = "Apple" def info() { printf("This is a/an %s phone. It is ex..原创 2022-05-13 18:03:24 · 331 阅读 · 0 评论 -
Educoder中Scala函数式编程
Educoder原创 2022-05-13 18:00:54 · 574 阅读 · 0 评论