Spark-Java Day 04

最新推荐文章于 2024-08-15 09:20:19 发布
最新推荐文章于 2024-08-15 09:20:19 发布
阅读量133 收藏
点赞数
文章标签： spark java 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/y_bug/article/details/121123236
版权

(上期作业)
在这里插入图片描述

  1. 循环结构（提高复用性，提高扩展性和维护性）
    while
    for
    在这里插入图片描述

    do-while
    do{代码块}while(循环条件)；至少执行一次。

    foreach 增强for循环
    递归
    2 跳转结构
    break ------(switch内， 循环内while,for,do-while)

    在这里插入图片描述

TroubMen
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
java操作spark_Spark原理及Java操作
weixin_39958100的博客
03-02 2653
Spark与MapReduceSpark 运算比 Hadoop 的 MapReduce 框架快的原因是因为 Hadoop 在一次 MapReduce 运算之后,会将数据的运算结果从内存写入到磁盘中,第二次 Mapredue 运算时在从磁盘中读取数据,所以其瓶颈在2次运算间的多余 IO 消耗. Spark 则是将数据一直缓存在内存中,直到计算得到最后的结果,再将结果写入到磁盘,所以多次运算的情况下,...
Spark-Java Day 12
Y_Bug的博客
11-16 770
1 初始化快 类的五大成员：成员变量、成员方法、构造器、初始化块、内部类 1.1 分类 a 实例化初始化块 每次实例化对象都会自动执行（类似构造器） { //代码 } 功能：对类中多个构造器中相同内容的复用性提高 特点：构造器之前执行 如果有继承： 先执行父类构造器，再执行子类构造器 如果存在初始化块，父类初始化块-负类构造器-子类初始化块-子类构造器 b 类初始化块 在类加载（只加载一次）的时候自动执行的一个代码块,只执行一次 static{ } 特点：在类加载时只执行一次 用途：该类一旦被使用就执行一段
Spark-Java Day02
Y_Bug的博客
10-29 116
1 数据类型 分类： a 基本数据类型（4类8个）： 整型数据 byte 1个字节 short 2个字节 int 4个字节（程序默认整型数据） long 8个字节 浮点型数据 float 单精度 4个字节 double 双精度 8个字节 （默认） 字符型数据（单引号引起，必有一个字符） char gbk两个字节 utf-8三个字节 布尔型数据（true false） boolean 1个字节 b 引用数据类型：（可以自定义） 字符串数据： String
Spark-Java Day 20
Y_Bug的博客
11-23 1361
1 集合(集合是java中提供的一种容器，可以用来存储多个数据) 1.1 集合体系结构 a 集合主要分为两大系列：Collection和Map,Collection表示一组对象，Map表示一组映射关系或键值对 b Collection根接口 子接口 List Set Queue … public class TestCollection { public static void main(String[] args) { Collection<String> object
Spark-Java Day11
Y_Bug的博客
11-14 1073
1 面向对象三大特性之集成 1.1 继承的好处 提高复用性 1.2 继承的语法 class 类名 extends 父类名｛｝ 1.3 继承使用的时机 a 多个类中有相同的内容，提取中一个父类 b 在写子类时，发现有父类可以继承 2 继承之成员变量 2.1 父类中所有成员变量都会被子类继承下去 如果父类成员变量是私有的，子类不能直接访问 2.2 成员变量不重名 访问成员变量不影响 2.3 成员变量重名 this.成员变量 就近原则（访问子类成员变量） super.成员变量 访问父类成员变量 3 继承之成
Spark-Java Day 08
Y_Bug的博客
11-10 731
1 类的第二大成员—成员方法（复用性提高，扩展性提高） 类：一组具有相同特征和行为的对象的集合，抽象出来的概念。 属性：通过变量去存储数据 方法：一段可以运行的代码（实现需求） 2 方法原则 a 先声明后使用 b 不调用不执行，调用一次执行一次 调用一次，在栈中压入一个方法栈 3 成员方法的分类 a 实例方法 属于对象，通过对象调用 b 类方法 属于类 4 方法的语法 a 修饰符， 可有可无 b 返回值类型 c 方法名 自定义名字（符合命名规则和规范） d 形参列表 e 方法体 main方法可以写 5 方法
Spark-Java Day 06
Y_Bug的博客
11-08 435
1 数组的操作 1.1 数组的反转 int [] arrs = {1,5,2,3}; 编写程序。让arrs中数组反转。 1. 新建数组进行倒序赋值 2. 对原数组首尾交换 System.out.println("数组反转："); for(int j=0; j< arrs.length/2; j++){ int temp = arrs[j]; arrs[j] = arrs[arrs.length-j-1]; arrs[arrs.length-j-1] = temp;
Spark-Java Day 09
Y_Bug的博客
11-11 1102
1 方法的重载 最终的好处：解决相同类型的方法以及起方法名的问题 方法的要求：在同一个类中不允许出现两个完全相同的方法。 要求： a 同一个类中，方法名可以相同 b 形参列表必须不同（个数、顺序、类型） c 和返回值无关 d 和访问修饰符无关 重载方法调用时，先找完全符合的，找不到完全符合的，找兼容的 如果多个兼容的，则会报错 2 参数传递机制 形参：在方法定义位置，指定形式参数 实参：在方法调用位置，需要指定实际的参数 总结： 3 引用数据类型，栈内存存储的是地址，在方法传参的时候是地址传递–>多个
Spark-Java Day 05
Y_Bug的博客
11-06 151
1 数组 容器：存储数据。 数组概念：数组用于存储数据长度固定的容器，保证多个数据的数据类型要一致。 1. 创建数组时，必须指定长度。 2. 数组在创建的时候需要指定类型 3. 数组是有序的 数组特点： 数组长度一旦确定，不允许修改 2 数组的使用 2.1 数组定义 1. 动态初始化 a 数组的声明 语法： 数据类型[] 数组名； 数据类型 数组名[]； b 数组空间的开辟 数组名 = new 数据类型[数组长度] 二合一： 数据类型 数组名[] = new 数据类型[数组长度]; 2. 静态初始化 a 数
贺岁大数据入门spark3.0入门Spark-day07.rar
02-21
2021贺岁大数据入门spark3.0入门到精通资源简介...共课程包含9个章节：Spark环境搭建，SparkCore，SparkStreaming，SparkSQL，StructuredStreaming，Spark综合案例，Spark多语言开发，Spark3.0新特性，Spark性能调优 。
own_Spark-day01.docx
08-28
使用IDEA编写Spark程序，可以通过创建Scala或Java项目，然后添加Spark的依赖库。IDEA支持Spark的项目模板，可以方便地创建Spark应用，同时利用其强大的代码提示和调试功能。 【集群硬件要求】 Spark集群的硬件需求...
java8stream源码-sparkstructuredstreaming:火花结构化流媒体
06-04
java8流源码评估项目 概述： A web conference is the live exchange and mass articulation of information among several persons and machines remote from one another but linked by a web communications ...
达内Java大数据 Day03练习题及答案
11-06
在“达内Java大数据 Day03练习题及答案”这个主题中，我们聚焦于Java编程语言与大数据技术的结合，特别是在学习过程中第三天的实践环节。这些练习题旨在帮助学员巩固和深化对Java语言的理解，同时为后续的大数据处理...
day-14-best-restaurant
05-13
Java Spark Velocity Gradle JUnit FluentLenium PostgreSQL 合法的 版权所有（c）2015 Nataliya Bareeva-Miller，Stephany Garcia 该软件已获得MIT许可。 特此免费授予获得此软件和相关文档文件（“软件”）副本...
【Spark集群部署系列二】Spark StandAlone模式介绍和搭建以及使用
qq_65231448的博客
08-12 901
【Spark集群部署系列一】Spark local模式介绍和搭建以及使用（内含Linux安装Anaconda)http://t.csdnimg.cn/0xmky 在部署spark集群前，请部署好Hadoop集群，jdk8【当然Hadoop集群需要运行在jdk上】，需要注意hadoop，spark的版本，考虑兼容问题。比如hadoop3.0以上的才兼容spark3.0以上的。 下面是Hadoop集群部署的链接，个人笔记，已经成功部署两次了，实时更新，分【一】【二】两部分，需要的自己看。不懂欢迎问，看到了解答。
spark项目总结
很开心你能来~
08-12 896
使用FIRST_VALUE函数获取每个漏斗的第一步的user_count，然后计算当前步骤的user_count与第一步user_count的百分比。然后，它计算从调整后的start_dt到end_dt的连续天数差（加1以包含起始和结束日期），并将这个值命名为x1，再求x1的最大值。运营策略制定：针对不同活跃度的用户群体，可以制定不同的运营策略，如激励低活跃度用户提高活跃度，或维护高活跃度用户的持续使用。如果end_dt是'9999-12-31'，则将其替换为查询的当前日期（'2022-11-23'）。
大数据-84 Spark 集群 RDD创建 RDD-Transformation操作算子 详解
最新发布
永远好奇，无限进步！
08-15 1357
上节Spark的RDD介绍、RDD特点、Spark编程模型。本节研究SparkRDD的创建，RDD-Transformation操作算子，并附带测试案例，详细过程。转换得到RDD是惰性求值，也就是说，整个转换过程只有记录了转换的轨迹，并不会发生真正的计算，只有遇到Action操作时，才会发生真正的计算，开始从学院关系（lineage）源头开始，进行物理的转换操作。SparkContext是编写Spark程序用到的第一个类，是Spark的主要入口点，它负责和整个集群的交互。
大数据-83 Spark 集群 RDD编程简介 RDD特点 Spark编程模型介绍
永远好奇，无限进步！
08-15 1064
上节完成了Spark集群环境部署和配置，并且启动SparkShell。本节研究RDD编程，RDD编程简介，RDD创建、Spark编程模型的简介。RDD是Spark的基石，是实现Spark数据处理的核心现象。RDD是一个抽象类，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD（Resilient Distributed Dataset）是Spark中的核心概念，它是一个容错、可以并行执行的分布式数据集。
note_spark_day01：spark 基础环境
09-26
Spark 运行需要 Java 环境和 Hadoop 环境，同时也需要配置 Spark 的相关参数，如内存大小、CPU 核数等。在安装和配置好基础环境后，我们才能使用 Spark 进行数据处理和分析。 ### 回答2： Spark是一个快速、可扩展...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值