自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(61)
  • 收藏
  • 关注

原创 Java企业级开发学习笔记(2.1)MyBatis实现简单查询

在test/java目录里创建cn.kox.mybatis.bean包,然后在包里创建测试类 - TestUserOperation。在test/java里创建cn.kox.mybatis.mapper包,然后在包里创建测试类 - TestUserMapper。创建cn.kox.mybatis.mapper包,然后在包里创建用户映射器接口 - UserMapper。System.out.println(“编号为[” + id + “]的用户未找到~”);// 按编号查询用户记录。// 按编号查询用户记录。

2023-06-15 11:28:19 1141

原创 Java企业级开发学习笔记(2.2)利用MyBatis实现CRUD操作

System.out.println(“恭喜,编号为[” + id + “]的记录删除成功~”);System.out.println(“遗憾,编号为[” + id + “]的记录删除失败~”);System.out.println(“插入的新记录:” + user);System.out.println(“更新前的记录:” + user);System.out.println(“更新后的记录:” + user);System.out.println(“恭喜,记录插入成功~”);

2023-06-15 11:28:10 1089

原创 Java企业级开发学习笔记(1.8)基于Java配置方式使用Spring MVC

一、基于Java配置方式使用Spring MVC1.1 创建Maven项目Maven项目 - SpringMvcDemo021.2 添加相关依赖在pom.xml文件里添加相关依赖4.0.01.3 创建日志属性文件在resources目录里创建log4j.properties1.4 创建首页文件在resources里创建templates子目录,然后在里面创建index.jspJSP表达式元素1.5 创建Spring MVC配置类。

2023-06-15 11:26:30 1783

原创 Java企业开发学习笔记(1.5.1)采用配置方式使用AOP

在test/java里创建cn.kox.spring.day05.aop_xml包,在包里创建TestKnight类。在resources里创建aop_xml目录,在里面创建spring-config.xml配置文件。System.out.print(“救美骑士[” + name + “]”);在aop_xml子包里创建杀龙任务类 - SlayDragonQuest。在cn.kox.spring包里创建day05.aop_xml子包。System.out.println(“啦啦啦,骑士出发了~”);

2023-06-15 11:17:52 1242

原创 Java企业开发学习笔记(5下)采用注解方式使用AOP

ComponentScan(“cn.kox.spring.day05.aop_annotation”) // 组件扫描。在test/java/aop_annotation子包里创建测试类 - TestKnight。在aop_annotation子包里创建杀龙任务类 - SlayDragonQuest。在aop_annotation子包里创建Spring配置类 - AopConfig。在cn.kox.spring包里创建day05.aop_annotation子包。2.8.1 增加救美任务类与救美骑士类。

2023-06-15 11:17:18 940

原创 Java企业开发学习笔记(1.4)采用Java配置类管理Bean

/ 基于注解配置类的应用容器。在/test/java里创建net.huawei.spring.day04包,在包里创建TestKnight类。2.2 修改Spring配置类 - 管理救美任务Bean和救美骑士Bean。@Bean // 创建名为slayDragonQuest的Bean。@Bean // 创建名为slayDragonQuest的Bean。@Configuration // 表明是Spring配置类。@Configuration // 表明是Spring配置类。

2023-06-15 11:16:38 836

原创 企业级信息系统开发学习1.3——利用注解配置取代Spring配置文件

注解@ComponentScan(“net.huawei.spring.day03”)相当于Spring配置文件里的<context:component-scan base-package=“net.huawei.spring.day03”/>。在test/java里创建net.huawei.spring.day03包,在包里创建TestKnight类。注解@Configuration声明当前类是一个配置类,对应一个Spring配置文件,可以取而代之。// 基于注解配置类创建应用容器。

2023-06-15 11:15:29 456

原创 3.5 RDD持久化机制

从上述代码可以看出,cache()方法调用了无参的persist()方法,两者的默认存储级别都为MEMORY_ONLY,但cache()方法不可更改存储级别,而persist()方法可以通过参数自定义存储级别。Spark中重要的功能之一是可以将某个RDD中的数据保存到内存或者磁盘中,每次需要对这个RDD进行算子操作时,可以直接从内存或磁盘中取出该RDD的持久化数据,而不需要从头计算才能得到这个RDD。如果内存不够,就将未缓存的分区存储在磁盘上,并在需要这些分区时从磁盘读取。

2023-06-14 14:15:22 1120

原创 3.4 理解RDD依赖

一个父RDD的一个分区不可能对应一个子RDD的多个分区。对一个RDD进行reduceByKey()操作,RDD中相同key的所有记录将进行聚合,而key相同的所有记录可能不在同一个分区中,甚至不在同一个节点上,但是该操作必须将这些记录聚集到一起进行计算才能保证结果准确,因此reduceByKey()操作会产生Shuffle,也会产生宽依赖。在Spark中,对RDD的每一次转化操作都会生成一个新的RDD,由于RDD的懒加载特性,新的RDD会依赖原有RDD,因此RDD之间存在类似流水线的前后依赖关系。

2023-06-14 14:12:08 684

原创 3.5 RDD持久化机制

从上述代码可以看出,cache()方法调用了无参的persist()方法,两者的默认存储级别都为MEMORY_ONLY,但cache()方法不可更改存储级别,而persist()方法可以通过参数自定义存储级别。Spark中重要的功能之一是可以将某个RDD中的数据保存到内存或者磁盘中,每次需要对这个RDD进行算子操作时,可以直接从内存或磁盘中取出该RDD的持久化数据,而不需要从头计算才能得到这个RDD。如果内存不够,就将未缓存的分区存储在磁盘上,并在需要这些分区时从磁盘读取。

2023-06-14 14:11:01 1167

原创 3.3 掌握RDD分区

在分布式程序中,网络通信的开销是很大的,因此控制数据分布以获得最少的网络传输可以极大的提升程序的整体性能,Spark程序可以通过控制RDD分区方式来减少通信开销。textFile()方法通常用于读取HDFS中的文本文件,使用该方法创建RDD时,Spark会对文件进行分片操作(类似于MapReduce的分片,实际上调用的是MapReduce的分片接口),分片操作完成后,每个分区将存储一个分片的数据,因此分区的数量等于分片的数量。RDD各个分区中的数据可以并行计算,因此分区的数量决定了并行计算的粒度。

2023-06-14 14:09:50 1097

原创 Spark大数据处理学习笔记(3.2.2)掌握RDD算子

takeOrdered(n, [ordering])算子返回RDD中的前n个元素,并以自然顺序或自定义的比较器顺序进行排序。List集合中存储的是键值对形式的元组,使用该List集合创建一个RDD,然后对其进行countByKey的计算。take(n)算子返回RDD的前n个元素(同时尝试访问最少的partitions),返回结果是无序的,测试使用。countByKey()算子按键统计RDD键值出现的次数,返回由键值和次数构成的映射。计算12 + 22 + 32 + 42 + 5**2的值(先映射,后归约)

2023-06-14 14:08:55 1038

原创 Spark大数据处理学习笔记(3.2.1)掌握RDD算子

例如,rdd1的元素以(k,v)表示,rdd2的元素以(k, w)表示,进行左外连接时将以rdd1为基准,rdd2中的k与rdd1的k相同的元素将连接到一起,生成的结果形式为(k, (v, Some(w))。例如,rdd1的元素以(k, v)表示,rdd2的元素以(k, w)表示,执行rdd1.cogroup(rdd2)生成的结果形式为(k, (Iterable, Iterable))。val scores = List((“张钦林”, 78), (“张钦林”, 90), (“张钦林”, 76),

2023-06-14 14:07:39 1256

原创 Spark大数据处理学习笔记(2.4)IDEA开发词频统计项目

从Scala官网下载Scala2.12.15 - https://www.scala-lang.org/download/2.12.15.html。val wc = sc.textFile(inputPath) // 读取文件,得到RDD。创建/home/test.txt文件,上传到HDFS指定目录。, 1)) // 针对每个单词得到二元组(word, 1).split(" ")) // 扁平化映射,得到单词数组。.split(" ")) // 扁平化映射,得到单词数组。

2023-06-14 14:01:25 1400

原创 Spark大数据处理学习笔记(3.1)掌握RDD的创建

注意:访问本地文件,必须加file://前缀,否则系统会认为是访问hdfs://master:9000/home/test.txt,从而会报错。执行命令:val rdd = sc.textFile(“hdfs://master:9000/park/test.txt”)执行命令:val rdd = sc.textFile(“hdfs://master:9000/park/test.txt”)执行命令:val rdd = sc.textFile(“file:///home/test.txt”)

2023-06-14 13:59:50 1474

原创 Spark大数据处理学习笔记(2.2)搭建Spark Standalone集群

读取HDFS上的文件,创建RDD,执行命令:val rdd = sc.textFile(“hdfs://master:9000/park/test.txt”)(说明:val rdd = sc.textFile(“/park/test.txt”)读取的依然是HDFS上的文件,绝对不是本地文件)进入spark配置目录后,执行命令:cp spark-env.sh.template spark-env.sh与vim spark-env.sh。

2023-06-14 13:41:32 1852

原创 学习Spark和Spring Boot

在学习的过程中,我遇到了一些挑战,比如配置文件的理解和注解的正确使用,但通过查阅官方文档和阅读相关书籍,我逐渐解决了这些问题。在实践过程中,我遇到了一些挑战,比如调试复杂的数据流转和处理逻辑,但通过查阅文档和与同学的讨论,我成功地克服了这些困难。我还意识到在学习过程中遇到的困难和挑战是正常的,通过不断的努力和学习,我能够克服这些困难并取得进步。在未来,我计划继续深入学习Spark和Spring Boot,扩展我的技术栈,提高自己的技能水平。在此次总结中,我将回顾我所学到的内容、遇到的挑战和取得的进展。

2023-06-14 13:32:21 372

原创 Spring MVC与Spark课程的好处

Spring MVC作为Java Web开发领域的重要框架,其学习可以提高自己的Java Web开发技能,了解MVC设计模式,掌握MVC框架的开发原理和实现,进而能够更加熟练地应用Java相关技术进行Web程序开发。

2023-06-12 19:06:41 225

原创 Java企业级信息系统02—利用组件注解符精简spring配置文件

1.掌握采用组件注解符精简Spring配置文件。2.理解面向接口优化程序结构的思想。

2023-05-06 09:24:21 303

原创 Java企业级信息系统开发01—采用spring配置文件管理bean

【代码】java企业级信息系统开发01—采用spring配置文件管理bean。

2023-05-06 09:22:39 571

原创 写博客的好处及学期总结

写博客的好处及学期总结

2022-12-22 13:17:21 561

原创 SSH免密登录功能配置

SSH免密登录功能配置

2022-12-17 20:25:17 5040

原创 大数据MapReduce学习案例:TopN

大数据MapReduce学习案例:TopN

2022-12-17 20:14:48 1236

原创 大数据MapReduce学习案例:数据去重

大数据MapReduce学习案例:数据去重

2022-12-17 20:14:41 1407 1

原创 使用IDEA工具通过Java API 访问HDFS

使用IDEA工具通过Java API 访问HDFS

2022-12-17 18:51:18 1335 1

原创 Hadoop集群测试

Hadoop集群测试

2022-12-12 06:00:00 490

原创 Hadoop集群配置

Hadoop集群配置

2022-12-11 19:17:16 2012

原创 Hadoop部署模式

Hadoop部署模式

2022-12-09 11:04:26 983

原创 Hadoop安装准备

Hadoop安装准备

2022-12-09 09:18:48 900

原创 Java-学生管理系统

学生管理系统

2022-06-11 14:45:31 120

原创 Java-学期总结

一开始学习的时候,还是有些困难,毕竟学习一门新的语言,随着学习内容的深入,我发现也不是那么简单也不是那么难,每门计算机语言都是相通的,我对python也有学习经历,发现各大编程语言有着许多的共同之处。Java的输入输出比较复杂,有些需要调用类,这让我觉得有点复杂。不是太简单。但是也肯定有它的用处。Java还有着三大特性,五大原则。所谓三大特性:封装,多态,继承。三大特征(继承,封装,多态)集合种类与使用场合输入/输出流五大原则:单一功能原则 : 每个类型功能要求单一,只负责一件事情。开放封闭原则:一个软件实

2022-06-09 16:52:27 145

原创 Java-GUI用户登录

GUI用户管理

2022-06-09 16:14:53 136

原创 Java-类

司机类

2022-06-09 14:56:57 92

原创 Java-词频统计

词评统计

2022-06-02 16:47:34 159

原创 Java练习-学生喂养三种宠物:猫、狗和鸟

动物类(Animal):属性(name、age)、方法(speak、move、eat)猫类(Cat)继承动物类,添加新方法(play)狗类(Dog)继承动物类,添加新方法(play)鸟类(Bird)继承动物类,添加新方法(play)2、继承动物类,创建猫类3、继承动物类,创建狗类4、继承动物类,创建鸟类5、创建学生类6、创建测试学生类运行程序,查看结果

2022-06-02 15:31:59 359

原创 Java练习-笔记本电脑类

2、创建USB接口3、创建Computer抽象类4、创建笔记本电脑类 - Laptop5、创建笔记本电脑测试类运行程序,查看结果

2022-06-02 15:22:03 179

原创 Java学习篇07

测试输入日期是否合法测试输入日期是否合法判断是否是回文日期判断是否是ABABBABA型回文日期完整代码测试输入日期是否合法运行程序,查看结果判断是否是回文日期/** * 判断是否是回文日期 *

2022-05-21 15:40:56 81

原创 Java学习篇06

清洗网址中的垃圾字符简介代码部分1、固定垃圾字符2、客服指定垃圾字符简介在实际开发中经常会使用字符串,由许多单个字符连接而成。字符串可包含任意字符,但这些字符必须包含在一对英文双引号之内,Java中定义了String和StringBuffer两个类来封装字符串,并提供了一系列操作字符串的方法。以字符串String常用操作方法为例说明。以任务来驱动,以问题为中心,调动学生参与解决问题的积极性,在引导学生解决问题完成任务的过程中,选用适当的String类的操作方法,让学生不仅知道如何使用这些方法,而且明白

2022-05-21 15:23:05 288

原创 Java学习篇05

打印杨辉三角简介部分代码部分结果部分简介部分Java如何打印一个这样的三角形杨辉三角形性质:每行数字左右对称,由1开始逐渐变大,然后变小,回到1。第n行的数字个数为n个。第n行数字和为2^(n-1)。每个数字等于上一行的左右两个数字之和。可用此性质写出整个杨辉三角形。第n行的第1个数为1,第二个数为1×(n-1),第三个数为1×(n-1)×(n-2)/2,第四个数为1×(n-1)×(n-2)/2×(n-3)/3…依此类推。算法原理:使用一个二维数组存储杨辉三角形的数据,行和列的大小为所

2022-05-21 15:01:06 184

原创 java学习04

二维数组最值及位置Java二维数组的介绍及使用代码部分结果Java二维数组的介绍及使用1.如果把一维数组看成是线性图形,那么二维数组就是一个平面图形。2.二维数组的声明和一维数组类似,内存分配是使用new关键字。数组声明:1.int [] array;2.int array [];接下来看代码部分;代码部分public class Exercise01 { public static void main(String[] args) { // 声明部分

2022-05-21 14:49:12 64

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除