- 博客(50)
- 收藏
- 关注
RSS订阅原创 OCR本地搜题（无需网络）
截图或复制题目，会自动显示答案。3、找到ScreenshotsSearch下的沟头。6在点击下方用Excel打开题库（选择好题库文件）5、点击 题库后，先清空题库。7、最后点击导入Excel。1、先下载好所需要的软件。主：使用时请看清题目。安装步骤：全部默认。
2023-06-20 17:41:28
820
1
原创 java.lang.ArrayIndexOutOfBoundsException: 1 字符串分割数组越界，报错为1
今天学习redis数据库过程中，在实现读取txt文件，分割每一行数据，存储到hashmap集合中，再写入到redis数据库，但是就是报数组越界，我确定数据没有越界。显示数组越界，跟了一个1，百度了没找到类似问题和解决方案，只能自己慢慢想了。又仔细看了看发现问题，最后两行多敲了回车，将回车删除问题就解决啦。然后输出分割的字符和字符长度，发现问题，最后一行长度一直为1.split()分割字符串，出现数据越界异常，报错为1。希望有相似问题的小伙伴能看到吧。反复检查，代码也没有问题。
2023-06-16 17:27:03
590
原创 Spark大数据处理讲课笔记4.8 Spark SQL典型案例
有多科成绩表，比如python.txt、spark.txt、django.txt，计算每个学生三科总分与平均分。设置项目信息（项目名、保存位置、组编号、项目编号）设置项目信息（项目名、保存位置、组编号、项目编号）Python成绩表 -单击【Finish】按钮。单击【Finish】按钮。
2023-06-16 17:25:15
1725
原创 大数据实时处理学期总结（Spark、Scala）
Spark和Scala是两个紧密相关的技术，它们一起构成了大数据处理和机器学习领域的重要工具。在本学期的学习中，我深入了解了Spark和Scala的基础知识和应用场景，并掌握了如何使用它们来解决实际问题。在这篇总结中，我将分享我的学习体验和心得，以及遇到的问题和解决方案。首先，我想谈谈Scala语言。Scala是一种面向对象的编程语言，它具有静态类型、函数式编程和面向对象编程的特性。Scala的语法简洁明了，代码可读性高，使得编写和维护代码变得更加容易。
2023-06-15 20:28:05
410
原创 Spark大数据处理讲课笔记4.2 Spark SQL数据源 - 基本操作
使用format()方法可以手动指定数据源。数据源需要使用完全限定名（例如），但对于Spark SQL的内置数据源，也可以使用它们的缩写名（JSON、Parquet、JDBC、ORC、Libsvm、CSV、Text）。通过手动指定数据源，可以将DataFrame数据集保存为不同的文件格式或者在不同的文件格式之间转换。在指定数据源的同时，可以使用option()方法向指定的数据源传递所需参数。例如，向JDBC数据源传递账号、密码等参数。
2023-06-15 20:05:42
1784
1
原创 Spark大数据处理讲课笔记4.1 Spark SQL概述、数据帧与数据集
Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象结构叫做DataFrame的数据模型（即带有Schema信息的RDD），Spark SQL作为分布式SQL查询引擎，让用户可以通过SQL、DataFrames API和Datasets API三种方式实现对结构化数据的处理。DataFrame是Spark SQL提供的一个编程抽象，与RDD类似，也是一个分布式的数据集合，但与RDD不同，DataFrame的数据都被组织到有名字的列中，就像关系型数据库中的表一样。
2023-06-15 19:58:05
1325
原创 Spark大数据处理讲课笔记3.7 Spark任务调度
零、本节学习目标理解DAG概念 了解Stage划分 了解RDD在Spark中的运行流程一、有向无环图（一）DAG概念DAG（Directed Acyclic Graph）叫做有向无环图，Spark中的RDD通过一系列的转换算子操作和行动算子操作形成了一个DAG。DAG是一种非常重要的图论数据结构。如果一个有向图无法从任意顶点出发经过若干条边回到该点，则这个图就是有向无环图。“4→6→1→2”是一条路径，“4→6→5”也是一条路径，并且图中不存在从顶点经过若干条边后能回到该点。（二）实例讲
2023-06-15 19:47:35
833
原创 Spark报错~WARN TaskSchedulerImpl: Initial job has not accepted any resources； check your clu
内存不知道满不满可以去独立集群Web界面查看应用的运行情况，打开浏览器，访问master:8080,节点的内存满了，内存可以在spark的配置文件—>spark-env.sh中可以看到。意思是：初始作业未接受任何资源；请检查群集UI以确保工作进程已注册并且有足够的资源。查看各个节点内存和使用情况，可以看到我的三个节点的内存有使用所以是1的。
2023-05-25 10:04:56
469
原创 Spark大数据处理讲课笔记3.8 Spark RDD典型案例
（4）取分组后的日期集合最小值，计数为1。（2）利用映射算子生成二元组构成的RDD。（3）按键分组得到新的二元组构成的RDD。（2）倒排，互换RDD中元组的元素顺序。（5）按键计数，得到每日新增用户数。（3）倒排后的RDD按键分组。（1）读取成绩文件得到RDD。（2）创建分组排行榜单例对象。（1）读取文件，得到RDD。（6）让输出结果按日期升序。（3）运行程序，查看结果。（5）按指定格式输出结果。（3）运行程序，查看结果。（4）按值排序，取前三。（1）打开RDD项目。（1）打开RDD项目。
2023-05-11 11:15:19
566
原创 Spark大数据处理讲课笔记3.6 RDD容错机制
会单独启动一个任务将标记为检查点的RDD的数据写入文件系统，如果RDD的数据已经持久化到了内存，将直接从内存中读取数据，然后进行写入，提高数据写入效率，否则需要重复计算一遍RDD的数据。方法指定的文件系统目录中，并且该RDD的所有父RDD依赖关系将被移除，因为下一次对该RDD计算时将直接从文件系统中读取数据，而不需要根据依赖关系重新计算。在第一次行动计算时，被标记为检查点的RDD的数据将以文件的形式保存在。语句，关闭了Spark容器，缓存的数据就被清除了，当然也无法访问Spark的存储数据。
2023-05-11 10:30:23
386
原创 scala中match使用报错Scala.matchError:(of class java.lang.String)
总结：原来match方法使用的时候匹配不到值的时候就会报错，加上“其他”（case _ ）匹配项就不会再报错了！2.发现问题出在match使用中,如下写法就会报错。3.后来修改了写法，如下写就不会报错了。
2023-05-11 09:45:29
1256
1
原创 Spark大数据处理讲课笔记3.5 RDD持久化机制
若RDD3没有持久化保存，则每次对RDD3进行操作时都需要从textFile()开始计算，将文件数据转化为RDD1，再转化为RDD2，最终才得到RDD3。如果希望手动删除RDD，而不是等待该RDD被Spark自动从缓存中删除，那么可以使用RDD的。Spark的缓存是容错的：如果缓存的RDD的任何分区丢失，Spark就会按照该RDD原来的转换过程自动重新计算并缓存。上述操作说明，调用RDD的persist()方法只是将该RDD标记为持久化，当执行行动操作时才会对标记为持久化的RDD进行持久化操作。
2023-05-11 09:27:01
380
原创 Spark大数据处理讲课笔记3.3 掌握RDD分区
在有些情况下，使用Spark自带的分区器满足不了特定的需求。例如，某学生有以下3科三个月的月考成绩数据。科目成绩chinese98math88english96chinese89math96english67chinese88math78english89现需要将每一科成绩单独分配到一个分区中，然后将3科成绩输出到HDFS的指定目录（每个分区对应一个结果文件），此时就需要对数据进行自定义分区。
2023-05-11 08:59:06
624
原创 redis启动时闪退，
7.与redis-server.exe同文件夹下新建start.txt ,里面写入redis-server.exe redis.windows.conf ，保存后退出，4.如出现如图所示错误，打开redis.windows.conf，有一行 bind 127.0.0.1 ，前面不要有#5.保存后退出，再来redis-server.exe redis.windows.conf，如果还报错，按下图输入。3.写入redis-server.exe redis.windows.conf ，回车。
2023-05-10 15:45:32
504
原创 Spark大数据处理讲课笔记3.2 掌握RDD算子
函数本质就是一种特殊的映射。上面这个映射写成函数：f ( x ) = 2 x , x ∈ R f(x)=2x,x\in \Bbb Rf(x)=2x,x∈R。，不是一元函数，而是二元函数，系统立马就蒙逼了，不晓得该怎么取两个参数来进行乘法运算。但是有点美中不足，rdd2的元素变成了双精度实数，得转化成整数。因为RDD的元素为分布式的，数据可能分布在不同的节点上。Spark会将RDD中的每个元素传入该函数的参数中。都为转化算子，调用转化算子不会立即计算结果。为函数的参数名称，也可以使用其他字符，例如。
2023-05-04 09:24:54
360
原创 MySQL-8.0.32.0 安装配置 + 完全卸载
打开 任务管理器对话框，可以在 服务 列表找到 MySQL8.0 的服务，如果现在“正在运行”状态，可以右键单击服务，选择“停 ”选项停止MySQL8.0的服务。如果想要同时卸载MySQL8.0的安装向导程序，勾选 Yes，Uninstall MySQL Installer。1.选择相应的操作系统，点击Go to Download Page，跳转到下载界面。此文面向于学习mysql数据库的小白，仅进行了详细的基本配置。安装助手，这里使用的是推荐的Installer。打开下载的installer，进行安装。
2023-04-25 23:28:25
2574
原创 VM虚拟机启动时报：TimeOut. EFI Network...
原因：创建虚拟机时默认固件类型时UEFI，导致启动虚拟机时系统会进入EFI界面，VMware16版本虚拟机更换固件类型位置。创建虚拟机选择镜像文件之后启动虚拟机，出现EFI Network…Time Out，系统进入了Boot。解决方案：镜像文件是windows系统，选择。固件类型，系统才会正确引导安装系统。
2023-04-25 10:32:54
4756
原创 Maven(报错) 清理本地仓库
从本地存储库中清除的实际文件对应于与已清除 Artifact 的版本相关联的所有文件。的值将清除被清除 Artifact 的 Artifact ID 路径下的所有文件。的值将清除路径下的所有文件到要清除的 Artifact 的组 ID。下的所有文件将被清除(因此，所有 Artifact ID 的所有版本都将被删除)。默认情况下，所有从本地存储库中清除的 Artifact 都会重新解析；的值只会清除正在清除的 Artifact 的文件。下的所有文件将被清除(因此，所有版本都被删除)。下的所有文件将被移除。
2023-04-24 09:01:51
3116
原创 Echarts 漏斗图
实例：任务一：漏斗图或金字塔图漏斗图（funnel）是倒三角形的条形图，金字塔是正三角形的条形图，这两者适用于业务流程比较规范、周期较长、环节较多的流程分析。漏斗图也是常用的BI类图表之一，用户通过漏斗图或金字塔对各环节业务数据进行比较，不仅能够直观地发现和说明问题而且可以根据图分析销售各环节中哪些环节出了问题。为了更直观地查看电商网站数据，需要在Echarts中绘制基本漏斗图、基本金字塔、多漏斗图和多金字塔进行展示。漏斗图又称倒三角图，漏斗图将数据呈现为几个阶段，每个阶段的数据都是整体的一部分；
2023-04-22 22:23:46
2612
原创 Echarts 地图 带涟漪特效的散点图
var airData=[{name:'北京',value:39.92},{name:'天津',value:39.12},{name:'上海',value:31.22},{name:'重庆',value:66},{name:'河北',value:147},{name:'河南',value:113},{name:'云南',value:25},{name:'辽宁',value:60},{name:'黑龙江',value:114},{name:'湖南',value:56},
2023-04-21 11:20:55
3514
2
原创 Spark大数据处理讲课笔记2.4 IDEA开发词频统计项目
由于Spark项目要求Spark内核版本与Scala库版本（主版本.次版本）要保持一致，否则本地都无法运行项目。Spark3.2.0开始，要求Scala库版本就更新到了2.13，只有Spark3.1.3使用Scala库版本依然是2.12，因此Spark项目选择使用Spark3.1.3。由于没有将依赖包添加到生成的jar包，所以生成的jar包很小，只有5KB。如果将全部依赖包都打进jar包，那么生成的jar包就会有几十兆。（只设置输入路径参数，没有设置输出路径参数）修改名称，将输出目录里的依赖包全部移除。
2023-04-20 11:18:43
429
原创 Spark大数据处理讲课笔记3.1 掌握RDD的创建
将数据集（hello, world, scala, spark, love, spark, happy）存储在三个节点上，节点一存储（hello, world），节点二存储（scala, spark, love），节点三存储（spark, happy），这样对三个节点的数据可以。在编程时，可以把RDD看作是一个数据操作的基本单位，而不必关心数据的分布式特性，Spark会自动将RDD的数据分发到集群的各个节点。想法是活的，语法是死的，重要的是得先有想法，然后用语法去实现。，查看RDD中的内容，保存到常量。
2023-04-20 10:58:01
293
原创 Spark大数据处理讲课笔记2.2 搭建Spark开发环境
为应用程序运行在Worker节点上的一个进程，由Worker进程启动，负责执行具体的Task，并存储数据在内存或磁盘上。提交Spark作业后，观察Spark集群管理界面，其中“Running Applications”列表表示当前Spark集群正在计算的作业，执行几秒后，刷新界面，在Completed Applications表单下，可以看到当前应用执行完毕，返回控制台查看输出信息，出现了“命令，查看启动的进程。该参数根据不同的Spark集群模式，其取值也有所不同，常用取值如下表所示。
2023-04-06 09:05:51
309
原创 Spark大数据处理讲课笔记2.3 Spark运行架构与原理
零、本讲学习目标了解Spark集群运行架构 了解Spark运行基本流程一、基本概念（一）Executor（执行器）在集群工作节点上为某个应用启动的工作进程，该进程负责运行计算任务，并为应用程序存储数据。（二）Task（任务）运行main()方法并创建SparkContext的进程。（三）Job（作业）一个并行计算作业，由一组任务组成，并由Spark的行动算子（如：save、collect）触发启动。（四）Stage（阶段）每个Job可划分为更小的Task集合，每组任务被称为
2023-04-06 09:05:43
257
原创 端口被占用（Java，SpringBoot），如何避免出现端口占用
禁用占用此口号的进程 （持续更近）如下图： 1.打开cmd命令窗口 2.输入命令：netstat -ano，列出所有端口的情况。找到被占用的端口。例如 15022 3.输入命令：netstat -aon|findstr "15022" ，查看被占用端口对应的PID（最后一组数字，例如25704） 4.输入命令：tasklist|findstr "25704"，查看哪个进程或程序占用了此端
2023-04-04 02:15:40
468
原创 SpringBoot（登陆 注册）项目
注意：spring.thymeleaf.prefix=classpath:/templates/这里根据自己的情况选择。我们用的是Maven项目。
2023-04-04 01:51:16
2190
2
原创 Spark大数据处理讲课笔记2.1 初识Spark
Spark在2013年加入Apache孵化器项目，之后获得迅猛的发展，并于2014年正式成为Apache软件基金会的顶级项目。Spark生态系统已经发展成为一个可应用于大规模数据处理的统一分析引擎，它是基于内存计算的大数据并行计算框架，适用于各种各样的分布式平台的系统。在Spark生态圈中包含了Spark SQL、Spark Streaming、GraphX、MLlib等组件。
2023-04-01 09:18:58
153
原创 Spark大数据处理讲课笔记1.7 掌握Scala类、对象、抽象类与特质
对象是类的具体实例，类是抽象的，不占用内存，而对象是具体的，占用存储空间。面向对象三大特性之一：封装（encapsulation） - 封装数据和操作Scala中一个简单的类定义是使用关键字class，类名首字母必须大写。类中的方法用关键字def定义创建包，在包里创建User类，包含三个私有属性和一个公共方法private var name = "张三丰"private var gender = "男"
2023-03-30 11:03:33
540
3
原创 大数据处理学习笔记1.6 Scala数据结构
（1）定义数组时初始化数据自动推断数组类型手动指定数据类型（2）定义时指定数组长度，后赋值先定义，后赋值避免数组下标越界错误变长数组使用类进行定义定义一个变长Int类型数组arr利用+=运算符添加数组元素（注意是追加元素）遍历数组arr，跟遍历定长数组没有不同删除数组元素数组中有多个值为4的元素，则从前向后删除第一个匹配的元素，本次删除，第一个4被删除了，但是第二4还依然存在。定义一个元组student定义一个空的不可变集合。
2023-03-30 10:26:38
165
原创 ECharts 饼图
饼图主要是通过扇形的弧度表现不同类目的数据在总和中的占比，它的数据格式比柱状图更简单，只有一维的数值，不需要给类目。因为不在直角坐标系上，所以也不需要 xAxis，yAxis。echarts绘制嵌套式饼图，需要设置series.type为’pie’，并设置不同的series.radius和series.center来控制每个饼图的大小和位置。可以通过设置参数 roseType: 'angle' 显示。1、第一个简单的饼图。
2023-03-06 19:53:36
268
原创 Echarts课堂 柱状图
新的一天新的开始，大家在学习过程中有许多烦恼，但是我们乐于发现，乐于探索，勇敢面对终将不是问题，今天的学习你会了吗？交换xAxis和yAxis中的内容即可实现水平聚合柱状图。
2023-03-06 19:37:25
392
1
原创 大数据处理学习笔记1.5 掌握Scala内建控制结构
Scala中继承了Java的异常机制，提供了程序中产生意外情况时处理的机制，抛出异常的过程和Java中基本一致，通过throw，一旦抛出可以当场捕获处理或接着向上抛，捕获异常是通过来实现的。
2023-03-06 08:56:24
439
原创 ECharts课堂（大数据可视化）组件
标记线起始和结束的symbol介绍类型，默认循环选择类型有：'circle'、'rectangle'、'triangle'、'diamond'、'emptyCircle'、'emptyRectangle'、'emptyTriangle'、'emptyDiamond'为了更好地观察数据中的最高值、最低值和平均值等数据，需要在图表中配置和使用标记点与标记线。坐标轴类型，横轴默认为类目型'bottom'，纵轴默认为数值型'left'，可选为：'bottom'、'top'、'left'、'right'
2023-03-02 17:36:22
2150
原创 ECharts课堂（大数据可视化）基础
通俗地理解，数据可视化就是将原本枯燥烦琐的数据，用更加生动形象且常人容易看懂的图形化方法表达出来。数据间的关系大多可分为三类：数据间的比较、数据间的构成、以及数据的分布和联系。数据可视化将抽象的、复杂的、不易理解的数据转化为人眼可识别的图形、图像、符号、颜色、纹理等，这些转化后的数据通常具备较高的。模式：指数据中的规律，通过数据可视化分析数据规律，发现其中的周期性变化。数据可视化的目的，是对数据进行可视化处理，以更明确地、有效地传递信息。数据可视化是为了从数据中寻找三个方面的信息：模式、关系和异常。
2023-03-02 17:03:47
422
原创 大数据处理学习笔记1.4 掌握Scala运算符
由于Scala并没有真正的运算符，运算符其实是方法的一种形式，所以此处运算符的优先级，其实就是指方法的优先级。在Scala中方法的执行是有优先级的区别的，这也是为了解决传统运算符优先级问题。如果是复杂数据类型，比较的是对象的地址，如果不是想比较地址而是想比较真正的内容，则需要使用。，但是根据Scala特点，Scala中所有运算符其实就是方法，那么按照这种说法，表达式应该等同于。，前缀运算符如同中缀运算符一样，也是方法调用的另一种方式，不同的是，方法名要在符号前加上前缀。Scala中，如果是基本数据类型，
2023-02-23 09:41:44
143
2
原创 大数据处理学习笔记1.2 Scala变量与数据类型
定义变量需要初始化，否则会报错。注意：Java里可以先声明变量，然后再赋值定义变量时可以不指定数据类型，系统会根据初始化值推断变量的类型。注意：Java声明变量必须指定类型。
2023-02-23 09:08:29
97
java springboot项目（登录及注册功能）
2023-04-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人