自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(29)
  • 收藏
  • 关注

原创 Maxwell1.29.0源码-1

当我们执行了 maxwell --host bigdata1时maxwell会先进入 Maxwell.java 中的 main 方法中在 mian 方法里,优先将配置信息 --host 赋予MaxwellConfig()并创建其对象,可见MaxwellConfig应该是初始化配置信息的类进入MaxwellConfig中,当存在配置信息参数时,MaxwellConfig将会调用重载方法MaxwellConfig,否则会调用没有形参的MaxwellConfig同时,将接收到的参数传递给 parse 方法。

2024-03-31 15:23:27 562

原创 解决Ubuntu中,搜狗输入法出现在左下角

在搜狗输入法中打开idea,输入中文时发现输入法出现在左下角,且备选词被遮挡。发现备选框出现在左上角,拖动到合适的位置即可。完成,但是备选框将固定在这个位置。移动后下一次输入又会回到左下角。取消勾选 "候选窗口跟随光标"

2023-12-07 09:23:53 414 1

原创 Hive报错Error during job, obtaining debugging information...

将执行过程中的文件上限指定的大一些,默认情况下是4。当Hive发生类似的报错时,可以使用。

2023-11-30 16:13:09 419

原创 185. 部门工资前三高的所有员工

公司的主管们感兴趣的是公司每个部门中谁赚的钱最多。一个部门的 高收入者 是指一个员工的工资在该部门的 不同 工资中 排名前三。departmentId 是 Department 表中 ID 的外键(reference 列)。该表的每一行都表示员工的ID、姓名和工资。它还包含了他们部门的ID。编写解决方案,找出每个部门中 收入高的员工。id 是该表的主键列(具有唯一值的列)。id 是该表的主键列(具有唯一值的列)。该表的每一行表示部门ID和部门名。表: Department。以 任意顺序 返回结果表。

2023-11-25 16:30:40 92

原创 spark实现hive练习题(中高级)

spark启动参数配置–master 指定spark任务运行模式,有local、ip+端口、yarn–conf 属性–conf spark.driver.core=4 指定分配的核心–conf spakr.driver.memory=2g 指定分配的内存大小–conf spakr.executor.memory=2g 每个执行器使用的内存–conf spark.serializer=org.apache.spark.serializer.KryoSerializer 设置序列化方式。

2023-11-22 21:15:00 96

原创 org.springframework.http.converter.HttpMessageNotReadableException: Required request body is missing

这个异常通常表示在请求中缺少了必要的请求体。可以检查一下前端url中请求是不是少了。

2023-11-18 14:50:58 271

原创 springBean注入问题

这表示spring容器找不到bean对象,通常是使用了springboot的自动装配(Autowired)后,没有为相应的service添加注解@Service。这里是在Controller层使用Service层时没有为Service层添加@Service注解,在Service类上添加即可。创建springboot项目时,启动后发现以下报错。

2023-11-18 10:32:07 35

原创 Yarn核心工作机制 一

YARN,Yet Another Resource Negotiator,是Hadoop-2.x 版本中的一个新特性,它为了上层应用提供统一的资源管理和调度,它的引入为集群在利用率、资源统一管理和数据共享等方面带来了好处它的出现是为了解决 MapReduce 编程框架的不足,提高资源利用率,资源包括内存、磁盘、网络、IO等,hadoop-2.x版本中重新设计了 YARN集群,具有更好的扩展性、可用性、可靠性、向后兼容性 以及 支持除了 MapRduce 以外的更多分布式计算程序YARN的核心特性。

2023-11-13 19:59:00 133

原创 分布式理论一

所有事务必须由一个。

2023-11-13 19:49:47 60

原创 SparkSqlFunction库算子-待续

org.apache.spark.sql.functions1.算子算子在使用方法上被分为两种:​ 1.列操作算子,即需要通过调用方法的形式使用,如.withColumn()​ 2.聚合算子:即直接使用即可,如max()1.col:字段名使用方法:col("id")+---+| id|+---+| 1|| 1|| 2|| 3|+---+源码实现:def col(colName:String):Column = Column(colName)可见,co

2023-11-13 19:42:01 143

原创 Scala入门到入坟

1.对3进行开方后,再对其进行平方,最后的结果与原值应该差多少?知识点:精度损失var i = 3结果:2.9999999999999996可以知道,相较于最开始的3,精度损失了0.000000000042.Scala语言的sdk是什么?3.Scala程序的编写、编译、运行步骤,能否一步执行​答:先编写,再编译,最后运行;可以一步执行4.Scala程序编写规则5.如何检测一个变量是val 还是var?为变量进行赋值,如果能被修改则是var,否则为val。

2023-11-13 19:32:01 361

原创 SpringIoC和事务的实现

什么是IoC?IoC (Inversion of Control) 被称之为或,是一种技术思想(理论),而不是一种技术实现,只不过spring 在技术层面上完美地实现了而已描述的事情:Java 开发领域传统的开发方式:比如类A依赖于类B,往往会在类A中 new 一个B的对象而在IoC思想中,我们,我们需要使用哪个对象,就问IoC容器要即可此时我们丧失了一个权力:创建和管理对象的权力,但是我们得到了一个福利:不用考虑对象的创建和管理等一系列的事情而这个IoC容器,就是Spring框架实现的。

2023-11-13 19:28:36 332

原创 springboot-vue-elementui文件上传问题

拖拽文件到此处上传

2023-08-07 15:14:29 183 1

原创 Qiqi影视开发时跨域问题

成功,不再报跨域错误,直接报了404,由于postman能够正常访问,所以可以肯定接口controller没有问题。2.在对应的controller层添加跨域注解(springboot限定)1.在vue.config.js中修改。尝试使用各种方法,包括不限于如下。3.使用mvc进行跨域。

2023-08-07 14:10:18 58 1

原创 arigaQiqi影视——后端篇一

controller:controller和dto、request等用于与前端交互的类。controller:controller和dto、request等用于与前端交互的类。简介:Qiqi-provider主要用于查询和操作电影详细情况。简介:Qiqi-common主要用于查询电影。子模块:Qiqi-common、Qiqi-provider。至此,已经完成了基础的查询功能,并完成了nacos的注册与发现功能。mapper:mapper类。mapper:mapper类。entity:实体类。

2023-08-06 14:27:12 45

原创 使用负载均衡后出现 java.net.UnKonwHostException: service-store

2020.0.1之后的的springcloud注解@LoadBalanced 不再支持使用Ribbon了。

2023-07-23 12:05:31 66

原创 failed to req API:/nacos/v1/ns/instance after all servers([localhost:8848]) tried: ErrCode:500, ErrM

解决方法:重启nacos。

2023-07-23 11:58:13 1916

原创 spark core的foreach输出无序

2.查看setMaster("local[1]")处有没有指定1个以上的核心分区。1.查看是否设置分区。

2023-07-07 21:57:37 60 1

原创 Exception in thread “main“ java.lang.ClassNotFoundException: org.apache.spark.sql.adapter.Spark3_1Ad

将对应版本的jar包放入spark/jars下即可。使用spark写hudi时报错。

2023-06-24 18:44:46 443 3

原创 Source must not be null

建议在AdminService层,在对应方法下,添加try{}catch(Exception e){}。因为在数据库查询出来之后,并没有考虑从数据库中查出来会有NULL的这种情况。写前后端分离时出现 Source must not be null 错误。因为写代码的时候未考虑异常情况,新手常犯错误。

2023-06-05 17:58:48 5174

原创 前后端分离第三天

BaseRequest和UserPageRequest、result,同时还进行了一些更改。该类提供一个方法,让其他调用该方法的类可以获取到相应情况、data数据和描述,其中主要内容为data。今天学习了增删改查中的查,继昨天的总查询后,新增加了模糊查询功能以及分页功能。该类定义了分页的基础,提供pageNum和pageSize准备给前端获取。新添加一个地址,同时以前所有的userlist均改为user。该类提供模糊查询的前要条件,等待前端获取。总体很简单,没什么好说的。

2023-06-04 11:14:25 46 1

原创 前后端分离第二天

该类使用自动装配将Mapper拿到的数据装配到IUserService中,并定义了一个方法用来返回UserService传过来的数据。这个接口主要实现了查询数据库,并将结果封装成User,并装在List列表里,方便后续读取。该方法实现了IUserSerivce接口,并实现了一个UserMapper方法的对象。该接口定义一个泛型为User的List列表,并对外暴露,等待方法实现。这一天主要学习在数据库中增加数据时,Vue界面也增加数据。数据库中增加数据时,前端也增加数据,本质上就是查询数据库。

2023-06-03 20:16:03 69

原创 前后端分离项目:第一天

第一天主要做了前端页面,练习了Vue的同时学习了模块化操作,即element-ui。首先编辑了基础的前端页面,使用Vue编辑,样式模板采用element-ui。其次就是要编辑src/viewsHomeView.vue。也就是将基础的布局写完了,写在App.vue中。这里定义了基础的搜索框、信息栏和页面翻页效果。

2023-06-03 17:16:22 44

原创 Unable to instantiate SparkSession with Hive support because Hive classes are not found.

添加.config("spark.sql.warehouse.dir","/dataset/hive")结果:成功,因为添加后是使用sparksql。添加依赖:spark-hive_2.12。

2023-05-05 16:37:07 517

原创 关于hadoop安全模式解决方法

空间不足,删除不需要的文件或扩容磁盘。

2023-05-04 13:18:23 499

原创 schema是什么?

schema也用作于dataframe,使得dataframe的数据存储形式以同样的形式存在。schema是一种约束,它使得数据能够按照 字符-类型 的方式存储,就像mysql一样。

2023-04-30 09:47:57 189 1

原创 关于 找不到名称“JDO”的API定义。也许您在CLASSPATH中没有必要的datanucleus api XXX jar?的解决方法

查看sparksql代码,发现设置了setmaster,删除后正常运行。hive找不到datanucleus相关jar包。

2023-04-30 09:33:39 303 1

原创 关于ai是帮手还是对手

近日育碧开发了人工智能工具 Ghostwriter,可以一键生成游戏NPC对话。不少游戏开发者担心AI写手工具的出现会让自己“饭碗”不保,但Swanson表示这个工具只是为了提供第一稿的 barks来减少对话生成工作的繁琐度。对此你怎么看,一起来聊聊你的看法吧!我认为会,最近的学习大量地使用了ai工具,使我的学习进度快了很多,有不理解的地方都有ai可以进行解释。最近在学大数据,遇到大量报错,都是使用chat-gpt3.5解决的。应该结合ai进行生活和工作,同时设定统一协议以防不法人员恶意使用。

2023-04-28 13:59:47 99 1

原创 关于执行sparksql时出现无法连接数据元错误的解决方法

执行时报错: MetaException(message:Could not connect to meta store using any of the URIs provided. Most recent failure: org.apache.thrift.transport.TTransportException: java.net.ConnectException: Connection refused (Connection refused)解决方法:启动hive metastore即可。

2023-04-28 13:55:29 1112 1

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除