- 博客(29)
- 收藏
- 关注
RSS订阅原创 Maxwell1.29.0源码-1
当我们执行了 maxwell --host bigdata1时maxwell会先进入 Maxwell.java 中的 main 方法中在 mian 方法里，优先将配置信息 --host 赋予MaxwellConfig()并创建其对象，可见MaxwellConfig应该是初始化配置信息的类进入MaxwellConfig中，当存在配置信息参数时，MaxwellConfig将会调用重载方法MaxwellConfig，否则会调用没有形参的MaxwellConfig同时，将接收到的参数传递给 parse 方法。
2024-03-31 15:23:27
570
原创 解决Ubuntu中，搜狗输入法出现在左下角
在搜狗输入法中打开idea，输入中文时发现输入法出现在左下角，且备选词被遮挡。发现备选框出现在左上角，拖动到合适的位置即可。完成，但是备选框将固定在这个位置。移动后下一次输入又会回到左下角。取消勾选 "候选窗口跟随光标"
2023-12-07 09:23:53
453
1
原创 Hive报错Error during job, obtaining debugging information...
将执行过程中的文件上限指定的大一些，默认情况下是4。当Hive发生类似的报错时，可以使用。
2023-11-30 16:13:09
429
原创 185. 部门工资前三高的所有员工
公司的主管们感兴趣的是公司每个部门中谁赚的钱最多。一个部门的 高收入者 是指一个员工的工资在该部门的 不同 工资中 排名前三。departmentId 是 Department 表中 ID 的外键（reference 列）。该表的每一行都表示员工的ID、姓名和工资。它还包含了他们部门的ID。编写解决方案，找出每个部门中 收入高的员工。id 是该表的主键列(具有唯一值的列)。id 是该表的主键列(具有唯一值的列)。该表的每一行表示部门ID和部门名。表: Department。以 任意顺序 返回结果表。
2023-11-25 16:30:40
96
原创 spark实现hive练习题（中高级）
spark启动参数配置–master 指定spark任务运行模式，有local、ip+端口、yarn–conf 属性–conf spark.driver.core=4 指定分配的核心–conf spakr.driver.memory=2g 指定分配的内存大小–conf spakr.executor.memory=2g 每个执行器使用的内存–conf spark.serializer=org.apache.spark.serializer.KryoSerializer 设置序列化方式。
2023-11-22 21:15:00
99
原创 org.springframework.http.converter.HttpMessageNotReadableException: Required request body is missing
这个异常通常表示在请求中缺少了必要的请求体。可以检查一下前端url中请求是不是少了。
2023-11-18 14:50:58
281
原创 springBean注入问题
这表示spring容器找不到bean对象，通常是使用了springboot的自动装配（Autowired）后，没有为相应的service添加注解@Service。这里是在Controller层使用Service层时没有为Service层添加@Service注解，在Service类上添加即可。创建springboot项目时，启动后发现以下报错。
2023-11-18 10:32:07
36
原创 Yarn核心工作机制 一
YARN，Yet Another Resource Negotiator，是Hadoop-2.x 版本中的一个新特性，它为了上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了好处它的出现是为了解决 MapReduce 编程框架的不足，提高资源利用率，资源包括内存、磁盘、网络、IO等，hadoop-2.x版本中重新设计了 YARN集群，具有更好的扩展性、可用性、可靠性、向后兼容性 以及 支持除了 MapRduce 以外的更多分布式计算程序YARN的核心特性。
2023-11-13 19:59:00
137
原创 SparkSqlFunction库算子-待续
org.apache.spark.sql.functions1.算子算子在使用方法上被分为两种： 1.列操作算子，即需要通过调用方法的形式使用，如.withColumn() 2.聚合算子：即直接使用即可，如max()1.col：字段名使用方法：col("id")+---+| id|+---+| 1|| 1|| 2|| 3|+---+源码实现：def col(colName:String):Column = Column(colName)可见，co
2023-11-13 19:42:01
145
原创 Scala入门到入坟
1.对3进行开方后，再对其进行平方，最后的结果与原值应该差多少？知识点：精度损失var i = 3结果：2.9999999999999996可以知道，相较于最开始的3，精度损失了0.000000000042.Scala语言的sdk是什么？3.Scala程序的编写、编译、运行步骤，能否一步执行答：先编写，再编译，最后运行；可以一步执行4.Scala程序编写规则5.如何检测一个变量是val 还是var？为变量进行赋值，如果能被修改则是var，否则为val。
2023-11-13 19:32:01
365
原创 SpringIoC和事务的实现
什么是IoC？IoC (Inversion of Control) 被称之为或，是一种技术思想（理论），而不是一种技术实现，只不过spring 在技术层面上完美地实现了而已描述的事情：Java 开发领域传统的开发方式：比如类A依赖于类B，往往会在类A中 new 一个B的对象而在IoC思想中，我们，我们需要使用哪个对象，就问IoC容器要即可此时我们丧失了一个权力：创建和管理对象的权力，但是我们得到了一个福利：不用考虑对象的创建和管理等一系列的事情而这个IoC容器，就是Spring框架实现的。
2023-11-13 19:28:36
333
原创 Qiqi影视开发时跨域问题
成功，不再报跨域错误，直接报了404，由于postman能够正常访问，所以可以肯定接口controller没有问题。2.在对应的controller层添加跨域注解（springboot限定）1.在vue.config.js中修改。尝试使用各种方法，包括不限于如下。3.使用mvc进行跨域。
2023-08-07 14:10:18
60
1
原创 arigaQiqi影视——后端篇一
controller：controller和dto、request等用于与前端交互的类。controller：controller和dto、request等用于与前端交互的类。简介：Qiqi-provider主要用于查询和操作电影详细情况。简介：Qiqi-common主要用于查询电影。子模块：Qiqi-common、Qiqi-provider。至此，已经完成了基础的查询功能，并完成了nacos的注册与发现功能。mapper：mapper类。mapper：mapper类。entity：实体类。
2023-08-06 14:27:12
45
原创 使用负载均衡后出现 java.net.UnKonwHostException: service-store
2020.0.1之后的的springcloud注解@LoadBalanced 不再支持使用Ribbon了。
2023-07-23 12:05:31
69
原创 failed to req API:/nacos/v1/ns/instance after all servers([localhost:8848]) tried: ErrCode:500, ErrM
解决方法：重启nacos。
2023-07-23 11:58:13
1947
原创 spark core的foreach输出无序
2.查看setMaster("local[1]")处有没有指定1个以上的核心分区。1.查看是否设置分区。
2023-07-07 21:57:37
62
1
原创 Exception in thread “main“ java.lang.ClassNotFoundException: org.apache.spark.sql.adapter.Spark3_1Ad
将对应版本的jar包放入spark/jars下即可。使用spark写hudi时报错。
2023-06-24 18:44:46
443
3
原创 Source must not be null
建议在AdminService层，在对应方法下，添加try{}catch(Exception e){}。因为在数据库查询出来之后，并没有考虑从数据库中查出来会有NULL的这种情况。写前后端分离时出现 Source must not be null 错误。因为写代码的时候未考虑异常情况，新手常犯错误。
2023-06-05 17:58:48
5236
原创 前后端分离第三天
BaseRequest和UserPageRequest、result，同时还进行了一些更改。该类提供一个方法，让其他调用该方法的类可以获取到相应情况、data数据和描述，其中主要内容为data。今天学习了增删改查中的查，继昨天的总查询后，新增加了模糊查询功能以及分页功能。该类定义了分页的基础，提供pageNum和pageSize准备给前端获取。新添加一个地址，同时以前所有的userlist均改为user。该类提供模糊查询的前要条件，等待前端获取。总体很简单，没什么好说的。
2023-06-04 11:14:25
46
1
原创 前后端分离第二天
该类使用自动装配将Mapper拿到的数据装配到IUserService中，并定义了一个方法用来返回UserService传过来的数据。这个接口主要实现了查询数据库，并将结果封装成User，并装在List列表里，方便后续读取。该方法实现了IUserSerivce接口，并实现了一个UserMapper方法的对象。该接口定义一个泛型为User的List列表，并对外暴露，等待方法实现。这一天主要学习在数据库中增加数据时，Vue界面也增加数据。数据库中增加数据时，前端也增加数据，本质上就是查询数据库。
2023-06-03 20:16:03
70
原创 前后端分离项目：第一天
第一天主要做了前端页面，练习了Vue的同时学习了模块化操作，即element-ui。首先编辑了基础的前端页面，使用Vue编辑，样式模板采用element-ui。其次就是要编辑src/viewsHomeView.vue。也就是将基础的布局写完了，写在App.vue中。这里定义了基础的搜索框、信息栏和页面翻页效果。
2023-06-03 17:16:22
44
原创 Unable to instantiate SparkSession with Hive support because Hive classes are not found.
添加.config("spark.sql.warehouse.dir","/dataset/hive")结果：成功，因为添加后是使用sparksql。添加依赖：spark-hive_2.12。
2023-05-05 16:37:07
523
原创 schema是什么？
schema也用作于dataframe，使得dataframe的数据存储形式以同样的形式存在。schema是一种约束，它使得数据能够按照 字符-类型 的方式存储，就像mysql一样。
2023-04-30 09:47:57
191
1
原创 关于 找不到名称“JDO”的API定义。也许您在CLASSPATH中没有必要的datanucleus api XXX jar？的解决方法
查看sparksql代码，发现设置了setmaster，删除后正常运行。hive找不到datanucleus相关jar包。
2023-04-30 09:33:39
312
1
原创 关于ai是帮手还是对手
近日育碧开发了人工智能工具 Ghostwriter，可以一键生成游戏NPC对话。不少游戏开发者担心AI写手工具的出现会让自己“饭碗”不保，但Swanson表示这个工具只是为了提供第一稿的 barks来减少对话生成工作的繁琐度。对此你怎么看，一起来聊聊你的看法吧！我认为会，最近的学习大量地使用了ai工具，使我的学习进度快了很多，有不理解的地方都有ai可以进行解释。最近在学大数据，遇到大量报错，都是使用chat-gpt3.5解决的。应该结合ai进行生活和工作，同时设定统一协议以防不法人员恶意使用。
2023-04-28 13:59:47
99
1
原创 关于执行sparksql时出现无法连接数据元错误的解决方法
执行时报错： MetaException(message:Could not connect to meta store using any of the URIs provided. Most recent failure: org.apache.thrift.transport.TTransportException: java.net.ConnectException: Connection refused (Connection refused)解决方法：启动hive metastore即可。
2023-04-28 13:55:29
1142
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人