自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(25)
  • 收藏
  • 关注

原创 工作中的相关问题

工作总结

2024-05-21 09:30:11 347

原创 一、数据结构的三要素

数据的存储结构:顺序(物理位置相邻)、链式(物理位置不相邻)、索引(还需要建立索引表)、散列(根据关键字直接计算出该元素的存储地址又称为hash存储)、时间复杂度(找最高阶,常对幂指积),空间复杂度():在leedcode那部分来进行具体训练。

2024-05-06 09:48:50 279 1

原创 leedcode算法训练

首先实现熟悉时间复杂度、空间复杂度等常规判断。

2024-04-28 17:38:22 111

原创 HTTP1.0和HTTP2.0

HTTP 的下层协议是 TCP,需要经历三次握手才能建立连接,而 HTTP 1.0 的时候一次请求和响应结束就会断开链接,这样下次请求又要重新三次握手来建立连接。为了减少这种建立 TCP 链接的消耗,HTTP 1.1 支持了 keep-alive,只要请求或响应头带上 Connection: keep-alive,就可以告诉对方先不要断开链接,我之后还要用这个链接发消息。当需要断开的时候,再指定 Connection: close 的 header。

2024-04-28 11:26:10 627 1

原创 *每日随记

目前模仿阿里进行数据仓部署。

2024-04-26 13:32:20 230 1

原创 Mybatis(9):自定义映射resultMap

int不赋值的情况下值为0,执行到数据库中id就为0,而Integer在不赋值的情况下为null,一般id为自增主键,数据更新到数据库中可以自动填充id。2、编译器可以给你验证@Override下面的方法名是否是你父类中所有的,如果没有则报错。例如,你如果没写@Override,而你下面的方法名又写错了,这时你的编译器是可以编译通过的,因为编译器以为这个方法是你的子类中自己增加的方法。举例:在重写父类的onCreate时,在方法前面加上@Override 系统可以帮你检查方法的正确性。

2024-04-25 14:48:17 354 1

原创 mybatis(8):实现批量删除

tips:一般报错从地下开始往上看。

2024-04-23 11:52:31 287

原创 Hadoop:技术生态体系

tips:MapReduce是基于硬盘的离线计算 SparkCore是基于CPU的内存计算

2024-03-19 11:24:16 320 1

原创 Hadoop

tips:大数据的海量、快速、高效、低价值eg:查找数据的基本原理。实现并行。

2024-03-19 11:08:32 321 1

原创 Hadoop:解决海量数据的存储和计算

map join: MAPJION会把小表全部加载到中,在map阶段直接拿另外一个表的数据和内存中表数据做匹配,由于在map端是进行了join操作,省去了reduce运行的时间,算是hive中的一种优化。

2024-03-18 21:24:22 499

原创 Hive(2)

6.物理优化器,eg:map join:将mapReduce 去除只剩map。1. 解析:将sql语句转换为抽象语法树。Driver:进行词法分析和语法分析。4.逻辑优化:eg:如实现谓词下推。7.执行器:将任务交给yarn处理。

2024-03-18 14:28:23 318

原创 Hive(1)

主要功能:支持海量数据的处理。

2024-03-18 13:28:37 285

原创 优化ETL:将之前使用的dataX->DolphinScheduler

无论是全量还是增量的方式,都会浪费多余的存储或通过计算去重,得到最新的全量数据。为解决这一问题,墙裂建议kafka的数据同步方案,源表变化一条,目标表消费一条,目标表数据始终是一份最新全量数据,且为实时同步的。使用kafka,消费mysql binlog日志到目标库,源表和目标库是1:1的镜像。有些表巨大,我们需要选择增量策略,新增delta数据需要和存量数据merge合并。,是英文Extract-Transform-Load的缩写,用来描述将。每天一个全量表,也可一个hive天分区一个全量。

2024-03-18 10:04:55 338

原创 mybatis(4):insert用户

小结tips:多个参数获取的办法:(1)用mybatis内置的map对象arg0、arg1的固定键值 (2)用map对象传值,可以用自己设置的键访问。tip:一般流程为调用service,然后调用对应的mapper接口,接着调用映射文件。插入一个mybatisplus:快速去除分页可以把limit设置为-1。当其有get和set方法时,就算没有成员变量也是可以访问的。

2024-03-08 11:59:28 309 1

原创 mysql相关知识

要点:1.数据库设计过程中的一对一关系表可以适当的进行一定的拆分:减少IO查询,效率增加。第三步:删除其三个位置(当版本低于8.0时,需要再注册表在进行删除下:regedit,)第二步:卸载mysql的安装部分 注:不要直接删除,通过控制面板进行删除。1.两个mysql文件夹 2.服务 3.系统高级设置。表的关系:除了基本的三种还有自我引用。建表原则:1.外键唯一2.外键为主键。第一步:停掉mysql的一切服务。***wins下卸载mysql。mysql文件会出现的位置。

2024-03-08 11:02:59 320 1

原创 mybatis(2)获取多个参数

传递mybatis框架具有特殊写法。基于单个传参模仿书写。

2024-03-07 10:27:24 351 1

原创 MyBatis获取参数的两种方法

工作概述:通过视图收集所需要的数据->把数据输入到服务器当中和->在服务器获取数据后传输到Service->再到DAO层处理数据(在DAO的实现类中把数据拼接在sql,最终执行sql语句)#{}和${}在mybatis执行底层代码的时候其中的具体内容是不知道的无论是username还是user还是abc。对比:原来写的是DAO,现在创建的是Mapper接口,且没有实现类。主题 :两种实现方式:#{}和${},两者的主要区别是。#{}直接相当于变为?因为${}其主要为字符串拼接。,而${}需要加'',

2024-03-07 09:56:14 331 1

原创 任务:将数据传输在Hive(基于hadoop的数据库管理工具),设置定时任务的各个步骤

平台已经做好基于模板对应的sheet的存储:其中在做好对应关系和字段之后在数据库表也实现了对应表的创建。tip:一般在ods存储实时表,然后在dwd里面存储对应的处理过的宽表(组合起来可能包括很多字段)表有多个字段,每个字段的名称和类型都被列出。... :定义表的存储格式和I/O格式。:定义表在HDFS(Hadoop分布式文件系统)上的物理存储位置。分区可以提高数据查询的效率,尤其是在处理大量数据时。)存储,这是一种列式存储格式,常用于Hadoop生态系统中。:定义表的分区方式。

2024-03-06 11:49:20 878 2

原创 Mapper引入映射文件

tips:在项目创建一层层目录时,不能用.,需要用/,例如:com/lzjytu/...需要mapper接口所在的包要和映射文件所在的包一致的原因:target中。快速构建mybatis(后续补充。下面对引入映射文件进行一定优化。其接口和映射文件在同一目录下。

2024-03-04 15:36:42 288 1

原创 mybatis-config.xml的细节剖析

environme:只有一个属性值id,其含有2个子标签(transactionManager 事务管理器,dataSource)注:环境变量设置多个,用一个default用于开发。注:配置了别名的resultType可以无视大小写。除了typeAliases 还有以包的方式计算别名。采用德鲁伊配置:参考文档(

2024-03-04 14:49:16 285 1

原创 从引入log4j继续

resultMap:字段名和属性名不一致时,采用自定义(select里面需要加入,还有是返回一个list需要循环展示)

2024-03-04 12:02:07 511 1

原创 标注我认为需要注意的小点

turncat需要注意的小点

2024-03-03 01:41:07 357

原创 基本的ssm开发练习小知识点总结

JDBC:表示当前环境中,执行SQL时,使用的是JDBC中原生的事务管理方式,事。不行之前的配置:DataSource那种,在config里面进行配置。id:表示连接数据库的环境的唯一标识,不能重复。--设置连接数据库的连接地址-->--设置连接数据库的用户名-->2.创建mybatis的mapper接口:相当于以前的DAO。JNDI:表示使用上下文中的数据源。--设置连接数据库的驱动-->--设置连接数据库的密码-->务的提交或回滚需要手动处理。type:设置数据源的类型。

2024-03-01 12:55:56 346 1

原创 好好好!不愧是json

lambda转json时候会变成小写,因为json格式要求,导致前后端传值不对应,从而判断一直出问题,服了服了。

2024-01-26 13:38:43 313 1

原创 jvm内存设置小故事

一个对象的一生:我是一个普通的Java对象,我出生在Eden区,在Eden区我还看到和我长的很像的小兄弟,我们在Eden区中玩了挺长时间。有一天Eden区中的人实在是太多了,我就被迫去了Survivor区的“From”区,自从去了Survivor区,我就开始漂了,有时候在Survivor的“From”区,有时候在Survivor的“To”区,居无定所。直到我18岁的时候,爸爸说我成人了,该去社会上闯闯了。于是我就去了年老代那边,年老代里,人很多,并且年龄都挺大的,我在这里也认识了很多人。

2023-08-18 12:38:32 14 1

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除