- 博客(25)
- 收藏
- 关注
RSS订阅原创 一、数据结构的三要素
数据的存储结构：顺序（物理位置相邻）、链式（物理位置不相邻）、索引（还需要建立索引表）、散列（根据关键字直接计算出该元素的存储地址又称为hash存储）、时间复杂度（找最高阶，常对幂指积），空间复杂度（）:在leedcode那部分来进行具体训练。
2024-05-06 09:48:50
288
1
原创 HTTP1.0和HTTP2.0
HTTP 的下层协议是 TCP，需要经历三次握手才能建立连接，而 HTTP 1.0 的时候一次请求和响应结束就会断开链接，这样下次请求又要重新三次握手来建立连接。为了减少这种建立 TCP 链接的消耗，HTTP 1.1 支持了 keep-alive，只要请求或响应头带上 Connection: keep-alive，就可以告诉对方先不要断开链接，我之后还要用这个链接发消息。当需要断开的时候，再指定 Connection: close 的 header。
2024-04-28 11:26:10
660
1
原创 Mybatis(9):自定义映射resultMap
int不赋值的情况下值为0，执行到数据库中id就为0，而Integer在不赋值的情况下为null，一般id为自增主键，数据更新到数据库中可以自动填充id。2、编译器可以给你验证@Override下面的方法名是否是你父类中所有的，如果没有则报错。例如，你如果没写@Override，而你下面的方法名又写错了，这时你的编译器是可以编译通过的，因为编译器以为这个方法是你的子类中自己增加的方法。举例：在重写父类的onCreate时，在方法前面加上@Override 系统可以帮你检查方法的正确性。
2024-04-25 14:48:17
359
1
原创 Hadoop:解决海量数据的存储和计算
map join: MAPJION会把小表全部加载到中，在map阶段直接拿另外一个表的数据和内存中表数据做匹配，由于在map端是进行了join操作，省去了reduce运行的时间，算是hive中的一种优化。
2024-03-18 21:24:22
508
原创 Hive（2）
6.物理优化器，eg:map join：将mapReduce 去除只剩map。1. 解析：将sql语句转换为抽象语法树。Driver:进行词法分析和语法分析。4.逻辑优化：eg：如实现谓词下推。7.执行器：将任务交给yarn处理。
2024-03-18 14:28:23
319
原创 优化ETL:将之前使用的dataX-＞DolphinScheduler
无论是全量还是增量的方式，都会浪费多余的存储或通过计算去重，得到最新的全量数据。为解决这一问题，墙裂建议kafka的数据同步方案，源表变化一条，目标表消费一条，目标表数据始终是一份最新全量数据，且为实时同步的。使用kafka，消费mysql binlog日志到目标库，源表和目标库是1：1的镜像。有些表巨大，我们需要选择增量策略，新增delta数据需要和存量数据merge合并。，是英文Extract-Transform-Load的缩写，用来描述将。每天一个全量表，也可一个hive天分区一个全量。
2024-03-18 10:04:55
348
原创 mybatis(4):insert用户
小结tips：多个参数获取的办法：（1）用mybatis内置的map对象arg0、arg1的固定键值 （2）用map对象传值，可以用自己设置的键访问。tip：一般流程为调用service，然后调用对应的mapper接口，接着调用映射文件。插入一个mybatisplus:快速去除分页可以把limit设置为-1。当其有get和set方法时，就算没有成员变量也是可以访问的。
2024-03-08 11:59:28
311
1
原创 mysql相关知识
要点：1.数据库设计过程中的一对一关系表可以适当的进行一定的拆分：减少IO查询，效率增加。第三步：删除其三个位置（当版本低于8.0时，需要再注册表在进行删除下：regedit,）第二步：卸载mysql的安装部分 注：不要直接删除，通过控制面板进行删除。1.两个mysql文件夹 2.服务 3.系统高级设置。表的关系：除了基本的三种还有自我引用。建表原则：1.外键唯一2.外键为主键。第一步：停掉mysql的一切服务。***wins下卸载mysql。mysql文件会出现的位置。
2024-03-08 11:02:59
321
1
原创 MyBatis获取参数的两种方法
工作概述：通过视图收集所需要的数据->把数据输入到服务器当中和->在服务器获取数据后传输到Service->再到DAO层处理数据（在DAO的实现类中把数据拼接在sql，最终执行sql语句）#{}和${}在mybatis执行底层代码的时候其中的具体内容是不知道的无论是username还是user还是abc。对比：原来写的是DAO，现在创建的是Mapper接口，且没有实现类。主题 ：两种实现方式：#{}和${}，两者的主要区别是。#{}直接相当于变为？因为${}其主要为字符串拼接。，而${}需要加''，
2024-03-07 09:56:14
345
1
原创 任务：将数据传输在Hive（基于hadoop的数据库管理工具）,设置定时任务的各个步骤
平台已经做好基于模板对应的sheet的存储：其中在做好对应关系和字段之后在数据库表也实现了对应表的创建。tip：一般在ods存储实时表，然后在dwd里面存储对应的处理过的宽表（组合起来可能包括很多字段）表有多个字段，每个字段的名称和类型都被列出。... ：定义表的存储格式和I/O格式。：定义表在HDFS（Hadoop分布式文件系统）上的物理存储位置。分区可以提高数据查询的效率，尤其是在处理大量数据时。)存储，这是一种列式存储格式，常用于Hadoop生态系统中。：定义表的分区方式。
2024-03-06 11:49:20
917
2
原创 Mapper引入映射文件
tips:在项目创建一层层目录时，不能用.，需要用/，例如：com/lzjytu/...需要mapper接口所在的包要和映射文件所在的包一致的原因：target中。快速构建mybatis(后续补充。下面对引入映射文件进行一定优化。其接口和映射文件在同一目录下。
2024-03-04 15:36:42
298
1
原创 mybatis-config.xml的细节剖析
environme：只有一个属性值id,其含有2个子标签（transactionManager 事务管理器,dataSource）注：环境变量设置多个，用一个default用于开发。注：配置了别名的resultType可以无视大小写。除了typeAliases 还有以包的方式计算别名。采用德鲁伊配置：参考文档（
2024-03-04 14:49:16
289
1
原创 基本的ssm开发练习小知识点总结
JDBC：表示当前环境中，执行SQL时，使用的是JDBC中原生的事务管理方式，事。不行之前的配置：DataSource那种，在config里面进行配置。id：表示连接数据库的环境的唯一标识，不能重复。--设置连接数据库的连接地址-->--设置连接数据库的用户名-->2.创建mybatis的mapper接口：相当于以前的DAO。JNDI：表示使用上下文中的数据源。--设置连接数据库的驱动-->--设置连接数据库的密码-->务的提交或回滚需要手动处理。type：设置数据源的类型。
2024-03-01 12:55:56
348
1
原创 jvm内存设置小故事
一个对象的一生：我是一个普通的Java对象，我出生在Eden区，在Eden区我还看到和我长的很像的小兄弟，我们在Eden区中玩了挺长时间。有一天Eden区中的人实在是太多了，我就被迫去了Survivor区的“From”区，自从去了Survivor区，我就开始漂了，有时候在Survivor的“From”区，有时候在Survivor的“To”区，居无定所。直到我18岁的时候，爸爸说我成人了，该去社会上闯闯了。于是我就去了年老代那边，年老代里，人很多，并且年龄都挺大的，我在这里也认识了很多人。
2023-08-18 12:38:32
14
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人