- 博客(213)
- 资源 (19)
- 收藏
- 关注
RSS订阅原创 提示词工程
大模型设置 提示词要素 指令：想要模型执行的特定任务或指令。 上下文：包含外部信息或额外的上下文信息，引导语言模型更好地响应。 输入数据：用户输入的内容或问题。 输出指示：指定输出的类型或格式。 示例 文本概括 根据发送的内容概括关键点/总结全文 信息提取 根据发送的内容提取其中的关键字，或用户需要的信息 问答 提示词可以通过指令、上下文、输入和输出指示以改进响应结果。 虽然这些要素不是必需的，但如果您的指示越明确，响应的结果就会越好 文
2024-07-05 10:07:02
456
原创 Java线程池（全局/局部）基本概念
全局和局部线程池 全局线程池 在Spring框架中，全局线程池如ThreadPoolTaskExecutor通常是作为Spring Bean存在的，它们的生命周期由Spring容器管理。当Spring容器关闭时，这些线程池也会被适当地清理和关闭。因此，开发者通常不需要手动关闭这些全局线程池 局部线程池 对于在方法内部或者某个局部作用域创建的线程池，它们是局部资源，不会被Spring容器管理。如果不关闭这些线程池，可能会导致线程泄漏，因为这些线程池会继续存在并占用系统资源，直到程序结束。因
2024-06-18 21:30:00
809
原创 无锁并发Disruptor
回顾一下我们讲HashMap时，在知道索引(index)下标的情况下，存与取数组上的元素时间复杂度只有O(1)，而这个index我们可以通过序列号与数组的长度取模来计算得出，index=sequence % table.length。Disruptor是一个开源框架，研发的初衷是为了解决高并发下列队锁的问题，最早由LMAX（一种新型零售金融交易平台）提出并使用，能够在无锁的情况下实现队列的并发操作，并号称能够在一个线程里每秒处理6百万笔订单(这个真假就不清楚了！数组长度2^n，通过位运算，加快定位的速度。
2024-06-18 21:00:00
725
原创 Apache Druid-时序数据库
Apache Druid：是是一个集时间序列数据库、数据仓库和全文检索系统特点于一体的分析性数据平台，旨在对大型数据集进行快速的查询分析（"OLAP"查询)。Druid最常被当做数据库来用以支持实时摄取、高性能查询和高稳定运行的应用场景，同时，Druid也通常被用来助力分析型应用的图形化界面，或者当做需要快速聚合的高并发后端API，Druid最适合应用于面向事件类型的数据。 特性 实时数据摄取：Druid能够实时地处理和索引数据，使其几乎可以立即查询。 高性能查询：Druid优化了查询性能，特别是对于
2024-06-18 20:30:00
1091
原创 走进Elasticsearch
什么是ES 是一个分布式、RESTful风格的搜索和数据分析引擎 中文参考文档： 《Elasticsearch中文文档》 | Elasticsearch 技术论坛 elasticSearch官网： Functions and Operators | Elasticsearch Guide [7.11] | Elastic 查询方式 Kibana查询（原生查询） - DSL 概念：ES特定的查询语言，一套基于JSON的查询语言。 DSL查询直接使用Elasticsearch的API进行
2024-06-17 23:00:00
698
原创 Future和CompletableFuture
它扩展了Future的功能，提供了更加强大和灵活的异步编程支持。CompletableFuture可以手动完成计算、组合多个CompletableFuture、处理异常等。它是Java 8引入的新特性。，用于表示一个异步计算的结果。它提供了一些方法来检查计算是否完成、等待计算完成并获取结果等操作。Future可以通过ExecutorService的submit方法来创建。Future更侧重于代表异步操作的结果，而Async则侧重于异步执行的过程。
2024-03-25 23:30:00
878
原创 走进HBase
什么是Hbase 建立在Hadoop之上HDFS分布式文件系统，面向列的存储系统 列式数据库是针对行数据库而言的，行式数据库是以一行数据作为一个存储单元，而列式数据库是以一列数据为一个存储单元，针对HBase来说，一行数据的某一个列值就是一个存储单元 HBase表中的字段是可以动态增加的，因此HBase数据库是NoSQL数据库 优缺点 优点 HDFS有高容错，高扩展的特点，而Hbase基于HDFS实现数据的存储，因此Hbase拥有与生俱来的超强的扩展性和吞吐量。 HBase采用的是Ke
2023-10-15 09:00:00
528
原创 走进Hive
什么是Hive Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能，构建在分布式HDFS系统运行的数据库 应用场景 大数据集的批处理作用，做离线的数据分析 日志分析 多维度数据分析 海量结构化数据离线分析 统计网站一个时间段内的pv、uv 优缺点 优点 可扩展：为超大数据集设计了计算/扩展能力（MR作为计算引擎，HDFS作为存储系统） 延展性：Hive支持用户自定义函数，用户可以根据自己的需求来实现自己的函数 容错：良好的容
2023-10-14 10:00:00
298
原创 走进Spark
什么是Spark 是一个基于内存的，用于大规模数据处理（离线计算、实时计算、快速查询（交互式查询））的统一分析引擎，因为是基于内存的所以可以更快的完成任务 离线计算:离线计算一般存储在HDFS中使用MapReduce或Hive处理，离线计算启动进程，处理完成后销毁进程 实时计算：实时计算一般存储在消息队列中，使用Spark（DStream）或者Storm、Flink等其他实时计算框架，进程7*24小时运行都在 应用场景 大规模数据处理和分析 流处理 ： Spark Streamin
2023-10-13 22:30:00
887
原创 走进GraalVM
是什么 GraalVM是一个高性能的JDK，旨在加速用Java和其他JVM语言编写的应用程序的执行，同时还为JavaScript，Python，Ruby和许多其他流行语言提供运行 特点 GraalVM可以代替JDK、JVM之前的工作。 GraalVM除了支持Java，也支持多种语言。 GraalVM可以对应用AOT（提前编译-静态编译），也就是把程序直接编译成二进制，从而提升启动速度、改进内存使用。 为JVM提供了高性能的JIT-动态编译：也就是程序在运行时才会去编译 提供运行Java
2023-10-13 22:00:00
915
原创 走进Flink
什么是Flink Flink是一个分布式的、高性能的、可伸缩的、容错的流处理引擎，它支持批处理和流处理，并提供了丰富的 API 和库，是实时数据处理的理想选择 由Java 和 Scala 实现的，所以所有组件都会运行在Java 虚拟机【单个JVM也可以】上 不需要依赖于hadoop集群的组件 优缺点 优点 事件驱动型。Flink的事件驱动型应用是一类具有状态的应用，它从一个或多个事件流提取数据，并根据到来的事件触发计算、状态更新或其他外部动作。 高吞吐、低延迟、高性能。Flink被设计
2023-10-13 20:00:00
805
原创 DbLInk使用
DbLink是一种数据库连接技术，在不同的数据库之间进行数据传输和共享。它提供了一种透明的方法，让一个数据库访问另一个数据库的数据。DbLink的优点是可以在多个数据库间实现数据共享，并且为不同数据库间的数据访问提供了便捷的方式。通过使用DbLink，用户可以在不将数据从一个数据库移动到另一个数据库的情况下，对其他数据库中的数据进行读取和写入操作。这种技术可用于多种应用程序，例如在线交易、数据仓库和数据集成等。
2023-09-04 19:00:00
1461
原创 Docker安装及Docker构建简易版Hadoop生态
添加当前用户到Docker用户组：为了避免在执行Docker命令时使用sudo，可以将当前用户添加到Docker用户组中。启动Docker服务：使用以下命令启动Docker服务，我们通过ps命令可以看到docker服务的进程。使Docker开机自启：使用以下命令将Docker服务添加到系统服务中，使其在系统启动时自动启动。验证Docker是否安装成功：使用以下命令检查Docker是否成功安装。安装Docker：使用以下命令在Linux上安装Docker。更新系统：首先打开终端，更新系统包列表。
2023-08-26 21:33:40
1165
原创 Java通过PowerMockito和Mokito进行单元测试
是Mockito的扩展，它允许您在测试中执行更多的操作，如模拟静态和私有方法，模拟构造函数，甚至在单个测试中模拟静态和普通方法的混合调用。PowerMockito和Mockito都是Java测试框架，用于模拟对象和方法，其中PowerMockito可以模拟一些无法使用Mockito单独模拟的场景，例如静态方法、私有方法等。它允许你模拟对象，在测试中隔离被测代码的依赖项。总之，Mockito是一个基于模拟的测试框架，而PowerMockito是Mockito的扩展，允许您在测试中模拟更多的Java类和库。
2023-08-24 22:45:00
2167
原创 互联网开发工具篇
数据治理工具的主要功能包括：数据分类、数据质量管理、元数据管理、数据安全与隐私保护、数据标准化、数据血缘分析、数据合规性管理等。Kafka Tool：是一款基于 Java 的 GUI 客户端工具，可以用于 Kafka 集群的管理和监控，支持多集群、多主题、多消费者组的管理。Conduktor：是一款基于 Java 的 Kafka 可视化工具，它提供了更直观的界面和更丰富的功能，包括流测量数据、分区大小、负载均衡等等。数据库监控工具，用于监视数据库的性能、安全性和可用性。
2023-08-14 19:45:00
265
原创 编写一个Dag作业Demo
在上述代码中，我们定义了三个任务，分别是数据抽取、数据转换和计算、数据存储。数据抽取任务和数据存储任务是PythonOperator，它们的python_callable函数分别实现了从数据源抽取数据和将计算结果存储到数据仓库中的逻辑。数据转换和计算任务也是PythonOperator，其python_callable函数实现了对从数据源抽取的数据进行转换和计算的逻辑。我们可以使用Airflow编写一个DAG作业，每天自动运行，将数据从数据源抽取并进行转换和计算，最后将结果存储到数据仓库中。
2023-07-27 23:00:00
294
原创 Hive的更新和删除
更新数据： Hive中的更新操作实际上是替换记录的过程。删除数据： 在Hive中，您可以使用DELETE语句删除表中的数据。但是，与传统的关系型数据库不同，Hive实际上并不删除数据，而是将其标记为已删除。但是，这些操作的执行方式与传统的关系型数据库不同，因为Hive使用Hadoop的MapReduce框架来处理数据。请注意：更新和删除操作都需要将新数据写到数据表的结尾，这样会导致数据表的大小增加，因此在大数据环境下执行更新和删除操作需要谨慎。这将删除所有标记为已删除的数据，并且释放已删除数据占用的空间。
2023-07-17 23:30:00
2904
原创 Spring集成Flink快速开发
这是一个简单的示例，说明了如何使用Spring和Flink集成进行快速开发。实时数据处理：Flink可以在不停机的情况下对实时数据进行处理，例如流媒体、交易数据、机器日志等。流式处理：Flink可以处理针对数据流的有状态处理、窗口计算、复杂的数据处理逻辑等。事件驱动型应用：Flink支持基于事件的应用编程模型，并支持事件时间和处理时间。Flink是一个流式数据处理框架，它可以对无限量的数据进行快速、有状态的处理。批处理：Flink也支持批处理，可以用于离线数据分析等场景。
2023-07-15 00:45:00
1429
原创 Spring Boot使用DataFreezer操作Aerospike
DataFreezer是一个用于将Aerospike数据转储到磁盘上的工具，它可以备份和导出Aerospike数据，也可以将冷数据从Aerospike中释放并转储到磁盘上，以减轻Aerospike的负载。需要注意的是，如果使用DataFreezer来备份和导出数据，建议在将数据转储到磁盘上之前先停止对Aerospike的写操作。然后，在Spring Boot应用程序中，我们需要创建一个Aerospike客户端实例，并使用该实例创建一个DataLoader对象，用于数据备份和导出。
2023-07-14 23:30:00
611
原创 oracle unpivot用法
Oracle UNPIVOT函数是将列旋转为行的一种方式。UNPIVOT函数可以将多个列转换为对应的行，以便进行聚合或插入操作。UNPIVOT函数可以将多个列转换为对应的行，以便进行聚合或插入操作。在这个查询中，首先从表中选择所有列，然后使用UNPIVOT函数将Name，Age和Gender列转换为对应的行。最终结果将为每个ID和属性组合返回一个行。其中属性是列标题（Name，Age，Gender），值是对应的单元格值。
2023-07-13 19:15:00
1953
原创 Aerospike 介绍
数据持久化：Redis具有多种数据持久化方式，如RDB和AOF，可以在系统故障时恢复数据。而Aerospike采用的是分布式架构，具有数据备份和恢复的功能，可以在节点故障时保证数据不会丢失。性能：Aerospike在读写性能方面相对较好，可以快速处理大量数据，而Redis在单线程模式下的读写性能也很高。但是Aerospike的部署和维护比较复杂，需要较高的技术水平。数据模型：Redis使用键值对存储数据，而Aerospike可以使用键值对、文档或者图形数据模型存储数据。
2023-07-12 22:00:00
730
原创 SpringBoot接入Aerospike【As内存数据库】
其中，AerospikeTemplate为Spring提供的一个封装好的操作模板。可以通过它来获取Aerospike的客户端，并进行读写操作。在业务逻辑中调用Aerospike操作类的方法，即可实现对Aerospike的读写操作。其中，host为Aerospike服务的IP地址或主机名，port为Aerospike服务的端口号。编写一个Aerospike的操作类，可以实现对Aerospike的读写操作。以上就是接入Aerospike的基本流程，可以根据实际需求进行相应的配置和操作。
2023-07-12 21:30:00
425
原创 Spark和Hive概念
Hive是一个基于Hadoop平台的数据仓库工具，它可以将结构化数据映射到Hadoop上，并提供类SQL的查询语言，使用户能够轻松地查询和分析大规模数据。此外，Hive还支持各种数据存储格式，如HDFS、HBase等。在Spark中执行Hive语句，可以将数据保存在多种格式中，如CSV、JSON、Parquet等，而在Hive中运行SQL只能将数据保存在Hive表中。在Spark中执行Hive语句，可以使用Spark的分布式计算能力进行数据处理，而在Hive中运行SQL，数据处理只能在单个节点上完成。
2023-07-12 00:00:00
2374
原创 spring boot 引入hive
可以从Spring容器中自动注入。在这个例子中，使用Hive的。指定Hive的元数据服务地址。指定HDFS的地址，
2023-07-11 23:30:00
3554
原创 shell脚本入门使用以及基础语法介绍
Shell脚本是一种用于自动化任务和批处理的脚本语言。它在Unix、Linux和类Unix系统中非常常见，并且也可以在Windows系统中使用。这些是Shell脚本的一些基础语法和用法。使用这些基础知识，你可以开始编写简单的自动化任务和批处理脚本。这表示脚本将使用bash作为解释器。你也可以使用其他Shell解释器，如#!
2023-07-11 23:00:00
316
原创 spring boot 集成spark操作hive
上面的配置中，hive.metastore.uris是Hive的元数据存储地址。确认系统中已经安装了Hadoop和Spark，并且配置好了环境变量。其中，my_table是Hive中已经创建的表。
2023-07-11 22:30:00
1433
原创 SQLite简单概述以及使用
SQLite是一种轻量级的关系型数据库管理系统，它不需要独立的服务器进程，也不需要配置多个参数，就可以直接访问一个文件中的数据库，它以C语言库的形式提供了一个嵌入式的数据库引擎，支持SQL语言标准的大部分功能，但相比于MySQL、Oracle等数据库，SQLite的体积小、速度快、易于安装和使用，适用于小型应用或嵌入式设备。总之，SQLite的优点是轻量级、速度快、易于使用和移植性好，适用于小型应用或嵌入式设备，但在高并发、大数据量、复杂查询等场景下表现不如MySQL、Oracle等数据库。
2023-06-06 18:17:47
1039
原创 性能优化-缓存预热
Warmup ：在基准测试代码正式度量之前，先对其进行预热，使得代码的执行是经历过了类的早期优化、JVM运行期编译、JIT优化之后的最终状态，从而能够获得代码真实的性能数据。JMH的测试套件（Fixture） ：@Setup 会在每一个基准测试方法执行前被调用，通常用于资源的初始化，@TearDown 则会在基准测试方法被执行之后被调用，通常可用于资源的回收清理工作。在每一轮的度量中，所有的度量数据会被纳入统计之中（预热数据不会纳入统计之中）
2023-03-21 20:00:00
709
1
原创 List转成Set去重案例代码
package com.tuling.kafka.kafkaDemo.Command;import java.util.ArrayList;import java.util.HashSet;import java.util.List;import java.util.Set;/** * @USER: hx * @DATE: 2022/4/27 **/public class SetTest { private String name; private Stri.
2022-04-27 23:00:00
678
原创 Kafka关键参数介绍
acks：（一般来讲通过acks设置all，加上业务捕捉异常记录表，就能知道kafka生产者发送的情况）ACKS为 0：（消息发出去了，不管有没有落到磁盘上，就认为成功）我的kafkaProducer在客户端，只要把消息发送出去，不管那条数据有没有在哪怕Partition Leader上落到磁盘，就不管他了，直接认为这个消息发送成功。如果你采用这种设置的话，那么你必须注意的一点是，可能你发送出去的消息还在半路。结果呢，Partition Leader所在Broker就直接挂了，然后结果你的客户端
2022-04-14 22:30:00
1958
原创 ShadingShereJDBC使用遇到的坑
项目场景：spring boot引入shadingShere-jdbc正常启动，程序运行时SQL会报错问题描述：：shadingshere 4.0.0-RC1 版本，使用此版本之前，程序一直运行正常，当我研究到shardingsphere的事务的时候，引入 sharding-transaction-spring 架包（3.1.0）版本，结果shadingshere-jdbc执行SQL时就报错了@Override public void run() { bytes = mmInStrea
2021-11-19 10:04:49
498
原创 ShardingSphere-Proxy
ShardingSphere-Proxy：服务端分库分表定位为透明化的数据库代理端，提供封装了数据库二进制协议的服务端版本，用于完成对异构语言的支持。 目前提供 MySQL 和 PostgreSQL（兼容 openGauss 等基于 PostgreSQL 的数据库）版本，它可以使用任何兼容 MySQL/PostgreSQL 协议的访问客户端（如：MySQL Command Client, MySQL Workbench, Navicat 等）操作数据，对 DBA 更加友好。...
2021-10-29 00:49:54
451
原创 ShardingSphere-JDBC
优点： 客户端分库分表-和业务代码无缝粘合引入jar配置即可定位为轻量级 Java 框架，在 Java 的 JDBC 层提供的额外服务。 它使用客户端直连数据库，以 jar 包形式提供服务，无需额外部署和依赖，可理解为增强版的 JDBC 驱动，完全兼容 JDBC 和各种 ORM 框架。适用于任何基于 JDBC 的 ORM 框架，如：JPA, Hibernate, Mybatis, Spring JDBC Template 或直...
2021-10-29 00:48:09
329
原创 Spring声明式事务不生效场景
场景一Service方法抛出的异常不是RuntimeException或者Error类型，并且@Transactional注解上没有指定回滚异常类型。对应的代码例子为：@Servicepublic class UserServiceImpl implements UserService { private final UserMapper userMapper; public UserServiceImpl(UserMapper userMapper) {
2021-07-19 20:17:45
808
1
springboot利用拦截器打印各个接口的响应时间.rar
2019-07-25
Navicat Premium.rar
2019-07-25
Apache httpd-2.2.25-win32-x86-no_ssl.msi
2019-03-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人