- 博客(107)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 【AI大模型】基于Langchain和Openai借口实现英文翻译中文应用
本专栏后续将持续更新大模型相关文章，从开发到微调到应用，需要下载好的模型包可私。🚀 欢迎小伙伴们。
2024-06-05 17:45:38
311
3
原创 【AI大模型】Embedding模型解析 文本向量知识库的构建和相似度检索
在大模型中，"embedding"指的是将某种类型的输入数据（如文本、图像、声音等）转换成一个稠密的数值向量的过程。这些向量通常包含较多维度，每一个维度代表输入数据的某种抽象特征或属性。Embedding 的目的是将实际的输入转化为一种格式，使得计算机能够更有效地处理和学习文本Embedding在自然语言处理（NLP）中，文本embedding是一个常见的概念。是将文字或短语转换成数值向量的过程。这些向量捕捉了单词的语义特征，例如意义、上下文关系等。
2024-05-23 11:20:43
1563
3
原创 【AI大模型】基于Langchain和Openai的方式编写Python代码调用GPT完成对话
LangChain 是一个开源框架，专为开发由语言模型驱动的应用而设计。它通过提供一系列组件和工具，使开发者能够创建和部署高级功能的应用程序，如文本摘要、问题解答和聊天机器人等 (I)。增强代码分析：通过对代码进行高效查询和理解，来增强代码分析和开发过程。文本摘要：利用强大的语言模型（如ChatGPT）开发能够生成精确、简洁文本摘要的应用，帮助用户快速掌握复杂文档的主要内容。问题解答应用：构建能够从各种来源（如维基百科、Notion等）提取相关答案的应用，为用户提供快速可靠的信息。
2024-05-18 16:39:19
778
4
原创 【AI大模型】从零开始运用LORA微调ChatGLM3-6B大模型并私有数据训练
ChatGLM3是智谱AI和清华大学 KEG 实验室联合发布的对话预训练模型。ChatGLM3-6B 的基础模型 ChatGLM3-6B-Base 采用了更多样的训练数据、更充分的训练步数和更合理的训练策略。在语义、数学、推理、代码、知识等不同角度的数据集上测评显示，* ChatGLM3-6B-Base 具有在 10B 以下的基础模型中最强的性能*。ChatGLM3-6B 采用了全新设计的 Prompt 格式 ，除正常的多轮对话外。
2024-05-16 17:11:25
1607
8
原创 【AI大模型】AI大模型热门关键词解析与核心概念入门
本专栏后续将持续更新大模型相关文章，从开发到微调到应用，需要下载好的模型包可私。🚀 欢迎小伙伴们。
2024-05-08 21:09:49
792
3
原创 【AI大模型】基于ChatGLM-6b从零开始本地部署语言模型，步骤详细无坑版
ChatGLM-6B 是的一种自然语言处理模型，属于大型生成语言模型系列的一部分。"6B"在这里指的是模型大约拥有60亿个参数，这些参数帮助模型理解和生成语言。ChatGLM-6B 特别设计用于对话任务，能够理解和生成自然、流畅的对话文本。这个模型通过大量的文本数据进行训练，学习如何预测和生成语言中的下一个词，从而能够参与到各种对话场景中。
2024-05-08 17:35:07
1242
9
原创 【Flink实战】新老用户方案优化使用状态与布隆过滤器的方式
布隆过滤器（Bloom Filter）是一种经过哈希函数处理的数据结构，用于快速判断一个元素是否可能存在于一个集合中。它可以用来检索大规模数据集中的元素，过滤掉不存在的元素，从而减少昂贵的磁盘或网络访问操作。布隆过滤器的核心思想是使用一个位数组（通常由二进制位组成）和多个哈希函数。当将元素添加到布隆过滤器时，通过哈希函数将元素映射到位数组的多个位置，并将这些位置的二进制位设置为1。
2023-09-13 18:03:39
1739
3
原创 【Flink实战】Flink对接Kafka Connetor使用docker部署kafka
Docker 是一个开源的容器化平台，用于将应用程序和其依赖的环境打包成一个独立的容器，以实现应用程序的快速部署、可移植性和可伸缩性。0 传统的应用部署方式通常需要在目标环境中手动设置各种依赖项和配置，可能面临不同操作系统或软件版本之间的兼容性问题。而 Docker 可以通过容器的方式隔离应用程序和其依赖的环境，使得应用程序能够在任意系统上以相同的方式运行，并且不受目标环境的影响。
2023-09-13 16:40:22
1887
原创 【Flink实战】Flink 商品销量统计-实战Bahir Connetor实战存储 数据到Redis6.X
Redis环境说明 redis6使用docker部署redis6.x 看个人主页docker相关文章编码实战数据源static {list.add("spring boot2.x课程");list.add("微服务SpringCloud课程");list.add("RabbitMQ消息队列");list.add("Kafka课程");list.add("小滴课堂面试专题第一季");list.add("Flink流式技术课程");list.add("工业级微服务项目大课训练营");
2023-09-13 16:29:10
1872
3
原创 【Flink实战】玩转Flink里面核心的Sink Operator实战
在Flink中，Sink Operator（也称为Sink Function或Sink）是指负责将DataStream或DataSet的数据发送到外部存储或外部系统的操作符。Sink Operator是Flink的数据输出端，它的作用是将处理过的数据写入目标位置，如数据库、文件系统、消息队列等。Sink Operator通过将数据传输到外部系统来完成最终的数据存储、展示或其他类型的处理。它可以将数据单个地或批量地发送到目标系统，具体取决于Sink操作符的实现。
2023-09-13 16:24:01
1717
1
原创 【Flink实战】Flink自定义的Source 数据源案例-并行度调整结合WebUI
Flink的并行度是指在Flink应用程序中并行执行任务的级别或程度。它决定了任务在Flink集群中的并发执行程度，即任务被划分成多少个并行的子任务。在Flink中，可以通过设置并行度来控制任务的并行执行。并行度是根据数据或计算的特性来确定的，可以根据任务的特点和所需的处理能力进行调优。将一个任务的并行度设置为N意味着将该任务分成N个并行的子任务，这些子任务可以在Flink集群的不同节点上同时执行。Flink会根据配置的并行度自动对任务进行数据切分和任务调度，以实现高效的并行处理。
2023-09-13 16:16:26
1644
原创 【Flink实战】玩转Flink里面核心的Source Operator实战
Flink的API层级 为流式/批式处理应用程序的开发提供了不同级别的抽象第一层是最底层的抽象为有状态实时流处理，抽象实现是 Process Function，用于底层处理第二层抽象是 Core APIs，许多应用程序不需要使用到上述最底层抽象的 API，而是使用 Core APIs 进行开发。
2023-09-13 15:08:59
1707
原创 【Hadoop综合实践】手机卖场大数据综合项目分析
🚀 本文章实现了基于MapReduce的手机浏览日志分析🚀 文章简介：主要包含了数据生成部分，数据处理部分，数据存储部分与数据可视化部分🚀 【本文仅供参考】其中需求实现的方式有多种，提供的代码并非唯一写法，选择适合的方式即可。
2023-06-07 17:31:32
5524
28
原创 【SpringBoot教程】SpringBoot+MybatisPlus数据库连接测试 用户收货信息接口开发
SpringBoot+MybatisPlus组合可以大大加快开发效率，紧接上一篇文章的内容，这篇文章进行数据库的连接与查询测试，并配置日志输出调试🚀。
2023-05-28 11:16:10
3393
21
原创 【SpringBoot教程】开发提效工具Lombok引入 Mybatis-plus-generator代码自动生成工具
一个优秀的Java代码库，简化了Java的编码，为Java代码的精简提供了一种方式你是否发现每个JavaBean都会写getter，setter，equals，hashCode和toString的模板代码，特别的多于没技术lombok消除Java的冗长代码，尤其是对于简单的Java对象，只要加上注解就行。
2023-05-26 14:57:29
4097
14
原创 【Spark手机流量日志处理】使用SparkSQL按月统计流量使用量最多的用户
Spark SQL是Apache Spark的一个模块，提供了一种基于结构化数据的编程接口。它允许用户使用SQL语句或DataFrame API来查询和操作数据，同时还支持使用Spark的分布式计算引擎进行高效的并行计算。Spark SQL支持多种数据源，包括Hive、JSON、Parquet、Avro、ORC等，这些数据源可以通过DataFrame API或SQL语句进行查询和操作。同时，Spark SQL还提供了一些高级功能，如窗口函数、聚合函数、UDF等，以满足更复杂的数据分析需求。
2023-03-27 12:51:36
4130
4
原创 【SpringBoot教程】SpringBoot开发POST请求接口用户登录token实战，多种入参方式介绍
SpringBoot从入门到精通系列教程，实现用户登录接口，Post请求实战，token实战
2023-03-26 23:22:57
4444
5
原创 【SpringBoot教程】SpringBoot开发HTTP接口GET请求实战
本专栏为SpringBoot+Spring+Mybatis的系列零基础教程，从框架的基础知识讲起，从0开始实现一个在线教育实战项目🚀。
2023-03-25 17:38:31
6181
24
原创 【大厂算法系列】编码手写顺序表相关功能，线性结构核心知识点详细剖析
在第二章里我们说到的两个元素有**“一对一”** 逻辑关系的数据，其储存方式就是线性表线性表也叫线性储存结构，是基本最常用的一种数据结构。由n个具有相同特性的数据元素组成的序列这样理解成 线性表储存数据就是把所有的数据用一根线穿起来，放到物理空间中。如下，这种几种存放的结构，数据依次储存到物理空间， 就称为顺序表，数据分散存放的结构也称为链表线性表相关术语线性表中的每个个体被称为数据元素 图中1,2,3都是一个元素具有一对一逻辑关系的数据。
2023-02-26 21:53:40
2453
17
原创 【大厂算法系列】学数据结构与算法有用吗？时间与空间复杂度的定义与计算
数据结构指的是相互之间有一种或者是多种特定的关系数据元素集合。用大白话来说就是：计算机在对数据进行存储时候并不是杂乱没有顺序的，而是具有一定的规则。数据结构可以分成逻辑结构跟物理结构逻辑结构：抽象意义上的结构，按照对象中元素的关系分类物理结构：又叫存储结构，主要有顺序存储跟链式存储算法是被计算机使用来解决问题的方法，就对于程序而言，算法就是程序的灵魂，优秀的程序可以在面对大量数据计算时，依旧能够保持高速的计算。对于小型的程序来说，就算这个算法差劲，解决的问题步骤比较繁琐，这样不会有很大的关系。
2023-02-15 11:59:46
2930
8
原创 【精通Spark系列】Spark算子大合集，一文掌握spark中的常用转换与行动算子
RDD 中的算子从功能上分为两大类1.Transformation(转换算子) 它会在一个已经存在的 RDD 上创建一个新的 RDD，这也使得RDD之间存在了血缘关系与联系2.Action(动作算子) 执行各个分区的计算任务, 结果返回到 Driver 中特点1.Spark 中所有的 Transformations 是 惰性 的, 不会立即执行获得结果. 只会记录在数据集上要应用的操作.当需要返回结果给 Driver 时, 才会执行这些操作, 这个特性叫做 惰性求值。
2023-01-09 23:39:24
1974
10
原创 【基于ChatGPT+SpringBoot】打造智能聊天AI机器人接口并上线至服务器
ChatGPT是一款基于自然语言处理技术的聊天机器人。它使用受控语料库，并使用最先进的深度学习技术来学习用户的输入，以便以最相似的方式回应。ChatGPT可以模拟真实的人类对话，并能够更贴近用户的需求，提供更有价值的服务。Spring Boot是由Pivotal团队提供的全新框架，其设计目的是用来简化新Spring应用的初始搭建以及开发过程。该框架使用了特定的方式来进行配置，从而使开发人员不再需要定义样板化的配置。
2023-01-02 18:01:55
9185
28
原创 【基于ChatGPT的API】实现一个响应速度比官方更快的在线问答网站并通过宝塔上线全网可访问
你好！我是ChatGPT，是一种基于自然语言处理和深度学习技术的机器人，可以帮助你完成聊天，问答和写作任务。我可以自动生成文本，并且可以根据您的输入自动调整文本内容。我可以使用深度学习技术来分析文本，并生成可读的文本。我还可以帮助您解决文本理解问题，并生成更深入的文本分析。我可以帮助您完成各种任务，包括文本生成，文本分析，文本理解，文本摘要，问答系统，聊天机器人等等。
2022-12-26 12:16:40
14804
30
原创 让最近爆火的ChatGPT来谈谈，作为一个技术人该如何写好一篇技术博文
ChatGPT 是由 OpenAI 训练的一个大型语言模型。专门设计用于回答用户提出的问题，我可以提供有价值的信息，并帮助用户解决问题下面的回答均来自ChatGPT。
2022-12-14 15:43:09
3908
6
原创 【数据结构与算法】递归全流程详细剖析 | 详解图的深度优先遍历
本篇文章属于数据结构与算法系列文章，这篇文章会对算法中的递归进行一个详细的介绍，不仅是概念，而是从运行过程中的每一步进行详细分析。并使用递归的方式来完成数据结构图的深度优先遍历🚀。
2022-11-19 10:21:54
3212
31
原创 【数据结构与算法】选择排序的实现
选择式排序也内部排序法，是从想要进行排序的数据中，按指定的规则选出某一元素，再依规定交换位置后达到 排序的目的。
2022-10-05 18:05:15
1755
13
原创 【IDEA主题极致优化】全面优提升你的编码体验
Material Theme UI是一款主题插件，具有强大的主题更换功能，同时也拥有多方面的主题选择。工欲善其事必先利其器，今天就来介绍下如何使用这款软件进行主题更换。这款插件可以直接在IDEA里面的插件下载中心进行下载。setting->Plugins->Material Theme UI在IDEA进行设置路径如下File > Settings > Appearance & Behavior > Material Theme其中 这里有多种主题可以根据个人的喜好自己选择在选择主题的下面可以
2022-10-04 22:20:40
5588
42
原创 【精通Spark系列】弹性分布式数据集RDD快速入门篇
本篇文章属于Spark系列文章，专栏将会记录从spark基础到进阶的内容，，内容涉及到Spark的入门集群搭建，核心组件，RDD，算子的使用，底层原理，SparkCore，SparkSQL，SparkStreaming等，
2022-10-03 23:05:46
2072
4
原创 【数仓环境搭建】超详细大数据常用框架集群搭建合集 | 附带详细安装过程
很多小伙伴在学习大数据的时候应该都遇到过集群环境搭建的问题，需要考虑到各个框架之间的兼容性，搭建起来也比较麻烦。本篇文章汇总了大数据开发中的常用组件集群搭建过程，附带了详细的搭建过程截图，提供了对应版本的安装包确保环境兼容。主要包括Hadoop，HDFS，YARN，Spark，Hive，MySQL，HBase.
2022-05-30 14:32:02
2795
34
原创 Hive环境搭建 | 数据仓库工具搭建详细过程
🚀 作者 ：“大数据小禅”🚀 简介：详解数据仓库工具Hive的搭建过程🚀 安装包|文档获取：获取对应的安装包可以通过最下方公众号联系我备注获取。1.Hive简介hive是基于Hadoop的一个数据仓库的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低，可以通过类似SQL语句实现快速MapReduce统计，使MapReduce变得更加简单，而不必开发专门MapReduce应用程序。.
2022-05-30 14:09:57
1623
原创 Zookeeper集群搭建详细过程 | 附带详细过程截图
🚀 作者 ：“大数据小禅”🚀 简介：详细讲解Zookeeper的环境搭建，附带过程截图。🚀 安装包获取：获取对应的安装包可以通过最下方公众号联系我备注获取。1.Zookeeper简介ZooKeeper 顾名思义 动物园管理员，他是拿来管大象(Hadoop) 、 蜜蜂(Hive)等等一些大数据组件。ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功.
2022-05-30 13:53:05
992
原创 Sqoop集群环境搭建 | MySQL数据导出HDFS测试
🚀 作者 ：“大数据小禅”🚀 简介：详细讲解Sqoop的环境搭建，通过Sqoop将mysql导出到HDFS，附带过程截图。🚀 安装包获取：获取对应的安装包可以通过最下方公众号联系我备注获取。1.Sqoop简介Apache Sqoop是在Hadoop生态体系和*RDBMS体系之间传送数据的一种工具。来自于Apache软件基金会提供。，主要用于在Hadoop(Hive)与传统的数据库间进行数据的传递，可以将一个关系型数据库中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据.
2022-05-30 12:03:40
879
C语言学生管理系统【可增删改查】
2020-06-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人