慎用@Data Data注解一般主要的功能是在实体类上面主要功能是为了提供类的get、set、equals、hashCode、canEqual、toString方法。但是,如果一个类有上千的字段,那么toString会帮你写多长自己想一下吧。这样就会导致java.lang.StackOverflowError。先说结果,这样会导致栈溢出,即 java.lang.StackOverflowError。@Data会帮你写toString,简单的类帮你写成下面这样。目前在写一个物联网项目,一个类的字段特别多,大概几百上千,
大模型LLM之Langchain(二) 2、教程2.1、基础2.1.1、使用 LCEL 构建简单的LLM应用程序工具:jupyter notebook 、anaconda3运行Anaconda Prompt查看当前虚拟环境conda env list创建虚拟环境conda create -n lc python=3.8激活环境conda activate lc安装内核工具pip install ipykernel将虚拟环境内核添加到jupyter notebookpython -m ipykernel inst
大模型LLM之Langchain(一) LangChain 是一个用于开发由大型语言模型提供支持的应用程序的框架 (LLMs)。开发:使用 LangChain 的开源构建块、组件和第三方集成构建应用程序。使用 LangGraph 构建具有一流流式处理和人机回圈支持的有状态代理。产品化:使用 LangSmith 检查、监控和评估您的链条,以便您可以放心地持续优化和部署。部署:使用 LangGraph Cloud 将您的 LangGraph 应用程序转变为生产就绪的 API 和助手。:基本抽象和 LangChain 表达式语言。
大模型LLM之SpringAI:Web+AI(二) 然后,当要向 AI 模型发送用户查询时,首先检索一组相似的文档。然后,这些文档充当用户问题的上下文,并与用户的查询一起发送到 AI 模型。设计成一个简单便携的界面,用于与专门用于图像生成的各种 AI 模型进行交互,允许开发人员以最少的代码更改在不同的图像相关模型之间切换。当将向量作为查询时,向量数据库将返回与查询向量“相似”的向量。多模态是指模型同时理解和处理来自各种来源的信息的能力,包括文本、图像、音频和其他数据格式。向量数据库是一种特殊类型的数据库,在人工智能应用中发挥着至关重要的作用。
大模型LLM之SpringAI:Web+AI(一) 官网:https://docs.spring.io/spring-ai/reference/index.htmlSpring AI是一个旨在简化开发人员构建人工智能应用程序的项目的名称,它通过消除不必要的复杂性来实现这一目标。该项目受到了Python项目的启发,如LangChain和LlamaIndex,但它并不是后者的直接移植。Spring AI相信,下一个人工智能应用浪潮将不仅仅局限于Python开发人员,而是会普及到许多编程语言。
大数据之Spark(二) Spark与Hive对比数据抽象:RDD、DataFrame(二维表数据结构)SparkSession:在rdd中,程序执行入口对象是SparkContext。SparkSession可用于SparkSQL入口对象,也可用于SparkCore中获取SparkContexthelloworld测试txt文件3,shuxue,91,yuwen,52,yuwen,443,yuwen,64,yuwen,35,yuwen,66,yuwen,3代码df2.show()
大数据之Spark(一) RDD-弹性分布式数据集,是Spark中最基本的数据抽象,代表一个不可变、可分区、里面的元素可并行计算的集合RDD特性RDD有分区RDD的分区是RDD数据存储的最小单位,一份RDD数据本质上分割成多个分区(分区是物理概念RDD的方法会作用在其所有分区上RDD之间有依赖关系kv型的RDD可以有分区器(可选)RDD的分区规划会尽量靠近数据所在的服务器尽量走本地读取,避免网络读取。
大数据之Flink(六) 17、Flink CEP17.1、概念17.1.1、CEPCEP是“复杂事件处理(Complex Event Processing)”的缩写;而 Flink CEP,就是 Flink 实现的一个用于复杂事件处理的库(library)。总结起来,复杂事件处理(CEP)的流程可以分成三个步骤:(1) 定义一个匹配规则(2) 将匹配规则应用到事件流上,检测满足规则的复杂事件(3) 对检测到的复杂事件进行处理,得到结果进行输出输入是不同形状的事件流,我们可以定义一个匹配规则:在圆形后面紧跟着三角形
大数据之Flink(五) 15、Flink SQL15.1、sql-client准备启用Hadoop集群(在Hadoop100上)start-all.sh启用yarn-session模式/export/soft/flink-1.13.0/bin/yarn-session.sh -d启动sql-client bin/sql-client.sh embedded -s yarn-sessionsql文件初始化可以初始化模式、环境(流/批)、并行度、ttl、数据库创建文件,可在文件中编写sq
大数据之Flink(四) 11、水位线11.1、水位线概念一般实时流处理场景中,事件时间基本与处理时间保持同步,可能会略微延迟。flink中用来衡量事件时间进展的标记就是水位线(WaterMark)。水位线可以看作一条特殊的数据记录,它是插入到数据流中的一个标记点,主要内容是一个时间戳,用来指示当前的事件时间。一般使用某个数据的时间戳作为水位线的时间戳。水位线特性:水位线是插入到数据流中的一个标记水位线主要内容是一个时间戳用来表示当前事件时间的进展水位线是基于数据的时间戳生成的水位线时间戳单调递增水位线可通过设置
大数据之Flink(三) 9.3、转换算子9.3.1、基本转换算子9.3.1.1、映射map一一映射package transform;import bean.WaterSensor;import org.apache.flink.streaming.api.datastream.DataStreamSource;import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;import org.apache.flink.st
大数据之Flink(二) JobManager是一个Flink集群任务管理和调度的核心,是控制应用执行的主进程,每个应用都有一JobManager。前面两种模式,代码都在客户端上执行,由客户端提交给JobManager,导致客户端需要占用大量网络带宽,加重客户端所在节点的资源消耗。flink执行过程中,每个算子包含一个或多个子任务,这些子任务在不同的线程、不同的物理机或不同容器中执行。假如一个taskManager有三个slot,就会将管理的内存均分成三份,每个slot独占一份,slot不会去争抢资源。slot的数量是最大并行度。
pywebview桌面程序开发(技术路线:前端+Python,全网独一份!!!!!!) pywebview声称Build GUI for your Python program with JavaScript, HTML, and CSS。就是可以使用web技术来实现桌面应用程序开发。其内核我理解仍然是浏览器,只不过将浏览器封装成系统窗口,这样就可以将web无缝切换到桌面应用,相比pyQt等重武器还是比较方便的。对于目前比较火的electron,Python的加入给应用程序提供了上限,据说打包的大小也比electron小。
大数据之Flink(一) flink是一个分布式计算/处理引擎,用于对无界和有界数据流进行状态计算。flink处理流程电商销售:实时报表、广告投放、实时推荐物联网:实时数据采集、实时报警物流配送、服务:订单状态跟踪、信息推送银行、金融:实时结算、风险检测有状态的流式处理用内存的本地状态替代传统的数据库flink核心特点:高吞吐低延迟、结果准确性、精确一次的状态一致性保证、兼容性好、高可用和动态扩展。SQL-最高层语言Table API-声明式领域专用语言。
大数据之flume(一) flume是一个分布式、高可用、高可靠的海量日志采集、聚合、传输系统,支持在日志系统中定制各种数据发送方从而收集数据,并提供数据简单处理能力并传到各种数据接收方。flume设计原理是基于数据流的,能够将不同数据源的海量日志进行高效收集、聚合、移动、存储,能做到近似实时。自定义拦截器自定义source自定义sink。
机器学习(一) 它将代码和它的输出集成到一个文档中,并且结合了可视的叙述性文本、数学方程和其他丰富的媒体。下载时可能需要登录,用邮箱注册个账号登录后即可下载,下载得到zip文件解压后将 bin、include、lib三个文件夹复制到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\vxx.x目录下,xx.x代表版本号。打开网址https://developer.nvidia.com/cuda-downloads#查找对应的版本安装包,下载后直接安装就行。
大数据之Sqoop sqoop是Hadoop生态体系和RDBMS体系之间传送数据的一种工具。工作机制: 将导入导出命令翻译成MR程序来实现,MR中主要是对inputformat和outputformat进行定制。Hadoop生态体系包括:HDFS、HBase、Hive等RDBMS体系包括:MySQL、Oracle等整体架构如下:sqoop与dataX对比。