白鸽

【代码】pgsql导入导出数据。

装饰器本质上是一个python函数，他可以让其他函数在不需要做任何代码变得的前提下增加额外的功能，其传入参数一般是函数对象（如视图函数），返回值也是一个函数对象；装饰器主要用于有切面需求的场景，如插入日志、性能测试、事务处理等与函数功能无关的操作，对于这些需要多次重用的代码，我们将其放置在装饰器里，就可以无需在每个函数中反复编写；# 定义装饰器函数# 替代登录操作print('登录操作！')# 执行传入的函数对象func()

大型语言模型（Large Language Model，LLM；大语言模型是一种深度学习模型，特别是属于自然语言处理（NLP）的领域，一般是指包含数干亿（或更多）参数的语言模型，这些参数是在大量文本数据上训练的，例如模型GPT-3，Chatglm，PaLM，LLaMA等，大语言模型的目的是理解和生成自然语言，通过学习大量的文本数据来预测下一个词或生成与给定文本相关的内容。从实际应用表现来看，大语言模型具备回答各种问题、编写文章、编程、翻译等能力，

假如我们想要用 openai api 对一个段文本进行总结，我们通常的做法就是直接发给 api 让他总结。但是如果文本超过了 api 最大的 token 限制就会报错。这时，我们一般会进行对文章进行分段，比如通过 tiktoken 计算并分割，然后将各段发送给 api 进行总结，最后将各段的总结再进行一个全部的总结。LangChain 很好的帮我们处理了这个过程，使得我们编写代码变的非常简单。# 导入os,设置环境变量。导入文本加载器、总结链、文本分割器及OpenAI模型import os。

官网：「http://kafka.apache.org/」 kafka 是最初由 linkedin 公司开发的，使用 scala 语言编写， kafka 是一个分布式，分区的，多副本的，多订阅者的日 志系统（分布式MQ 系统），可以用于搜索日志，监控日志，访问日志等 Kafka is a distributed,partitioned,replicated commit logservice。它提供了类似于 JMS 的特性，但是在设计实现上完全不同，此外它并不是JMS 规范的完整实现。

YARN 是 Hadoop2 引入的通用的资源管理和任务调度的平台，可以在 YARN 上运行MapReduce、Tez、Spark 等多种计算框架，只要计算框架实现了 YARN 所定义的接口，都可以运行在这套通用的 Hadoop 资源管理和任务调度平台上。支持多种计算框架YARN 是通用的资源管理和任务调度平台，只要实现了 YARN 的接口的计算框架都可以运行在 YARN 上。资源利用率高多种计算框架可以共用一套集群资源，让资源充分利用起来，提高了利用率。运维成本低。

为了开发我们的 MapReduce 程序，一共可以分为以上八个步骤，其中每个步骤都是一个 class 类，我们通过 job 对象将我们的程序组装成一个任务提交即可。为了简化我们的 MapReduce 程序的开发，每一个步骤的 class 类，都有一个既定的父类，让我们直接继承即可，因此可以大大简化我们的 MapReduce 程序的开发难度，也可以让我们快速的实现功能开发。MapReduce 编程当中，其中最重要的两个步骤就是我们的 Mapper 类和 Reducer类Mapper 抽象类的基本介绍。

Hadoop 分布式系统框架中，首要的基础功能就是文件系统，在 Hadoop 中使用FileSystem 这个抽象类来表示我们的文件系统，这个抽象类下面有很多子实现类，究竟使用哪一种，需要看我们具体的实现类，在我们实际工作中，用到的最多的就是 HDFS(分布式文件系统)以及 LocalFileSystem(本地文件系统)了。在现代的企业环境中，单机容量往往无法存储大量数据，需要跨机器存储。HDFS（Hadoop Distributed File System）是 Hadoop 项目的一个子项目。

Apache Doris 由百度大数据部研发（之前叫百度 Palo，2018 年贡献到 Apache 社区后，更名为 Doris ），在百度内部，有超过 200 个产品线在使用，部署机器超过 1000 台，单一业务最大可达到上百 TB。Apache Doris 是一个现代化的 MPP（Massively Parallel Processing，即大规模并行处理）分析型（OLAP）数据库产品。仅需亚秒级响应时间即可获得查询结果，有效地支持实时数据分析。

在快照之后，对表进行的更改、导入等操作都不再影响备份的结果。这其实是一个空快照（因为刚创建的表是没有数据的），其目的主要是在 Backend 上产生对应的快照目录，用于之后接收从远端仓库下载的快照文件。备份操作是将指定表或分区的数据，直接以 Doris 存储的文件的形式，上传到远端仓库中进行存储。4、可以将仓库中备份的表恢复替换数据库中已有的同名表，但须保证两张表的表结构完全一致。3、备份和恢复都支持最小分区（Partition）级别的操作，当表的数据量很大时，建议按分区分别执行，以降低失败重试的代价。

doris详细教程二

Apache Atlas 是托管于 Apache 旗下的一款元数据管理和治理的产品，目前在大数据领域应用颇为广泛，可以很好的帮助企业管理数据资产，并对这些资产进行分类和治理，为数据分析，数据治理提供高质量的元数据信息。随着企业业务量的逐渐膨胀，数据日益增多，不同业务线的数据可能在多种类型的数据库中存储，最终汇集到企业的数据仓库中进行整合分析，这个时候如果想要追踪数据来源，理清数据之间的关系将会是一件异常头疼的事情，倘若某个环节出了问题，追溯的成本将是巨大的，于是 Atlas 在这种背景下应运而生了，通过它，

常用linux脚本

点击【构建触发器】–【构建】–【增加构建步骤】–【调用顶层Maven目标】–【填写配置】–【保存】点击正在构建的任务，或者点击任务名称，进入详情页面，查看控制台输出，看是否能成功打成jar包。进入【首页】–【系统管理】–【全局配置】，拉到最下面maven–maven安装。点击【源码管理】–【Git】，输入仓库地址，添加凭证，选择好凭证即可。点击【新建任务】，输入任务名称，点击构建一个自由风格的软件项目。进入【首页】–【系统管理】–【插件管理】–【可选插件】docker 安装一切都是那么简单，

如果字段和行数非常多，那么sql必然也会很长，占位符也会非常多，除此之外还要建立占位符和参数之间的映射，那么解析时间必然会长。如果非要使用 foreach 的方式来进行批量插入的话，可以考虑减少一条 insert 语句中 values 的个数，最好能达到上面曲线的最底部的值，使速度最快。从理论上将，复用conn，将多次io，转换成一次io，应该是提升效率的。当表的列数较多（20+），以及一次性插入的行数较多（5000+）时，整个插入的耗时十分漫长，达到了14分钟，这是不能忍的。

Nacos,OpenFeign,Ribbon,loadBalance如何相互协调工作

那么如何才能在此基础上，进一步分析，更方便的找出现存的问题？针对潜在的问题，给出改进的建议，是mysql优化的好帮手。pt-query-digest主要用来分析mysql的慢日志，与mysqldumpshow工具相比，py-query_digest 工具的分析结果更具体，更完善。项目地址：https://www.percona.com/downloads/percona-toolkit/LATEST/这是mysql的另一个优化工具，针于mysql的整体进行一个体检，对潜在的问题，给出优化的建议。

Inpaint Anything 是一个结合了 SAM、图像修补模型（例如 LaMa）和 AIGC 模型（例如 Stable Diffusion）等视觉基础模型的AI图像替换，修补系统。基于此系统，用户可以方便的使用IA进行图像替换，处理具有任意长宽比和 2K 高清分辨率的图像，且不受图像原始内容限制，并且使用方便。

maga！maga！