- 博客(141)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 llm接口高可用工程实践（尽快关注我，以后这些文章将只对粉丝开放）
本文基于Chinese-LLaMA-Alpaca-3（https://github.com/ymcui/Chinese-LLaMA-Alpaca-3）项目，介绍如何通过搭建2个llama3私有化api和oneapi网关，实现大模型接口的高可用方案。
2024-10-06 08:08:22
1174
原创 中文llama3仿openai api实战
基于Chinese-LLaMA-Alpaca-3项目，介绍如何封装一个私有的兼容openai api的大模型接口，并使用ChatGPTNextWeb开源工具调用此接口。
2024-10-05 10:05:45
993
原创 使用Llama 私有化模型检索文档回答问题
假设我们企业的私有知识存储在链接对应的文档中，我们希望大模型能根据这个文档的内容，回答 “LUA 的宿主语言是什么？” 这个问题。
2024-08-02 00:29:15
1005
原创 使用 openai 和 langchain 调用自定义工具完成提问需求
我们提供了一个函数，接受传入运算的字符串，返回运算的结果。现在的需求是，我们问 gpt 模型，由于模型计算能力并不好，他要调用计算函数，根据计算结果，回答我们的问题。
2024-08-01 18:57:32
467
原创 MyPostMan 迭代文档管理、自动化接口闭环测试工具（自动化测试篇）
MyPostMan 是一款类似 PostMan 的接口请求软件，按照 项目（微服务）、目录来管理我们的接口，基于迭代来管理我们的接口文档，文档可以导出和通过 url 实时分享，按照迭代编写自动化测试用例，在不同环境中均可运行这些用例。
2024-07-17 08:06:30
1332
原创 MyPostMan 迭代文档管理、自动化接口闭环测试工具
MyPostMan 是一款类似 PostMan 的接口请求软件，按照 项目（微服务）、目录来管理我们的接口，基于迭代来管理我们的接口文档，文档可以导出和通过 url 实时分享，按照迭代编写自动化测试用例，在不同环境中均可运行这些用例。
2024-07-17 07:43:41
872
原创 MyPostMan：按照项目管理接口，基于迭代生成接口文档、执行接口自动化联合测试
MyPostMan 按照 项目（微服务）、目录来管理我们的接口，基于迭代来管理我们的接口文档，按照迭代编写自动化测试用例，在不同环境中均可运行这些用例。
2024-06-20 08:11:35
1334
原创 质数是无穷的吗？
还是存在一个最大的质数，一旦超过这个质数后，每个比它大的数都可以表示为我们已知质数的乘积？欧几里得本人最先提出这个问题，他以一种极其简单而优雅的方式，指出质数有无穷多个，因此并不存在“最大质数”。这个公式得出的结果当然远远大于所谓的“最大质数”N。但显然，这个数字不能被任何一个质数（小于等于N）整除，因为按照它的构造方式来看，无论它除以哪一个质数，都会余1。为了验证这个问题，我们假设质数的个数是有限的，比如用字母N来表示我们已知的最大质数。现在，让我们将所有已知质数相乘，然后在结果上加1。
2024-05-08 08:18:40
286
原创 桥接模式（支付类型与支付模式风控）
模拟⼀个第三⽅平台来承接各个⽀付能⼒，同时使⽤⾃家的⼈脸让⽤户⽀付起来更加容易。那么这⾥就出现了多⽀付与多模式的融合使⽤。
2024-04-27 09:07:39
255
原创 SparkStreaming经典 demo
在短视频流行的当下，推荐引擎扮演着极其重要的角色，而要想达到最佳的推荐效果，推荐引擎必须依赖用户的实时反馈。所谓实时反馈，其实就是我们习以为常的点赞、评论、转发等互动行为，不过，这里需要突出的，是一个“实时性”、或者说“及时性”。毕竟，在选择越来越多的今天，用户的兴趣与偏好，也在随着时间而迁移、变化，捕捉用户最近一段时间的兴趣爱好更加重要。
2024-04-21 22:57:37
682
原创 sparkStreaming Batch mode和Continuous mode
当数据像水流一样，源源不断地流进 Structured Streaming 引擎的时候，引擎并不会自动地依次消费并处理这些数据，它需要一种叫做 Trigger 的机制，来触发数据在引擎中的计算。换句话说，Trigger 机制，决定了引擎在什么时候、以怎样的方式和频率去处理接收到的数据流。
2024-04-18 23:36:19
504
1
原创 SparkUI 讲解
在日常的开发工作中，我们总会遇到 Spark 应用运行失败、或是执行效率未达预期的情况。对于这类问题，想找到根本原因（Root Cause），我们往往需要依赖 Spark UI 来获取最直接、最直观的线索。
2024-04-17 22:51:50
1566
原创 Spark AQE（Adaptive Query Execution）机制
AQE 的全称是 Adaptive Query Execution，翻译过来是“自适应查询执行”。它包含了 3 个动态优化特性，分别是 Join 策略调整、自动分区合并和自动倾斜处理。
2024-04-13 21:21:47
1448
原创 sparkSql join 关联机制
Join 有 3 种实现机制，分别是 NLJ（Nested Loop Join）、SMJ（Sort Merge Join）和 HJ（Hash Join）
2024-04-13 21:19:08
1072
原创 理解 SparkSQL DataFrame 对 RDD 的优化
Spark 只知道开发者要做 map、filter，但并不知道开发者打算怎么做 map 和 filter。换句话说，对于 Spark 来说，辅助函数 f 是透明的。在 RDD 的开发框架下，Spark Core 只知道开发者要“做什么”，而不知道“怎么做”。这让 Spark Core 两眼一抹黑，除了把函数 f 以闭包的形式打发到 Executors 以外，实在是没有什么额外的优化空间。而这，就是 RDD 之殇。
2024-04-06 22:43:56
840
原创 拜访斯巴克(Spark)建筑集团——理解 spark 的调度系统、shuffle 管理、内存管理、存储系统
话说很久以前，美国有一家名扬海内外的建筑集团，名为“斯巴克（Spark）”。这家建筑集团规模庞大，设有一个总公司（Driver），和多个分公司（Executors）。斯巴克公司的主要服务对象是建筑设计师（开发者），建筑设计师负责提供设计图纸（用户代码、计算图），而斯巴克公司的主营业务是将图纸落地、建造起一栋栋高楼大厦。
2024-04-04 09:58:43
1149
1
原创 理解RDD基本属性与Spark进程模型
从薯片的加工流程看 RDD 的 4 大属性：partitions：数据分片 partitioner：分片切割规则 dependencies：RDD 依赖 compute：转换函数
2024-04-02 09:30:00
977
hadoop 2.9.1 native包 含snappy
2018-05-21
rubyPHP高性能的PHP框架
2016-05-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人