- 博客(801)
- 资源 (152)
- 收藏
- 关注
RSS订阅原创 Ollama完成本地模型的运行
Ollama 是一个开源的大型语言模型（LLM）服务工具，它允许用户在本地运行和使用各种大型语言模型。Ollama 提供了一个命令行界面，支持多种流行的模型，如 Llama 3、Qwen 1.5、Mixtral、Gemma 等，并且用户可以根据自己的需求定制和创建模型。Ollama能够实现模型的本地运行，降低了模型开发的复杂度，无聊时AI开发的高手还是新人都可以快速使用Ollama完成模型本地运行。同时可以识别Nvidia、AMD的GPU，AVX、AVX2指令集的CPU。
2024-04-25 13:54:01
19
原创 LangSmith帮助测试大模型系统
想要使用LangSmith首先进入他的设置页面，https://smith.langchain.com/settings注册一个账号，然后进入API Keys页面创建一个API Keys，我们为例后续演示，这里创建一个test_api_key名字的API Key，如下图所示。LangSmith完成了跟踪LangChain构建应用的所有的中间过程，这也为验收或者测试LangChain构建的基于大模型的应用提供了有力的手段。在项目下的列表中，我们多次执行LangChain构建的大模型的应用也可以做横向对比。
2024-04-24 00:00:29
29
原创 通过Llama Index实现大模型的SQL生成的三种方法详解
llamaindex提供的三种text2sql的方法真的不同的问题都有其更加擅长的方向，并没有一个可以全盘解决问题的技术方案，所以具体选择哪一种还是需要根据面对的问题而定。
2024-04-10 10:46:46
207
原创 Llama Index的NodeParser详解
Node Parser有很多种，具体需要使用哪一种就需要我们根据数据的内容、数据的特点等做出选择了。
2024-04-08 14:10:09
143
原创 基于chatGLM在llama index上建立Text2SQL
文中使用了chatglm的llm和embedding modle，利用的智谱的免费token。
2024-04-03 11:30:18
318
原创 sqlalchemy的Session
在使用SQLAlchemy进行数据库操作时，Session是对数据库交互的主要接口之一。在Session中执行查询时，可以通过不同的方法来添加查询条件，从而筛选出符合要求的记录。以下是一些常见的Session查询中添加条件。
2024-04-03 10:57:20
455
原创 sqlite建立数据库
在做一些简单的实验项目的时候，sqlite比较好用（MacOS验视环境）。相关包下载网页：https://www.sqlite.org/download.html。在当前目录，执行如下代码。目录下面就有了数据库文件。
2024-04-02 17:35:00
476
原创 BM25方法
BM25它是根据 TF-IDF（Term Frequency-Inverse Document Frequency）算法改进而来的，旨在克服 TF-IDF
2024-03-29 18:08:25
352
原创 解决github Push rejected报错 remote: error: GH013: Repository rule violations found for refs/heads/maste
在push代码到master的时候Github 报错 remote: error: GH013: Repository rule violations found for refs/heads/main这次是因为Github的保护机制引起rejected。
2024-03-20 09:56:42
978
1
原创 LLM的测试工具：LaVague平替成国内大模型
LaVague 通过LLM将自然语言转换Selenium的代码引擎，用户或其他人工智能轻松实现自动化。
2024-03-19 22:51:26
291
原创 5 AI的道德验证和实践方法
AI的道德性是AI需要遵守的底线也是大模型的缔造者需要建立的道德围栏，虽然对于AI的道德有各式各样的要求，各大国家、组织都对AI的道德做了基本的约束，但是如何验证AI是否遵守了道德约束确实一个不容易验证的内容，通过“道德黑客”的方法，尝试各种方式突破AI的道德底线，例如通过一套密码诱骗AI给出违反道德的结果，通过哀求、贿赂诱骗AI扩过道德围栏，建立red team不断地共计AI的道德围栏等等手段还在不断的尝试和更新中，守住AI的道德底线是守住了人类智慧的基线。
2024-03-09 08:52:25
56
原创 4 AI系统的测试关键技术和实践
SSE最近突然的被很多人关注还有一个主要原因就是ChatGPT等大模型的聊天类系统就采用了SSE协议。在使用ChatGPT的时候，输入Prompt后的反馈是逐渐的显示在聊天区域的，这部分的实现就是主要基于EventStream的事件流，类似打字机一样输出的，这就是SSE的实现，其实类似一下股票行情推送、期货行情推送都可以使用SSE实现。
2024-03-09 08:50:58
62
原创 3 模型评估
随着各式各样的AI系统的出现，模型评估会变得越来越多样化，那么如上介绍的也可能也会退出模型评估的对应基准的选择范围。那么，无论怎么发展这种基准测试都是模型评估的方法都不会过时，这也为各种模型的横向对比提供了一个客观的评价方法，也为模型在某一方面的能表现提供了一个客观的评价基准。
2024-03-09 08:50:03
53
原创 2 数据和测试评价
数据是AI的基础，AI系统是通过数据的训练而得到的，用于AI系统训练的数据通过收集、清晰、打标等一系列处理后才能用于模型的训练，可见数据是否按照模型的要求完成了上述一系列动作是模型最终表现的重要影响，因此用于训练的数据的质量也是非常值得关注的。在训练完成之后的模型的测试中，传统测试方法“测不准”的现象严重影响了测试结果，那么通过神经元覆盖、层级覆盖的思路可以为测试给予指导，帮助测试工程师完善测试用数据，实现基于覆盖率的测试过程评价，将测试结果的评价转换成覆盖率的评价，从而解决了“测不准”的问题。
2024-03-09 08:49:27
33
原创 1 AI系统概述
1936年阿兰·图灵发表的《论可计算数及其在判定问题中的应用》开启了人工智能的篇章，从1950以后，AI这个词的诞生，也注定了人工智能将会不断的影响人类的生活，那么这么多年的发展和积累，AI已经开始影响了我们生活的方方面面，尤其是二十一世纪二十年代以来，AI已经开始影响到了几乎世界上的每一个人。AI的快速发展也为测试工作提出了新的挑战，这些挑战无疑也为系统测试工作提供了新的探索和研究的方向，那么下面的章节我们就会针对AI系统的测试做深入的阐述。
2024-03-09 08:48:20
66
原创 0 如何测试AI系统的软件测试
随着AI系统的井喷是否发展，AI系统的测试已经变成了一个棘手的问题，尤其是传统软件工程中的测试用例的三个关键要素的输入数据、执行步骤和预期结果约束之下，AI系统的测试用例在执行过程中往往并不能完全满足预期结果的描述，但是实际AI系统的输出在逻辑上又是正确的处理，这也就呈现了AI系统测试中的”测不准“的问题。AI系统的测试只能是在实践中通过不断地找到更加适合其特点的方法、技术和实践，通过不断优化和改进测试过程，可以提高软件的质量和可靠性，从而为用户提供更好的体验和价值，提高用户满意度。
2024-03-09 08:47:38
59
原创 ChatGPT使用的SSE协议接口怎么做测试
SSE最近突然的被很多人关注还有一个主要原因就是ChatGPT等大模型的聊天类系统就采用了SSE协议。在使用ChatGPT的时候，输入Prompt后的反馈是逐渐的显示在聊天区域的，这部分的实现就是主要基于EventStream的事件流，类似打字机一样输出的，这就是SSE的实现，其实类似一下股票行情推送、期货行情推送都可以使用SSE实现。
2024-03-06 17:52:48
133
原创 解决AI系统”测不准“的问题：蜕变测试
在被测试的AI模型的处理逻辑之上我们找到了蜕变关系MR，那么我们将测试用例1的输入1通过一种参数扰动的处理，得到了输入1‘{I1’， I2’，…如上给出的全部例子都是基于一种有效的测试用例找到了对应的蜕变关系，其实这种蜕变关系也不一定非要从功能正确的测试用例开始的，我们也可以通过一些反向的测试用例找到对应的蜕变关系，从而设计出很多的测试用例，假设我们前面例子中的一个基于深度学习进行图像分类的模型，通过读入照片识别照片中是不是一只猫，那么我们可以输入一下不是猫的图片，然后基于这个蜕变关系，从完成测试。
2024-03-01 17:43:10
92
1
原创 破解研发效能度量悖论
在研发效能度量的探讨中，我们面对的不仅是团队成员各自的期望和小心思，还有度量模型本身可能引发的悖论。管理人员渴望数据来评估团队表现，而工程师则希望保持个人不受歧视。这种差异导致了度量模型的设计存在一定的困境，容易使得团队在追求表面上的优秀成绩的同时忽视了实际的研发能力提升。为了短期避免悖论的出现，引入“测谎”指标成为一种方法。然而，这种方法仍然是治标不治本，因为它未能解决度量模型本身的信度和效度问题。我认识到度量模型的信度和效度是关键的。
2024-01-29 17:39:20
216
原创 技术债：千里之堤毁于蚁穴
最近读了一篇论文《Prevalence, Common Causes and Effects of Technical Debt: Results from a Family of Surveys with the IT Industry》，论文很长，主要是通过调研了12个国家和地区的开发人员，给出一些技术债务的分析。
2024-01-24 09:59:20
85
原创 软件测试是质量需求的交付实践
最近反复被测试有用吗？测试必须测试工程师完成吗？为什么要做自动化测试？自动化测试的价值是什么？等等一系列的问题不断地拷问，索性就把这段时间的思考记录下来了。
2024-01-11 22:53:36
146
原创 AI数据和测试评价
数据是AI的基础，AI系统是通过数据的训练而得到的，用于AI系统训练的数据通过收集、清晰、打标等一系列处理后才能用于模型的训练，可见数据是否按照模型的要求完成了上述一系列动作是模型最终表现的重要影响，因此用于训练的数据的质量也是非常值得关注的。在训练完成之后的模型的测试中，传统测试方法“测不准”的现象严重影响了测试结果，那么通过神经元覆盖、层级覆盖的思路可以为测试给予指导，帮助测试工程师完善测试用数据，实现基于覆盖率的测试过程评价，将测试结果的评价转换成覆盖率的评价，从而解决了“测不准”的问题。
2024-01-10 18:16:13
480
原创 通过Langchain实现大模型完成测试用例生成的代码（可集成到各种测试平台）
代码中使用的是讯飞spark3.0版本,其中版本在的控制已经封装到了langchain对应的讯飞的iflytek的类中，可以在调用的时候显示控制，默认是spark2.0版本。
2023-12-04 14:27:02
751
2
原创 解决VSCode按住Ctrl（or Command） 点击鼠标左键不跳转的问题（不能Go to Definition）
往往在升级了VSCode以后，就会出现按住Ctrl（or Command） 点击鼠标左键不跳转的问题，这个问题很常见。
2023-12-01 14:22:04
16520
6
原创 为集成LLM到测试平台提供更便捷的方式：为讯飞的LLM星火创建接入LangChain类（全部源代码）
如上源代码拿来即可以用，其中需要Python的_变量以及将appid、api_secret、api_key存在项目根目录的env文件中就可以了。如果对于_变量不熟悉可以学习：https://blog.csdn.net/crisschan/article/details/133277855?
2023-11-01 23:43:08
736
原创 软件研发质量管理体系建设白皮书 V1.0 下载
软件在现代社会中发挥着越来越重要的作用，但软件质量问题也越来越受到人们的关注。尤其是在软件开发的过程中，可能存在的质量问题会导致交付产品质量下降、项目超预算和延迟交付等问题。在这种背景下，建立研发质量管理体系是非常重要的。本白皮书的主要目的是指导团队如何建立软件研发质量管理体系，帮助软件开发团队提高交付质量，降低缺陷逃逸率和不良质量成本。具体来说，本白皮书为保证软件研发质量而建立的一套完整的流程、方法、实践等的整体内容，覆盖了管理职能、资源管理、产品发布、质量与改进四个方面。
2023-10-30 10:12:38
232
原创 通过Chain Prompts方式将LLM的能力引入测试平台：正交实验测试用例生成
Chain Prompts是指在一个对话或文本生成任务中，将前一个提示的输出作为下一个提示的输入，形成一个连续的链条。这种方法常常用于创建连贯的、有上下文关联的文本。在对话系统中，这种方法可以模拟真实对话中的连续性，使得生成的回复更加自然和流畅。利用Chain Prompts，可以将LLM、外部程序、外部数据连接到一起，实现一个完整的解决方案。下面我们使用Chain Prompts的方式实现正交实验测试用例生成。
2023-10-19 11:45:42
1060
原创 基于通用LLM的一次测试用例自动生成的实验
如上就是一个小实验，尝试使用LLM帮助测试工程师，实验中可以看出prompting base构建的系统就足以满足测试工程师工作的助手的要求了，只要设计好prompt，并且给prompt足够的信息，那么就可以得出有效的测试用例，但是这距离工程化还有一段很长的路要走。
2023-09-25 18:49:48
1063
原创 Python 中只有下划线“_“的变量
" 不管是单独作为变量名或者作为变量名的前缀或者后缀，是有特殊含义的。在python3中，单下划线 "print(_)就可以打印出来这个变量的内容了。也表示Python REPL 中最近一个表达式额结果。Python中，下划线 “
2023-09-25 18:19:05
210
原创 AI 模型：数据收集和清洗
为了训练AI模型，需要收集和准备足够的数据。隐私去除也是必不可少的数据清洗的流程，用于训练大模型的数据绝大部分都是来自网络的，这里面包含了大量的敏感信息和个人隐私信息，如果这样的数据用于大模型的训练那么对于大模型的伦理道德的会形成潜在的风险，增加隐私泄露的可能性。无论收集到的数据集是通用文本数据、还是专用文本数据都要经过一系列的数据清洗才能用于 LLM 模型的训练，在面对初始收集的数据集需要首先通过质量过滤提高数据集的数据质量，常规的做法是设计一组过滤规则，消除低质量的数据，从而实现数据质量的提高。
2023-08-31 13:15:22
484
原创 Fine-tune 的简介
基于重参数法利用的是低秩矩阵表示来减少可训练参数数量，当前使用较多的是 LoRA（Low-Rank Adaptation），将权重更新做一个低秩矩阵分解，使用大模型适配下游任务时只需要训练少量的参数即可达到一个很好的效果，在 LoRA 中，先冻结预训练模型的权重，然后使用Kronecker乘积重参数化的方法，可以在秩和参数数量间找到更好的平衡。fine-tune就是在LLM常说的微调的英文。那么如果有一个现成的模型，和我们要觉得的问题相似，那么我们就可以通过在这个模型的基础之上通过微调达到我们想要的能力。
2023-08-28 15:45:40
302
原创 AI 的测试：模型的基准测试
在评估一个模型的时候，仅通过ROUGE、BLEU SCORE评价模型还是太单薄了，并不能全面的反馈模型的能力。在相完整评估一个模型的能力的时候，最重要的是提供一套有效的评估模型。现在常见的模型的基准测试有 GLUE、SuperGLUE、HELM、MMLU等等。
2023-08-22 18:21:49
422
原创 AI 的测试：模型评估的常用指标
模型是在大量的数据集上训练而来的，无论一个模型是从零训练的还是基于某一个模型，通过微调方法得到的，靠人工评价模型的效果都是异常困难的。那么要想客观的、自动化的评价一个LLM模型，就需要能够选择正确评估模型效果的指标或者基准测试，来客观和自动化的完成评价，从而正确的反馈模型的效果。BLEU SCORE 也是如上指标的一个应用，是n-gram计算精度指标的进行的再计算，要得到BLEU SCORE 需要对一系列的不同大小n-gram的精度指标再进行平均值的求解。F1分数越高，说明模型的效果越好。
2023-08-18 17:51:46
557
原创 LLM的生成配置中参数含义
top-k 参数会让模型不会总是选择top 1 权重的结果返回，从而提高了返回的多样性，同时也保证了输出的正确性。如果返回apple，虽然这个单词也在前三的权重里，但是它的权重就非常地了，因此相关性也就比较弱，这样返回的结果就会不是很好了。这其实又有效的避免了前面 top-k 参数的问题。token相信大家都不陌生了，现在在常用的 chatGPT 使用过程中个就有 token 的概念，这里的参数是 Max new tokens 的设置，是最大的新 token 的数量，是一个上限值。
2023-08-17 13:25:34
489
原创 挂在网盘到本地磁盘（以中移动云盘为例）
发现百度网盘速度越来越慢，因此我想怎么讲百度网盘中300多个G的文件同步到移动云中，因此就有了这一步的探索。
2023-06-02 15:30:34
3263
原创 OpenAI如何让ChatGPT遵守了伦理道德的底线
AI的伦理道德是探讨AI带来的伦理道德问题及风险、研究解决AI伦理问题、促进AI向善、引领人工智能健康发展的一个多学科研究领域。AI的伦理领域所涉及的内容非常丰富，是一个哲学、计算机科学、法律、经济等学科交汇碰撞的领域。
2023-05-29 13:29:48
2665
原创 AI系统的伦理道德验证（AI测试3到11的集合）
AI系统的伦理道德性也是非常重要的。AI的伦理道德是探讨AI带来的伦理道德问题及风险、研究解决AI伦理问题、促进AI向善、引领人工智能健康发展的一个多学科研究领域。AI的伦理领域所涉及的内容非常丰富，是一个哲学、计算机科学、法律、经济等学科交汇碰撞的领域。AI的伦理道德领域所涉及的内容和概念非常广泛，且很多问题和议题被广泛讨论但尚未达成共识，解决AI伦理问题的手段方法大多还处于探索性研究阶段。
2023-05-24 09:51:24
704
原创 11 长效保证机制：伦理道德风险外溢临界模型
特别注意，如果上次评价中有一些测试用例没有测试通过，导致了减分，那么下个周期再次评价的时候，必须包含上一个周期减分的测试用例，其他测试用例也必须重新设计，不可重用。按照伦理道德的六个方面的评估标准分别设立6个维度的评价方法，同时关注反应数据集熟悉的Datasheet以及记录模型详情的Model Card，建立了一个多维度的伦理道德评价体系，学习证券机构评分模型，建立了一个伦理道德评分模型，随着评级的降低，风险外溢的可能性变得越来越多，从而形成了伦理道德风险外溢临界模型。因此伦理道德分数共计100分。
2023-05-23 18:00:41
161
为集成LLM到测试平台提供更便捷的方式：为讯飞的LLM星火创建接入LangChain类（全部源代码）
2023-11-02
个人版强制更新破解Xshell5的nslicense.dll
2019-01-02
ACIS CAD开发类库9
2009-06-10
ACIS CAD开发类库8
2009-06-10
ACIS--CAD开发类库7
2009-06-10
ACIS--CAD开发类库6
2009-06-10
ACIS--CAD开发类库
2009-06-10
ACIS--CAD开发类库4
2009-06-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人