小李飞刀李寻欢
视频号:小明哥直播间
展开
-
声纹复刻方案并进行tts文本转语音
有一个机器人学自己说话,就像鹦鹉学舌一样,不过声音更像,就好像真人一样,这种是不是在面点zhapian中分不清了,woc,听起来是不是很可怕,但技术无过,重要的是使用技术的人。3. 生成语音:我们定义了一个 text_to_speech 函数,该函数接受文本和目标声音的音频样本,生成相应的语音,并保存为 WAV 文件。4. 准备声音样本: 为了进行声音复刻,我们需要一个目标声音的音频样本。声音clone,声音复刻,声纹复刻,clone你的声音。# 如果有目标声音的音频样本,则使用它。原创 2024-10-18 14:30:20 · 339 阅读 · 0 评论 -
法律文书审查专项使用大模型实现
': {'符合法律法规': True, '符合法规的表述': None},results[sentence] = {"符合法律法规": True, "符合法规的表述": None}"合同法": ["合同", "签订", "双方", "公平", "对等", "合理", "违约", "赔偿"],"公司法": ["公司", "社会代码", "注册", "股东", "董事会", "法定代表人"],"劳动法": ["劳动合同", "工资", "工时", "休假", "社会保险", "劳动争议"],原创 2024-10-18 14:10:12 · 126 阅读 · 0 评论 -
用大模型或者预训练模型对图片进行OCR
要使用预训练模型对图片进行OCR(光学字符识别)并将识别结果标记在图片原文的下方,你可以使用Hugging Face上的`transformers`库和`pytesseract`库。- **TrOCR模型**: 我们使用的是Microsoft提供的TrOCR模型,它是一个基于Transformer的OCR模型,适用于手写和打印文本。- **pytesseract**: 虽然我们主要使用TrOCR模型进行OCR,但`pytesseract`库可以用于处理图像和文本的绘制。# 使用TrOCR进行OCR。原创 2024-10-18 13:55:23 · 431 阅读 · 0 评论 -
用大模型或者向量模型比如huggingface上的模型,处理一批图片,对该图片进行分类,检索
2. **图像特征提取**:使用预训练的模型(如CLIP、ResNet等)提取图像的特征向量,然后进行相似度检索。1. **图像分类**:使用预训练的图像分类模型(如ResNet、EfficientNet等)对图片进行分类。- **图像特征提取与检索**:使用CLIP模型提取图像特征向量,并通过余弦相似度或向量数据库进行检索。我们将使用Hugging Face的`transformers`库中的预训练模型来进行图像分类。- **图像分类**:使用预训练的图像分类模型(如ViT)对图片进行分类。原创 2024-10-18 13:50:56 · 278 阅读 · 0 评论 -
elastic search后端安装方法(服务端)
Elasticsearch 启动后,默认会在 `http://localhost:9200` 上运行。访问 [Elasticsearch 下载页面](https://www.elastic.co/cn/downloads/elasticsearch),选择适合你操作系统的版本并下载。要在本地安装 Elasticsearch,你需要先安装 Java JDK。Elasticsearch 的配置文件位于 `config` 目录下,主要的配置文件是 `elasticsearch.yml`。原创 2024-09-25 15:57:07 · 719 阅读 · 0 评论 -
elastic search 向量检索的过程包括数据写入与查询
Score: 2.0, Data: {'content': '我被打了怎么办', 'dense_vector': [1, 2, 3, 23, 2, 3, 2], 'jid': '0dn9ocndso93wnf', 'text': 'others message'}以下是一个完整的 Python 示例,展示了如何将数据写入 Elasticsearch 并进行向量检索查询。"dense_vector": {"type": "dense_vector", "dims": 7}, # 7 维向量。原创 2024-09-25 15:43:10 · 285 阅读 · 0 评论 -
elastic Search 初步之向量检索的数据写入及检索查询
Elasticsearch 从 7.3 版本开始引入了向量检索功能,支持通过向量字段进行相似度搜索。以下是实现向量检索的步骤和方案,包括 Python 和 Java 版本的代码示例。首先,需要在 Elasticsearch 中创建一个索引,并定义一个向量字段。向量字段可以是 `dense_vector` 类型。使用 `script_score` 查询来进行向量检索。#### 1. 最低实现向量检索的 ES 版本。#### 2. 创建索引并定义向量字段。插入包含向量字段的数据。#### 4. 向量检索。原创 2024-09-25 15:35:43 · 393 阅读 · 0 评论 -
elasticsearch 向量检索 ann
在这个例子中,我们首先创建了一个名为my_vectors的索引,并定义了一个名为my_vector的dense_vector字段,用于存储5维向量。然后,我们向索引中添加了两个文档,每个文档包含一个向量。最后,我们执行了一个向量搜索,使用余弦相似度(cosine similarity)来评估与查询向量的相似度。在Elasticsearch中,你可以创建一个包含向量的文档类型,并使用dense_vector字段类型来索引这些向量。向索引中添加文档,每个文档包含一个或多个向量。原创 2024-09-24 10:09:51 · 375 阅读 · 0 评论 -
Python文本数据切分及HTML数据处理
a class="lawregu_link" lawregu-detail lawreguid="8dbb3944e7943feda57a0a71be705910" lawregutiao="第四十八条">《中华人民共和国妇女权益保障法》第四十八条</a>规定,用人单位不得因结婚、怀孕、产假、哺乳等情形,辞退女职工或单方解除劳动合同。注意,这里的示例是基于中文的句号来切分的,对于其他语言可能需要调整正则表达式的匹配规则。在这个例子中,我们要移除的是形如<a ...>的HTML标签。# 移除HTML标签。原创 2024-09-14 14:06:39 · 304 阅读 · 0 评论 -
python LLM大模型实现OneAPI接口
大模型统一接口API设置原创 2024-05-17 17:32:04 · 415 阅读 · 0 评论 -
python实现RAG相关思路与过程
python实现大模型向量检索RAG原创 2024-05-17 17:05:41 · 296 阅读 · 0 评论 -
GPT-4o流式数据处理 Extra data: line 3 column 1 (char 254
GPT-4o流式数据处理,二次转发原创 2024-05-17 16:50:05 · 633 阅读 · 0 评论 -
微调/sft 通义千问Qwen1.5-110b-chat的代码及infer代码
大模型的微调及推理原创 2024-05-09 15:34:28 · 559 阅读 · 0 评论 -
ChatPDF代码解读2
ChatPDF代码实现解读2原创 2024-04-18 11:49:02 · 284 阅读 · 0 评论 -
ChatPDF实现代码解读
ChatPDF代码解读原创 2024-04-18 11:41:44 · 267 阅读 · 0 评论 -
NLP地点位置抽取python库实现
地点识别python方法原创 2024-04-17 18:24:18 · 515 阅读 · 0 评论 -
大模型在法律方面的应用及方案
大模型在法律行业的应用及落地方案原创 2024-04-17 18:16:35 · 481 阅读 · 0 评论 -
pdf拆分成各个小pdf的方法
pdf拆分原创 2024-01-17 17:58:26 · 463 阅读 · 0 评论 -
AttributeError: ‘ChatGLMModel‘ object has no attribute ‘prefix_encoder‘
ChatGLM-6B微调之Lora版本原创 2023-10-08 17:46:46 · 1245 阅读 · 0 评论 -
大数据向量检索的细节问题
基于亿级高纬度向量数据的检索原创 2023-08-21 17:55:45 · 787 阅读 · 0 评论 -
OpenWebtext数据集
用于GPT2文本生成的OpenWebtext数据集。原创 2023-07-26 10:56:50 · 1039 阅读 · 0 评论 -
基于清华chatglm-6b模型的向量化检索问答
基于本地知识库的智能问答。原创 2023-06-13 16:18:35 · 1553 阅读 · 0 评论 -
query与doc的相关性模型gensim
query与doc的相关性demo,测试了title为doc时的相关性,效果较差,因为doc与query之间是不同纬度,query中的词在doc并不会出现,所以很难做。原创 2023-05-12 10:50:12 · 349 阅读 · 0 评论 -
推荐算法再次踩坑记录
推荐算法tf-serving部署服务,docker部署CPU,GPU都可以。原创 2023-03-17 19:39:30 · 1922 阅读 · 2 评论 -
如何做召回dssm,fm,Mind,youtube等模型
推荐算法之召回模型SDM,DSSM,FM,MIND,YouTubeDNN模型原创 2023-03-31 15:37:41 · 649 阅读 · 1 评论 -
对话大模型体验(最后附源码)
chatgpt国内版本初步上线(仅供参考)原创 2023-03-15 15:42:43 · 1208 阅读 · 1 评论 -
信息抽取UIE
信息抽取中的事件抽取原创 2023-03-07 10:49:29 · 1137 阅读 · 2 评论 -
Bert文本聚类实践
文本聚类探索与实践,文本分类用于聚类能行么?原创 2023-02-10 10:00:11 · 1439 阅读 · 0 评论 -
NLP 工作中bug记录
bug记录-自然语言处理原创 2023-01-09 14:09:37 · 717 阅读 · 0 评论 -
sentence Bert解读及代码示例
SBERT论文详解并附代码。STS任务原创 2022-12-08 23:24:37 · 1306 阅读 · 4 评论 -
Bert论文解读及相关代码实践
bert论文解读及微调方法原创 2022-12-08 12:31:29 · 776 阅读 · 0 评论 -
信息抽取/实体关系抽取之UIE
飞酱NLP之信息抽取,知识抽取,关系抽取UIE原创 2022-12-06 16:34:12 · 4943 阅读 · 2 评论 -
fastTEXT论文解读并附实例代码
fastTEXT如何做压缩的原创 2022-12-03 16:39:53 · 917 阅读 · 0 评论 -
NLP基本业务范围之二
NLP基本业务:阅读理解,因果模型,文本生成,翻译原创 2022-12-02 15:12:20 · 1324 阅读 · 0 评论 -
NLP基本业务范围
NLP基本业务,纠错,掩蔽词MASK,NER,情感分析,文本摘要原创 2022-11-30 19:19:52 · 743 阅读 · 0 评论 -
fastTEXT入门自然语言处理NLP
fastTEXT自然语言处理,词向量,文本分类原创 2022-11-27 23:11:29 · 872 阅读 · 0 评论 -
广告算法相关概念及基础知识
广告算法基本概念原创 2022-10-20 15:47:52 · 2767 阅读 · 0 评论 -
推荐算法面经之八股文
推荐算法八股文,必看原创 2022-10-13 16:46:10 · 1730 阅读 · 0 评论 -
spark基本数据处理之推荐数据movielens
java-spark-SQL数据处理,主要用java写的,将SQL转换成java表达原创 2022-09-23 01:26:28 · 417 阅读 · 0 评论 -
spark使用之ALS版本对比
用spark进行ALS推荐原创 2022-10-19 13:58:15 · 1049 阅读 · 0 评论