- 博客(808)
- 资源 (36)
- 收藏
- 关注
原创 docker 本地部署大模型(ollama)
此处由于挂载目录使用了相对路径,所以本地文件夹位于 /var/lib/docker/volumes/ollama而非运行命令的相对路径测试 api。
2024-07-08 12:23:33
435
原创 python singledispatch 根据传入参数的类型自动选择相应的实现
装饰器提供了一种在 Python 中实现函数重载的方式。虽然 Python 本身不支持传统的函数重载(即在同一个作用域中定义多个同名函数),但。在上述示例中,process 函数根据传入参数的类型(int、str、list)选择不同的处理逻辑,这就是一种函数重载的形式。装饰器允许你定义一个函数,并根据传入参数的类型自动选择相应的实现。这在处理不同类型的输入时非常有用。允许你根据参数类型来选择不同的函数实现,从而实现类似重载的效果。下面是一个简单的示例,展示了如何使用。
2024-07-08 10:08:56
215
原创 python 判断 〇 是否在\u4e00-\u9fff范围内
在Unicode编码中,\u4e00-\u9fff范围代表了中日韩统一表意文字(CJK Unified Ideographs),这个范围包含了大部分的汉字。要判断一个字符是否在这个范围内,可以使用编程语言中的字符编码函数。函数获取该字符的Unicode编码,然后检查这个编码是否在\u4e00-\u9fff范围内。,并不在\u4e00-\u9fff范围内。以下是一个使用Python语言的示例代码,用于判断字符。实际上是一个中日韩兼容表意文字,其Unicode编码是。如果你需要判断的是其他字符,只需将。
2024-06-03 14:44:36
415
1
转载 BERT+CRF 设置不同的学习率
参考文献https://blog.csdn.net/qq_41554005/article/details/119898464https://kexue.fm/archives/7196https://arxiv.org/pdf/2301.02459https://blog.csdn.net/weixin_40959890/article/details/128973262
2024-05-30 16:59:51
61
原创 ner pipeline 超长文本处理
在使用transformer模型做NER识别时,通常会用上pipeline因此非常有必要对超长文本分批处理,每次处理部分,最后合并结果。
2024-05-20 20:44:21
229
1
原创 spacy NER 位置信息不考虑空格!!!
令人震惊和愤怒的是三次结果输出的位置是一样的!spacy居然先把空格过滤了再输出位置。虽然输出的实体位置不是真实的位置,但displacy渲染结果都是对的。
2024-05-14 18:37:06
153
原创 spacy.prefer_gpu 失败
参考:https://github.com/explosion/spaCy/discussions/10441。参考:https://spacy.io/usage。检查正确的spacy cuda版本。检查一下脚本是否正常执行。
2024-05-11 15:34:33
159
原创 使用规则进行命名实体识别(NER)
基于规则的NER方法是一种古老但依然有其价值的方法。它在特定场景下,如领域文本处理、实时应用等,具有不可替代的优势。然而,随着深度学习技术的发展,基于规则的NER方法正逐渐被基于模型的方法所取代。未来,如何将规则的方法与模型的方法相结合,发挥各自的优势,是一个值得探索的方向。
2024-05-10 11:10:47
1098
原创 BERT tokenizer 增加全角标点符号
bert 的词表,哪怕是 bert-base-chinese,对中文全角标点的支持不是很好。文件里把这些标点加上。直接替换 [unused] token 即可。因此在微调bert时,需要在。
2024-04-22 19:03:57
354
原创 Error: pg_config executable not found.
Error: pg_config executable not found.
2024-04-11 23:31:33
302
原创 手把手带你实现大模型检索增强生成RAG(一)——数据清洗准备
首先,需要整理一大堆可以用来检索的文本数据,这些数据可以是网页、论文、报告、电影脚本、电视剧脚本等等。这些数据可以是原始的文本数据,也可以是经过清洗、处理过的文本数据。由于秘籍是pdf的,所以先要从pdf转成txt文件。当然,这个代码直接交给gpt去完成了。当然,二道贩子难免会在pdf里夹带私货,所以还需要对提取后的文本进行清洗、处理。经过以上步骤,我们就得到了一份清洗、处理后的文本数据,可以用来检索。清洗后的文件已上传csdn,放在评论区,欢迎大家下载。作为IT打工仔,我从二道贩子处购入一本软考秘籍。
2024-03-14 14:04:40
703
1
原创 python钉钉机器人加签
description:机器人发送签名不匹配;solution:请确认签名和生成签名的时间戳必须都放在调用的网址中,请确认机器人的密钥加密和填写正确;
2024-03-04 14:13:56
543
原创 contextlib 自定义上下文管理
try:yieldfinally:print('[耗时]: {}s'.format(time.time() - tic))
2024-02-04 14:46:58
382
2024年3月杭州及周边小区挂牌价格
2024-03-22
利用 SIFT 实现图像拼接 python 代码
2021-01-01
python 使用摄像头监测心率
2020-10-14
知网爬虫.ipynb
2020-09-10
Python 图片中扭曲矩形的复原
2020-09-06
explore_data.ipynb
2020-05-20
Introduction to symmetry analysis (2002) [Brian J. Cantwell]
2020-01-07
Feedback Control in Systems Biology
2019-09-18
ICML 2019年 会议文章目录 (含论文下载链接)
2019-06-04
《应用非线性控制》【Slotine & Weiping Li 著】MIT经典教材
2019-01-05
Handbook of Matrices
2018-09-22
算法设计(英文文字版)by Jon_Kleinberg & Eva_Tardos
2018-09-19
icml 2018年 会议文章目录(含文章下载链接)
2018-09-17
link prediction in social networks: law of power distribution
2018-01-23
《Combinatorial Optimization》Cook, Cunningham, Pulleyblank, Schrijver
2017-11-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人