- 博客(7)
- 收藏
- 关注
RSS订阅原创 Bert 代码笔记
1 huggingface是什么是一个平台，上面有各种模型，特别是transformers，里面提供了很多state-of-art的预训练模型。“Transformers是一个用于自然语言处理（NLP）的Python第三方库，实现Bert、GPT-2和XLNET等比较新的模型，支持TensorFlow和PyTorch。”2 pytorch是什么PyTorch 是一个基于 Python 的科学计算包，主要定位两类人群：NumPy 的替代品，可以利用 GPU 的性能进行计算。3 Bert fine
2021-12-20 21:00:42
947
原创 跑BERT遇到的愚蠢问题
跑句对分类的bert出现：AssertionError: text_pair input must of type str (single example), List[str] (batch or single pretokenized example) or List[List[str]] (batch of pretokenized examples).结果发现是数据里出现了一些奇怪的冗余数据但是在文件本身是没有的删掉奇怪的数据就可以跑通了救命我怀疑是notepad++在转码的时候加上的毕
2021-12-19 23:25:11
2378
4
原创 ES改变检索相似度算法-详解
ES官方文档中记录了可以使用的相似度算法ES官方文档【注】：classic在最新版里已经取消使用了（tf-idf算法）最开始我想通过修改已有索引settings的方式改变搜索算法，但是这个方法貌似行不通（Es论坛里有人也有这样的问题 还没查到解决方法）因此只能使用创建新索引——复制旧索引数据的方式PUT /ntcir_dfi_c{ "settings": { "number_of_shards": 1, "similarity": { "my_simila
2021-10-29 20:22:10
1772
原创 python操作elasticsearch学习笔记
连接实例化一个elastic search的对象from elasticsearch import Elasticsearches = Elasticsearch(host="localhost", port=9200)查询== 请求体 复合查询==返回指定字段返回指定数目请求体：body = { "query":{ "multi_match":{ "query":"oysters dislike east coast",#搜索内容
2021-10-24 14:51:16
2142
原创 2021-10-23连接es并查询使用记录
基本操作pandas DataFrame读取dataframe列类型df.dtypes将写为字典的列展开为dataframe将这一列赋为list类型，然后转化为dataframe就可以看到详细信息了数据：#dataframe名为hits,_source列内容是字典类型记录的detail = list(hits._source)detail = pd.DataFrame(detail)detailES连接#在这之前要pip elasticsearchfrom elasti
2021-10-23 23:18:04
1324
原创 elastic search安装配置教程（详）
elastic search安装及使用教程elastic search下载elastic search配置文件可视化组件elasticsearch-head下载环境配置--Nodejs的下载及安装环境配置--grunt配置elastic search下载1.下载：官网选择windows的文件（msi/zip）下载后解压得到文件2：目录详解：文件名含义bin启动文件config配置文件libjar包logs日志modules功能模块pl
2021-09-14 15:41:19
965
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人