shell script 写json文件_AllenNLP之config.json文件如何写？

最新推荐文章于 2024-08-09 23:54:45 发布
最新推荐文章于 2024-08-09 23:54:45 发布
阅读量424 收藏
点赞数
文章标签： shell script 写json文件
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39645249/article/details/113629145
版权
本文详细介绍了AllenNLP框架中config.json的格式要求，包括配置参数、json书写规则以及关键模块的配置示例，如LSTM、初始化模块和迭代器。强调了train_data_path的必要性，以及如何配置已有的词汇表和额外的encoder层。对于初学者，这是一份实用的配置指南。
摘要由CSDN通过智能技术生成

使用AllenNLP的童鞋一定很头疼一件事情，那就是config.json的格式应该如何去书写。我们总是不经意间会多加一行或者少一个逗号，这样在解json文件或者初始化我们的模型都会遇到bug。

这里就总结一下，json文件书写的格式，希望对大家有所帮助。

首先，我们应该知道我们能够配置的参数有哪些？下图将会告诉大家我们可以配置的参数~

0f0294fb1213c34a035aae5aac390256.png
这些时可以配置的参数

8fe732e7d64612f8528396d0fbce9a45.png
这个是我们最外层的json形式，虽与上图并不是一一对应的关系，但是只是层级不一样罢了。

b81ce3b922e04e587ab09b1e656f1f44.png
type必不可少，token_indexer里的namespace命名要与后面的embedder相对应，这样才能正确的look up

09d9c205b2e7e1ce9de9aa4105fc95a2.png
三个路径中，除了train_data_path是必选，其他皆可选。但是test_data_path 要求也必须是有标签才行！！！！！！！

59aadd580aa5c12c96e8422a80ac5eed.png
vocabulary是可选的，如果你之前已经建立好词表，则可以直接配置，allennlp就不会重新遍历训练集再去生成一遍词表。

98888bb38110c80154f4689ca1b55dc4.png
token_characters 里面可以配置encoder，表示在embedding层后面再添加一层encoder

至于常用的module，这里列举几个：

b0ef49e2131ca555859d2e89238c5bd2.png
配置LSTM

a5e2d1684ad3608f2ea1d90a016c8346.png
配置全连接

afd71a7d70ef0bc2682f8afae9ec9f5f.png
初始化模块的配置方式，使用正则匹配

8365644c164f452f60c28ba0ecaa3c17.png
对哪些层添加正则约束的意思，同样是使用正则匹配

272ade32450c30826eb9a19272b23116.png
iterator迭代器的配置，这里可以配置batchsize的大小

54c9f098ecc0baf325ad11c304152531.png
训练相关参数的配置，注意cuda_device是使用GPU的列表

64d99fc8898fcfd299a54ab57d3b594d.png
EMA的配置

感觉常用的配置就这些，如果大家对其他配置感兴趣可以留言或私信，我看看我会不会，会的话再补上~

weixin_39645249
关注
jupyter_notebook_config.py的配置详解
wujunlei1595848的博客
05-15 1万+
# Configuration file for jupyter-notebook. #------------------------------------------------------------------------------ # Application(SingletonConfigurable) configuration #-----------------------...
jenkins 读取json文件_使用Jenkins写入工作区中的json文件
weixin_42474537的博客
01-12 796
我有一个jenkins工作,几乎没有参数设置,我在工作区中有一个JSON文件,必须使用我通过jenkins的参数进行更新.例：我有以下参数,我将从触发该作业的用户输入：>环境(考虑用户选择“ENV2”)>文件名(考虑用户保持默认值)我在run / job.json下的工作区中有一个json文件,其中包含以下内容：{environment: "ENV1",filename: "abc.t...
shell脚本修改json中某个字段的值
10-25
shell脚本修改json中某个字段的值 - 思路：通过awk来找到旧数据，然后用sed来替换旧数据
shell script 写json文件_从写shell的帮助文档开始...
weixin_35092037的博客
01-25 251
更多互联网新鲜资讯、工作奇淫技巧关注原创【飞鱼在浪屿】(日更新)写bash的help文档可能是困扰你的一个问题。也或许你可以轻易使用执行print()在终端中打印出这些help文档。但是这里介绍一个通用的小技巧。在文件最上方写#!/bin/bash###### my-script — does one thing well###### Usage:### my-script ###### O...
Shell处理Json数据
promise524的博客
08-09 1276
Linux Shell中处理JSON
shell命令：生成json的工具jo命令介绍
laugh_man的博客
11-23 944
jo命令是"Json Output"的简写，是linux系统shell里用来创建json字符串或文本的工具。它可以从文本文件里去读取json字符串，也可以根据你要提供的key，value去生成一个json字符串，是一个比较好用的工具。不同于另外一个jq工具，jo命令主要是用来生成json字符串或文件的，而jq工具更常用的功能去做json对象的解析。
linux 生成 json,用shell生成json文件
weixin_39676972的博客
05-13 611
文件内容如下[root@Masteropt]#cat/opt/json.txtaabbcc脚本内容如下[root@Masteropt]#catjson.sh#!/bin/bash#array=(aabbcc)array=($(cat/opt/json.txt))printf"{\n"printf'\t"data":[\n'for((i=0;idoprintf'\t\t{\...
TwilioGPT短信聊天机器人_TypeScript_Shell_下载.zip
04-24
用户解压后，可能在这个目录下找到如“index.ts”（主程序文件）、“config”（配置文件）、“scripts”（Shell脚本）等子目录，以及“package.json”（项目依赖和配置）和其他TypeScript源代码文件。 **详细知识点...
Elasticsearch警报守护进程_Go_Shell_下载.zip
04-05
- `config.yaml`/`config.json`：配置文件，包含Elasticsearch连接信息、警报规则和通知设置。 - `alerts`目录：包含具体警报逻辑的代码，如`cpu_alert.go`、`index_alert.go`等。 - `notifiers`目录：实现各种通知...
Flask 配置文件config之from_object 篇
bestallen的博客
08-17 2万+
Flask Web开发看到第7章，硬着头皮感觉看不下去 回过头去补基础 这里讲到 app.config.from_object() 这个加载配置的方式 首先，app是通过app=Flask(__name__)来实现的 那么，app的config方法肯定是通过Flask类里面获得的 先看到app的config属性的定义 然后，我们再看到make_confi
Shell 脚本实现自定义解析 Json 数据
xmbcc777的博客
12-28 1607
修改为 json 文件后将其上传到 Linux 的一个文件夹下作为处理数据。对于上面类型的 json 数据，首先需要把它存入一个 json 文件中。（可以先存放 txt 文件，通过修改后缀方式更改为 json 文件）在 json 文件同级目录下创建并编辑一个 shell 文件。输入 rz 指令上传编辑好的 json 数据文件。调用 sh test.sh 命令来执行。至此数据准备工作完成。编辑好后 wq 退出。
Bash JSON
weixin_33696822的博客
11-09 186
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 6...
【Allennlp】: 怎样创建Allennlp中的Configuration文件
Jack_Kuo的博客
05-13 462
说明 AllenNLP提供了很好的使用xxx.json的配置文件来配置模型的超参数，输入输出，训练优化器等等。 但是我们在创建自己的配置文件的时候一般是看api或者修改之前的例子，对于新手来说稍微有点麻烦。 这里官方提供了一个实验性的前端交互页面来配置，这样，我们点击某个属性名，前端页面就可以显示属性名的具体含义，方便我们快速知道这个属性是否是我们想要的以及需要怎样配置： 具体使用可以参考官方说明：create_a_configuration.md ...
shell 脚本 获取Git 信息写入Json
LcukyCat的博客
04-11 484
二 shell 获取Git 写入Json。shell 获取git 信息写Json。二. `一## ## 标题## 标题。一 shell 脚本 错误归纳。1.获取branch。
shell批量生成格式化json文件
weixin_45782719的博客
08-22 748
shell
linux shell json操作命令 jq 简介
whatday的专栏
06-21 3013
jq命令允许直接在命令行下对JSON进行操作，包括分片、过滤、转换等 ,jq是用C编写，没有运行时依赖，所以几乎可以运行在任何系统上。预编译的二进制文件可以直接在Linux、OS X和windows系统上运行，当然在linux和OS X系统你需要赋与其可执行权限；在linux系统中也可以直接用yum安装。下载地址 https://stedolan.github.io/jq/download/本文主要介绍其使用，默认是已经安装好的，没有安装的，请自行安装。现在先准备json串，如下kumufengchun.j
使用 Shell 脚本来处理 JSON
隔壁老瓦的专栏
06-01 1万+
使用 Shell 脚本来处理 JSON，有以下三种方法： 使用awksed 使用第三方库 调用其他脚本解释器 JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式。 易于人阅读和编写。同时也易于机器解析和生成。 它基于JavaScript Programming Language,Standard ECMA-262 3rd Edition - December 1999的一个子集。 JSON采用完全独立于语言的文本格式，但是也使用了类似于C语言家族的习...
Shell命令行处理JSON
热门推荐
王佩的CSDN博客
12-03 5万+
基本介绍 经常用python或java处理json数据，其实在Shell命令行，我们可以用开源JQ工具来处理Json数据。会更加简洁和高效。 CentOS 安装JQ wget -O jq https://github.com/stedolan/jq/releases/download/jq-1.5/jq-linux64 chmod +x ./jq cp
使用json作为配置文件 在shell读写操作
最新发布
09-20
在Shell脚本中，JSON可以作为一种灵活的配置文件格式，因为它结构清晰并且易于解析。以下是使用JSON作为配置文件进行读写的基本步骤： ### 读取JSON配置文件 首先，你需要使用`jq`或其他支持JSON的工具来读取数据。例如，假设你有一个名为config.json的文件，内容如下： ```json { "database": { "host": "localhost", "port": 5432, "username": "admin", "password": "secretpassword" } } ``` 你可以使用以下命令来获取`host`值： ```bash cat config.json | jq -r '.database.host' ``` ### 写入JSON配置文件 如果你想修改这个文件或者添加新的配置项，可以先创建一个新的JSON字符串，然后用`echo`命令将其追加到文件末尾，再使用`>`覆盖原文件，或者使用`jq`直接替换原有部分并保存： ```bash # 修改现有文件 new_config='{"database": {"host": "new_host"}}' echo $new_config >> config.json # 或者使用jq替换 jq '.database |= . + {host: "new_host"}' config.json > config.json.new && mv config.json.new config.json # 添加新条目 echo '{"new_section": {"key": "value"}}' >> config.json ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值