linux系统使用head和tail命令,快速切分json 格式的数据集

介绍

json格式的数据集,每一行都是一个单独数据单元。
data.json的文件格式如下:

{"text": "彭小军认为,国内银行现在走的是台湾的发卡模式,先通过跑马圈地再在圈的地里面选择客户,", "label": {"address": {"台湾": [[15, 16]]}, "name": {"彭小军": [[0, 2]]}}}
{"text": "温格的球队终于又踢了一场经典的比赛,2比1战胜曼联之后枪手仍然留在了夺冠集团之内,", "label": {"organization": {"曼联": [[23, 24]]}, "name": {"温格": [[0, 1]]}}}
{"text": "突袭黑暗雅典娜》中Riddick发现之前抓住他的赏金猎人Johns,", "label": {"game": {"突袭黑暗雅典娜》": [[0, 7]]}, "name": {"Riddick": [[9, 15]], "Johns": [[28, 32]]}}}
{"text": "郑阿姨就赶到文汇路排队拿钱,希望能将缴纳的一万余元学费拿回来,顺便找校方或者教委要个说法。", "label": {"address": {"文汇路": [[6, 8]]}}}
{"text": "我想站在雪山脚下你会被那巍峨的雪山所震撼,但你一定要在自己身体条件允许的情况下坚持走到牛奶海、", "label": {"scene": {"牛奶海": [[43, 45]], "雪山": [[4, 5]]}}}

查看训练集的总数

wc -l data.json

在这里插入图片描述

如上图所示,数据集一共有10748行数据。

切分训练集

切分 9000 条作为训练集;取出data.json的前9000行数据存到train.json文件中

head -9000 data.json > train.json

> : 代表把 head -9000 data.json的输出结果写入到train.json文件中;

查看train.json的文件行数

wc -l train.json

下图看出train.json有9000条数据,说明文件切分没问题;
在这里插入图片描述

切分测试集

data.json已经取出了9000行,还剩下 10748 - 9000 = 1748 行数据

取出data.json的尾部1748行数据作为测试集

tail -1748 data.json > test.json
wc -l test.json

在这里插入图片描述

  • 10
    点赞
  • 11
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

jieshenai

为了遇见更好的文章

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值