linux下提取日志文件中的某一行JSON数据中的指定Key

最新推荐文章于 2024-07-21 07:15:05 发布
最新推荐文章于 2024-07-21 07:15:05 发布
阅读量856 收藏 1
点赞数
文章标签： linux 运维 服务器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lingyejun/article/details/127335344
版权

背景

今天在定位问题时，通过日志打印出来调用第三方接口的返回结果对象的值，但因为这个返回信息太多，导致日志打印时对应的这行日志翻了四五屏才结束，这种情况下不好复制粘贴出来去具体分析返回结果对象，主要是我们需要针对返回的json对象提取对应的key去进行分析查询。

提取

  1. vim logs/service.log打开对应的日志文件，然后:set nu设置行号显示，得到对应的日志所在行号为73019
  2. 使用sed -n "开始行，结束行p" filename将对应的日志打印出来。sed -n "73019,73019p" logs/service.log，过滤得到我们所需要的日志行。
  3. 将对应的日志保存到文件中，方便我们分析。sed -n "73019,73019p" logs/service.log > 20220616.log
  4. 使用sz命令，将文件下载到本地进行后续处理。sz 20220616.log
  5. 使用Nodepad++打开json文件，此时打开文件还是一行数据，我们需要将json数据进行格式化，变成多行。【插件】->【JSON Viewer】->【Format JSON】
  6. 过滤出指定Key所在的行，grep imei 20220616.log > 20220616_imei.log
  7. 最终得到了我们想要的数据。

本篇文章如有帮助到您，请给「翎野君」点个赞，感谢您的支持。

首发链接：https://www.cnblogs.com/lingyejun/p/16384144.html

翎野君
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Fluentd日志收集与解析实践
程序员光剑
07-28 1591
Fluentd 是一款开源、多平台、全面的日志聚合、传输和处理工具，支持包括 Apache Kafka、Elasticsearch、InfluxDB、Cloudwatch Logs 在内的一系列主流日志采集、传输和处理服务。本文将详细介绍Fluentd日志收集组件的主要功能，并对 Fluentd 及其相关组件进行配置、部署，帮助读者更好地理解 Fluentd 的工作机制及架构设计，更好的掌握 Fluentd 的使用方法。Fluentd 是一个开源的日志收集和传输框架。
Elastic Stack ELK日志分析平台介绍及使用
程序员光剑
08-04 1466
18年，Elasticsearch、Logstash、Kibana（ELK）以及Apache Kafka等开源技术在数据处理和日志分析领域广受关注。作为一款开源分布式搜索和分析引擎，Elastic Stack 无疑是最热门的企业级日志解决方案之一。基于它的ELK组件架构可以快速搭建日志分析平台，支持复杂日志检索、提取、分析功能，具备强大的可视化能力，还可以通过RESTful API接口调用或Python客户端进行扩展。ELK是ELK Stack中的最后一环，用于将日志信息实时地收集、存储、分析并呈现给用户。
使用grep和正则表达式提取JSON值
Leon_Jinhai_Sun的博客
06-07 299
使用grep和正则表达式提取JSON值
linux截取文件特定行,截取与分析日志文件的特定行数的操作
weixin_29131533的博客
04-29 2780
在进行操作系统和数据库系统管理时，经常会遇到在日志文件中查找某个字符，或者按照时间截取某个时间段的日志进行分析。今天早上就遇到一个MySQL数据库上的问题，mysql数据库在0-3点的时候，数据库会话连接，tps，cpu和iowait等都比平时大了许多。为了定位这个时间段内，到底发生了那些慢查询，消耗了资源，就需要在slow.log慢查询日志进行查询，截取和分析。在处理过程中，对几种常用的日志截取...
Linux grep技巧 提取log中的json数据
最新发布
菜鸟记录
07-21 440
⏹Linux grep技巧 提取log中的json数据
【linux/shell】获取json文件中某个键值
o0o
02-18 5241
问题说明 在linux下处理文本文件时，想要快速获取某个json文件(内容特别多)中的一个值，此时可以直接使用shell来完成 方式 参考stackoverflow# python3 cat test.json | \ python3 -c "import sys, json; print(json.load(sys.stdin)['key'])" # python2 export PYTHONIOENCODING=utf8 cat test.json | \ python2 -c
linux查看日志中特定字符串以及前后信息内容命令
热门推荐
Tastill的博客
05-07 2万+
在项目实施过程中，我们经常会查看日志，更是经常会根据某些特地字符串去查找日志内容。下面就是日志查找命令：1、查询字符串命令： cat fileName|grep '要查找的字符串'实例：cat catalina.out|grep '2018041417434200258001'2、根据某个字符串，查询该字符串前后文本信息命令：grep-A|B n"key"file其中：    A：表示在字符串之后...
linux查询日志中指定字段
weixin_43145985的博客
05-13 9685
1.grep命令：cat 1.log | grep key 可以写为： grep key 123.log 根据字符串查询日志中关键词出现的位置：cat -n 日志文件| grep ‘keyword’ 例： cat -n 123.log | grep 'keyword' grep 'keyword' 123.log 检索日志，并显示该条日志的前后N（10）行记录：cat 日志文件 | grep -n -B10 -A10 “关键字” cat -n 123.log | grep -n -B10 -A10 '
Linux服务器查看json日志之jq工具介绍使用
php_xml的博客
08-07 827
2020年8月7日13:51:20 JSON是前端编程经常用到的格式，对于PHP或者Python，解析JSON都不是什么大事，尤其是PHP的json_encode和json_decode,干的相当的漂亮。Linux下也有处理处理JSON的神器：jq。 1、安装linux下格式化json数据的工具jq 2、jq使用方法 默认没有格式化，根本看不懂写的什么 特别是一些日志类型的文件 那么Jq怎么查看： 命令： 数据很干净，很舒服。 Jq的其他用法，请自己百度，包括解析数据 .
数据中台建设方案-基于大数据平台
2301_76549664的博客
03-14 4415
通过对客户大数据应用平台服务需求的理解，根据建设目标、设计原则的多方面考虑，建议采用星环科技Transwarp Data Hub（TDH）大数据基础平台的架构方案，基于Transwarp Operating System（简称TOS）云平台方式部署构建。 通过建立大数据集成平台、大数据计算平台、大数据开发平台及大数据运维平台来满足客户大数据应用平台服务建设的要求。
[MIT公开课(计算机教育中缺失的一课)]4.数据整理
m0_45338067的博客
08-28 669
上一讲：编辑器(Vim) 下一讲： 目录
日志收集及数据清洗 fluentd fluent-bit
分享数据工作中实际碰到的问题和解决方法
07-06 2163
日志收集及数据清洗 fluentd fluent-bit
Linux 读取JSON字符串
努力才会有幸福
07-15 1907
文章目录1. C++ json读写1.1. rapidjson1.2. JsonCpp1.2.1. 安装和编译2. C语言使用CJSON2.1. 编译和安装3. shell读写json3.1. JQ实例13.2. JQ实例23.2. shell命令 1. C++ json读写 1.1. rapidjson git clone https://github.com/Tencent/rapidjson.git 待续 1.2. JsonCpp 1.2.1. 安装和编译 下载 http://sourcefor
Linux下利用json-c从一个json数组中提取每一个元素中的部分字段组成一个新json数组...
weixin_30951389的博客
04-27 248
先把代码贴上来，有时间整理一下 首先说一下要实现的功能： 假定现在有一个json格式的字符串，而且他是一个josn中的数组，比如： [ { "id": "NEW2017042605516200", "id_type": 0, "time": "1493270962" ...
linux脚本读文件的值,shell脚本如何从json文件读取一个某个值
weixin_42335570的博客
05-08 1260
来自：https://zhidao.baidu.com/question/369911229489608484.htmltime=`cat json|awk -F"[xxx]" '/xxx/{print $x}'`json.txt:{"people": [{"firstName": "Brett","lastName": "McLaughlin","email": "aaaa"},{"firstN...
Linux下的json-c
weixin_52068218的博客
02-11 2209
你需要传递要获取值的 JSON 对象指针 obj、要获取值的键的字符串表示 key，以及一个指向 json_object* 类型的指针 val，用于存储获取到的值。函数将返回指定索引位置的元素的指针。在 json-c 库中，json_object_object_get_ex 函数用于从 JSON 对象中获取指定键的值，并将其存储在提供的变量中。json_object_array_get_idx 是 json-c 库中的一个函数，用于获取 JSON 数组对象中指定索引位置的元素。
linux提取日志文件,linux – 从unix中的.gz日志文件中提取值
weixin_39585070的博客
04-28 336
我试图从一堆基本上压缩的日志文件的.gz日志文件中提取一个特定的值(例如本例中的userAgent).这些日志文件中每个日志语句的格式如下所示：2013-06-20;02:00:02.503 [664492205@qtp-446095113-8883]-Activity [response@12293 appId=testApp userAgent=BundleDeviceFamily/iPhon...
linux shell 解析json获取某个key的value
yy的博客
12-13 1916
json shell
Zabbix监控之Linux命令行/Shell脚本解析json
weixin_33694172的博客
08-13 1169
本文主要写了在Linux下如何用Shell脚本解析json数据，以便于在Zabbix中添加适合于业务应用的监控项。为什么要使用json？json作为一种文本化的数据格式（文本化协议），符合UNIX编程的哲学，既符合透明性（透明性：设计可见，便于审查和调试）又符合文本性（文本性：数据应该保存为文本文件）。关键在于json对Web程序或者java程序非常友好，对于开发人员来说，他们也喜欢使用json数...
java实现替换文件中最后一行json数据
05-26
可以使用Java的IO流和JSON库来实现替换文件中最后一行的JSON数据。 首先，使用Java的IO流读取文件并将每行数据存储在一个List中： ```java List<String> lines = Files.readAllLines(Paths.get("file.json"), StandardCharsets.UTF_8); ``` 然后，取出最后一行数据： ```java String lastLine = lines.get(lines.size() - 1); ``` 接着，将最后一行数据转换为JSON对象： ```java JSONObject json = new JSONObject(lastLine); ``` 接下来，对JSON对象进行修改或替换操作。 最后，将修改后的JSON对象重新转换为字符串格式，并将其替换原先的最后一行数据： ```java lines.set(lines.size() - 1, json.toString()); ``` 最后，将修改后的数据写入文件： ```java Files.write(Paths.get("file.json"), lines, StandardCharsets.UTF_8); ``` 完整代码示例： ```java import org.json.JSONObject; import java.nio.charset.StandardCharsets; import java.nio.file.Files; import java.nio.file.Paths; import java.util.List; public class Main { public static void main(String[] args) throws Exception { List<String> lines = Files.readAllLines(Paths.get("file.json"), StandardCharsets.UTF_8); String lastLine = lines.get(lines.size() - 1); JSONObject json = new JSONObject(lastLine); json.put("key", "value"); // 修改或替换操作 lines.set(lines.size() - 1, json.toString()); Files.write(Paths.get("file.json"), lines, StandardCharsets.UTF_8); } } ``` 注意：以上代码仅适用于文件中最后一行是JSON数据的情况，如果最后一行不是JSON数据，则需要进行额外的判断和处理。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值