JSON数据清理（详解）

最新推荐文章于 2024-06-15 09:30:47 发布
最新推荐文章于 2024-06-15 09:30:47 发布
阅读量5.6k 收藏 15
点赞数 4
分类专栏： 数据仓库 Spark 文章标签： hive json sql 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42578036/article/details/109962459
版权

二、JSON数据清洗

1、JSON数据

仅以两条数据为例

1593136280858|{"cm":{"ln":"-55.0","sv":"V2.9.6","os":"8.0.4","g":"C6816QZ0@gmail.com","mid":"489","nw":"3G","l":"es","vc":"4","hw":"640*960","ar":"MX","uid":"489","t":"1593123253541","la":"5.2","md":"sumsung-18","vn":"1.3.4","ba":"Sumsung","sr":"I"},"ap":"app","et":[{"ett":"1593050051366","en":"loading","kv":{"extend2":"","loading_time":"14","action":"3","extend1":"","type":"2","type1":"201","loading_way":"1"}},{"ett":"1593108791764","en":"ad","kv":{"activityId":"1","displayMills":"78522","entry":"1","action":"1","contentType":"0"}},{"ett":"1593111271266","en":"notification","kv":{"ap_time":"1593097087883","action":"1","type":"1","content":""}},{"ett":"1593066033562","en":"active_background","kv":{"active_source":"3"}},{"ett":"1593135644347","en":"comment","kv":{"p_comment_id":1,"addtime":"1593097573725","praise_count":973,"other_id":5,"comment_id":9,"reply_count":40,"userid":7,"content":"辑赤蹲慰鸽抿肘捎"}}]}
1593136280859|{"cm":{"ln":"-114.9","sv":"V2.7.8","os":"8.0.4","g":"NW0S962J@gmail.com","mid":"490","nw":"3G","l":"pt","vc":"8","hw":"640*1136","ar":"MX","uid":"490","t":"1593121224789","la":"-44.4","md":"Huawei-8","vn":"1.0.1","ba":"Huawei","sr":"O"},"ap":"app","et":[{"ett":"1593063223807","en":"loading","kv":{"extend2":"","loading_time":"0","action":"3","extend1":"","type":"1","type1":"102","loading_way":"1"}},{"ett":"1593095105466","en":"ad","kv":{"activityId":"1","displayMills":"1966","entry":"3","action":"2","contentType":"0"}},{"ett":"1593051718208","en":"notification","kv":{"ap_time":"1593095336265","action":"2","type":"3","content":""}},{"ett":"1593100021275","en":"comment","kv":{"p_comment_id":4,"addtime":"1593098946009","praise_count":220,"other_id":4,"comment_id":9,"reply_count":151,"userid":4,"content":"抄应螟皮釉倔掉汉蛋蕾街羡晶"}},{"ett":"1593105344120","en":"praise","kv":{"target_id":9,"id":7,"type":1,"add_time":"1593098545976","userid":8}}]}

上面的字符串|前面的不属于JSON字符串，|后面部分才是JSON字符串，可把前面那串数字当做标号或者id

利用JSON解析工具解析JSON字符串后的内容如下图所示：
在这里插入图片描述

2、读取JSON文件数据

2.1、导包

		import org.apache.spark.sql.types._
		import org.apache.spark.sql.functions._
		import spark.implicits._
		import org.apache.spark.sql.functions._
		import org.apache.spark.sql.types._
		import org.apache.spark.sql._

第一步先导入所有需要的包

2.2、上传JSON文件到HDFS文件系统

hdfs dfs -put /opt/op.log /file

2.3、通过文件读取JSON数据存入RDD中

    val fileRDD=sc.textFile("hdfs://192.168.8.99:9000/file/op.log")

3、JSON数据清洗

3.1、转换为JSON格式

  • 读取的JSON文件不完全是一个JSON格式，只是一个字符串
  • 所以需要先将读取到的字符串转换成JSON格式，即将|前面的编号加到|后面的JSON字符串中
  • 将转换后的 jsonRDD 转换为 jsonDataFrame
  • RDD 转 DataFrame 需要导入spark.implicits._ 包
    val jsonStrRDD=fileRDD.map(x=>x.split('|')).map(x=>(x(0),x(1)))
	val jsonRDD = jsonStrRDD.map(x=>{var jsonStr=x._2;jsonStr=jsonStr.substring(0,jsonStr.length-1);jsonStr+",\"id\":\""+x._1+"\"}" })
	val jsonDF = jsonRDD.toDF

jsonDF.show

+--------------------+
|               value|
+--------------------+
|{"cm":{"ln":"-55....|
|{"cm":{"ln":"-114...|
+--------------------+

2.3、get_json_object 函数清洗JSON数据

  • 使用 get_json_object 函数解析获取JSON数据，清洗 value 列
  • 使用 get_json_object 函数前需要导入 org.apache.spark.sql.functions._ 包
		val jsonDF2=jsonDF.select(get_json_object($"value","$.cm").alias("cm"),
		get_json_object($"value","$.ap").alias("ap"),
		get_json_object($"value","$.et").alias("et"),
		get_json_object($"value","$.id").alias("id"))

jsonDF2.show

+--------------------+---+--------------------+-------------+
|                  cm| ap|                  et|           id|
+--------------------+---+--------------------+-------------+
|{"ln":"-55.0","sv...|app|[{"ett":"15930500...|1593136280858|
|{"ln":"-114.9","s...|app|[{"ett":"15930632...|1593136280858|
+--------------------+---+--------------------+-------------+
  • 再使用 get_json_object 清洗 jsonDF2.show 中的 cm 列
		val jsonDF3=jsonDF2.select($"id",$"ap",
		get_json_object($"cm","$.ln").alias("ln"),
		get_json_object($"cm","$.sv").alias("sv"),
		get_json_object($"cm","$.os").alias("os"),
		get_json_object($"cm","$.g").alias("g"),
		get_json_object($"cm","$.mid").alias("mid"),
		get_json_object($"cm","$.nw").alias("nw"),
		get_json_object($"cm","$.l").alias("l"),
		get_json_object($"cm","$.vc").alias("vc"),
		get_json_object($"cm","$.hw").alias("hw"),
		get_json_object($"cm","$.ar").alias("ar"),
		get_json_object($"cm","$.uid").alias("uid"),
		get_json_object($"cm","$.t").alias("t"),
		get_json_object($"cm","$.la").alias("la"),
		$"et")

jsonDF3.show

+-------------+---+------+------+-----+------------------+---+---+---+---+--------+---+---+-------------+-----+--------------------+
|           id| ap|    ln|    sv|   os|                 g|mid| nw|  l| vc|      hw| ar|uid|            t|   la|                  et|
+-------------+---+------+------+-----+------------------+---+---+---+---+--------+---+---+-------------+-----+--------------------+
|1593136280858|app| -55.0|V2.9.6|8.0.4|C6816QZ0@gmail.com|489| 3G| es|  4| 640*960| MX|489|1593123253541|  5.2|[{"ett":"15930500...|
|1593136280858|app|-114.9|V2.7.8|8.0.4|NW0S962J@gmail.com|490| 3G| pt|  8|640*1136| MX|490|1593121224789|-44.4|[{"ett":"15930632...|
+-------------+---+------+------+-----+------------------+---+---+---+---+--------+---+---+-------------+-----+--------------------+

2.4、from_json 函数清洗JSON嵌套数据

  • 清洗 jsonDF3 中的 et 列
  • 将JSON字符串{"cm":"ap";"et":"cc";"id":"dd"}结构化
		val jsonDF4 = jsonDF3.select($"id",
		$"ap",
		$"ln",
		$"sv",
		$"os",
		$"g",
		$"mid",
		$"nw",
		$"l",
		$"vc",
		$"hw",
		$"ar",
		$"uid",
		$"t",
		$"la",
		from_json($"et",
		ArrayType(StructType(StructField("ett",
		StringType)::StructField("en",
		StringType)::StructField("kv",
		StringType)::Nil)))
		.alias("event"))

jsonDF4.show

+-------------+---+------+------+-----+------------------+---+---+---+---+--------+---+---+-------------+-----+--------------------+
|           id| ap|    ln|    sv|   os|                 g|mid| nw|  l| vc|      hw| ar|uid|            t|   la|               event|
+-------------+---+------+------+-----+------------------+---+---+---+---+--------+---+---+-------------+-----+--------------------+
|1593136280858|app| -55.0|V2.9.6|8.0.4|C6816QZ0@gmail.com|489| 3G| es|  4| 640*960| MX|489|1593123253541|  5.2|[[1593050051366, ...|
|1593136280858|app|-114.9|V2.7.8|8.0.4|NW0S962J@gmail.com|490| 3G| pt|  8|640*1136| MX|490|1593121224789|-44.4|[[1593063223807, ...|
+-------------+---+------+------+-----+------------------+---+---+---+---+--------+---+---+-------------+-----+--------------------+

2.5、explode 函数清洗 JSON 数据

  • 清洗 jsonDF4 中 event 列
  • explode 函数需要两步完成

第一步：

		val jsonDF5 = jsonDF4.select($"id",
		$"ap",
		$"ln",
		$"sv",
		$"os",
		$"g",
		$"mid",
		$"nw",
		$"l",
		$"vc",
		$"hw",
		$"ar",
		$"uid",
		$"t",
		$"la",
		explode($"event").alias("event"))

第二步：

val jsonDF6 = jsonDF5.select($"id",
$"ap",
$"ln",
$"sv",
$"os",
$"g",
$"mid",
$"nw",
$"l",
$"vc",
$"hw",
$"ar",
$"uid",
$"t",
$"la",
$"event.ett",
$"event.en",
$"event.kv")

jsonDF6.show

+-------------+---+------+------+-----+------------------+---+---+---+---+--------+---+---+-------------+-----+-------------+-----------------+--------------------+
|           id| ap|    ln|    sv|   os|                 g|mid| nw|  l| vc|      hw| ar|uid|            t|   la|          ett|               en|                  kv|
+-------------+---+------+------+-----+------------------+---+---+---+---+--------+---+---+-------------+-----+-------------+-----------------+--------------------+
|1593136280858|app| -55.0|V2.9.6|8.0.4|C6816QZ0@gmail.com|489| 3G| es|  4| 640*960| MX|489|1593123253541|  5.2|1593050051366|          loading|{"extend2":"","lo...|
|1593136280858|app| -55.0|V2.9.6|8.0.4|C6816QZ0@gmail.com|489| 3G| es|  4| 640*960| MX|489|1593123253541|  5.2|1593108791764|               ad|{"activityId":"1"...|
|1593136280858|app| -55.0|V2.9.6|8.0.4|C6816QZ0@gmail.com|489| 3G| es|  4| 640*960| MX|489|1593123253541|  5.2|1593111271266|     notification|{"ap_time":"15930...|
|1593136280858|app| -55.0|V2.9.6|8.0.4|C6816QZ0@gmail.com|489| 3G| es|  4| 640*960| MX|489|1593123253541|  5.2|1593066033562|active_background|{"active_source":...|
|1593136280858|app| -55.0|V2.9.6|8.0.4|C6816QZ0@gmail.com|489| 3G| es|  4| 640*960| MX|489|1593123253541|  5.2|1593135644347|          comment|{"p_comment_id":1...|
|1593136280858|app|-114.9|V2.7.8|8.0.4|NW0S962J@gmail.com|490| 3G| pt|  8|640*1136| MX|490|1593121224789|-44.4|1593063223807|          loading|{"extend2":"","lo...|
|1593136280858|app|-114.9|V2.7.8|8.0.4|NW0S962J@gmail.com|490| 3G| pt|  8|640*1136| MX|490|1593121224789|-44.4|1593095105466|               ad|{"activityId":"1"...|
|1593136280858|app|-114.9|V2.7.8|8.0.4|NW0S962J@gmail.com|490| 3G| pt|  8|640*1136| MX|490|1593121224789|-44.4|1593051718208|     notification|{"ap_time":"15930...|
|1593136280858|app|-114.9|V2.7.8|8.0.4|NW0S962J@gmail.com|490| 3G| pt|  8|640*1136| MX|490|1593121224789|-44.4|1593100021275|          comment|{"p_comment_id":4...|
|1593136280858|app|-114.9|V2.7.8|8.0.4|NW0S962J@gmail.com|490| 3G| pt|  8|640*1136| MX|490|1593121224789|-44.4|1593105344120|           praise|{"target_id":9,"i...|
+-------------+---+------+------+-----+------------------+---+---+---+---+--------+---+---+-------------+-----+-------------+-----------------+--------------------+

2.6、from_json 函数、explode 函数清洗

  • 此为最后一步清理，清洗 jsonDF6 中的 kv 列
  • 该步骤实质上是前面介绍的 2.4、2.5 的综合使用
  • 一共分为三步

第一步：from_json 函数清洗

		val jsonDF7 = jsonDF6.select($"id",$"ap",$"ln",$"sv",$"os",$"g",
		$"mid",$"nw",$"l",$"vc",$"hw",$"ar",$"uid",$"t",$"la",$"ett",$"en",
		from_json($"kv",
		ArrayType(StructType(StructField("extend2",
		StringType)::StructField("loading_time",
		StringType)::StructField("action",
		StringType)::StructField("extend1",
		StringType)::StructField("type",
		StringType)::StructField("type1",
		StringType)::StructField("activityId",
		StringType)::StructField("displayMills",
		StringType)::StructField("entry",
		StringType)::StructField("contentType",
		StringType)::StructField("ap_time",
		StringType)::StructField("content",
		StringType)::StructField("p_comment_id",
		StringType)::StructField("addtime",
		StringType)::StructField("praise_count",
		StringType)::StructField("other_id",
		StringType)::StructField("comment_id",
		StringType)::StructField("reply_count",
		StringType)::StructField("userid",
		StringType)::StructField("target_id",
		StringType)::StructField("add_time",
		StringType)::StructField("loading_way",
		StringType)::Nil)))
		.alias("kv"))

第二步：explode 函数清洗

		val jsonDF8 = jsonDF7.select($"id",
		$"ap",$"ln",$"sv",$"os",$"g",
		$"mid",$"nw",$"l",$"vc",$"hw",
		$"ar",$"uid",$"t",$"la",$"ett",$"en",
		explode($"kv").alias("kv"))

第三步：生成最终清洗完成 DF

		val jsonDF9 = jsonDF8.select($"id",$"ap",$"ln",$"sv",$"os",$"g",
		$"mid",$"nw",$"l",$"vc",$"hw",$"ar",$"uid",$"t",$"la",$"ett",$"en",
		$"kv.extend2",
		$"kv.loading_time",
		$"kv.action",
		$"kv.extend1",
		$"kv.type",
		$"kv.type1",
		$"kv.activityId",
		$"kv.displayMills",
		$"kv.entry",
		$"kv.contentType",
		$"kv.ap_time",
		$"kv.content",
		$"kv.p_comment_id",
		$"kv.addtime",
		$"kv.praise_count",
		$"kv.other_id",
		$"kv.comment_id",
		$"kv.reply_count",
		$"kv.userid",
		$"kv.target_id",
		$"kv.add_time",
		$"kv.loading_way")

jsonDF9.show

+-------------+---+------+------+-----+------------------+---+---+---+---+--------+---+---+-------------+-----+-------------+-----------------+-------+------------+------+-------+----+-----+----------+------------+-----+-----------+-------------+--------------------------+------------+-------------+------------+--------+----------+-----------+------+---------+-------------+-----------+
|           id| ap|    ln|    sv|   os|                 g|mid| nw|  l| vc|      hw| ar|uid|            t|   la|          ett|               en|extend2|loading_time|action|extend1|type|type1|activityId|displayMills|entry|contentType|      ap_time|                   content|p_comment_id|      addtime|praise_count|other_id|comment_id|reply_count|userid|target_id|     add_time|loading_way|
+-------------+---+------+------+-----+------------------+---+---+---+---+--------+---+---+-------------+-----+-------------+-----------------+-------+------------+------+-------+----+-----+----------+------------+-----+-----------+-------------+--------------------------+------------+-------------+------------+--------+----------+-----------+------+---------+-------------+-----------+
|1593136280858|app| -55.0|V2.9.6|8.0.4|C6816QZ0@gmail.com|489| 3G| es|  4| 640*960| MX|489|1593123253541|  5.2|1593050051366|          loading|       |          14|     3|       |   2|  201|      null|        null| null|       null|         null|                      null|        null|         null|        null|    null|      null|       null|  null|     null|         null|          1|
|1593136280858|app| -55.0|V2.9.6|8.0.4|C6816QZ0@gmail.com|489| 3G| es|  4| 640*960| MX|489|1593123253541|  5.2|1593108791764|               ad|   null|        null|     1|   null|null| null|         1|       78522|    1|          0|         null|                      null|        null|         null|        null|    null|      null|       null|  null|     null|         null|       null|
|1593136280858|app| -55.0|V2.9.6|8.0.4|C6816QZ0@gmail.com|489| 3G| es|  4| 640*960| MX|489|1593123253541|  5.2|1593111271266|     notification|   null|        null|     1|   null|   1| null|      null|        null| null|       null|1593097087883|                          |        null|         null|        null|    null|      null|       null|  null|     null|         null|       null|
|1593136280858|app| -55.0|V2.9.6|8.0.4|C6816QZ0@gmail.com|489| 3G| es|  4| 640*960| MX|489|1593123253541|  5.2|1593066033562|active_background|   null|        null|  null|   null|null| null|      null|        null| null|       null|         null|                      null|        null|         null|        null|    null|      null|       null|  null|     null|         null|       null|
|1593136280858|app| -55.0|V2.9.6|8.0.4|C6816QZ0@gmail.com|489| 3G| es|  4| 640*960| MX|489|1593123253541|  5.2|1593135644347|          comment|   null|        null|  null|   null|null| null|      null|        null| null|       null|         null|          辑赤蹲慰鸽抿肘捎|           1|1593097573725|         973|       5|         9|         40|     7|     null|         null|       null|
|1593136280858|app|-114.9|V2.7.8|8.0.4|NW0S962J@gmail.com|490| 3G| pt|  8|640*1136| MX|490|1593121224789|-44.4|1593063223807|          loading|       |           0|     3|       |   1|  102|      null|        null| null|       null|         null|                      null|        null|         null|        null|    null|      null|       null|  null|     null|         null|          1|
|1593136280858|app|-114.9|V2.7.8|8.0.4|NW0S962J@gmail.com|490| 3G| pt|  8|640*1136| MX|490|1593121224789|-44.4|1593095105466|               ad|   null|        null|     2|   null|null| null|         1|        1966|    3|          0|         null|                      null|        null|         null|        null|    null|      null|       null|  null|     null|         null|       null|
|1593136280858|app|-114.9|V2.7.8|8.0.4|NW0S962J@gmail.com|490| 3G| pt|  8|640*1136| MX|490|1593121224789|-44.4|1593051718208|     notification|   null|        null|     2|   null|   3| null|      null|        null| null|       null|1593095336265|                          |        null|         null|        null|    null|      null|       null|  null|     null|         null|       null|
|1593136280858|app|-114.9|V2.7.8|8.0.4|NW0S962J@gmail.com|490| 3G| pt|  8|640*1136| MX|490|1593121224789|-44.4|1593100021275|          comment|   null|        null|  null|   null|null| null|      null|        null| null|       null|         null|抄应螟皮釉倔掉汉蛋蕾街羡晶|           4|1593098946009|         220|       4|         9|        151|     4|     null|         null|       null|
|1593136280858|app|-114.9|V2.7.8|8.0.4|NW0S962J@gmail.com|490| 3G| pt|  8|640*1136| MX|490|1593121224789|-44.4|1593105344120|           praise|   null|        null|  null|   null|   1| null|      null|        null| null|       null|         null|                      null|        null|         null|        null|    null|      null|       null|     8|        9|1593098545976|       null|
+-------------+---+------+------+-----+------------------+---+---+---+---+--------+---+---+-------------+-----+-------------+-----------------+-------+------------+------+-------+----+-----+----------+------------+-----+-----------+-------------+--------------------------+------------+-------------+------------+--------+----------+-----------+------+---------+-------------+-----------+

3、数据保存到hive、mysql

3.1、数据保存到 hive

将 jsonDF9 转为临时视图

		jsonDF9.createTempView("test")

创建 hive 数据库

		spark.sql("create database json")

将临时视图映射到 hive 数据库中

		spark.sql("create table json.js as select * from test")

导入成功如下图所示：

在这里插入图片描述

3.2、保存到 mysql

导包并创建连接

		import java.util.Properties
		val url = "jdbc:mysql://192.168.8.99:3306/kb09db"
	    val prop = new Properties()
	    prop.setProperty("user","root")
	    prop.setProperty("password","ok")
	    prop.setProperty("driver","com.mysql.jdbc.Driver")

jsonDF9 写入 mysql 中

		jsonDF9.write.mode("overwrite").jdbc(url,"json",prop)

导入 mysql 后查看结果如下：

在这里插入图片描述

绿萝蔓蔓绕枝生
关注
  • 4
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Java删除Map中元素
weixin_34211761的博客
06-04 1万+
前言： 关于Java从Map中删除元素的使用，可以使用删除单个元素的事实Map.remove。示例：初始化一个Map对象Map<Integer, String> map = new HashMap<>(); map.put(1, "value 1"); map.put(2, "value 2"); map.put(3, "value 3"); map.put(4, "v...
python之json清洗数据＋画折线图
weixin_66294723的博客
08-24 224
外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-68iYXLU4-1692863173070)(https://gitee.com/jardny/typora_images/raw/master/images/image-20230824154530160.png)]都要去掉，但是后面的那个太过普遍了，为了防止误删所以就【：-2】但是有很多不符合json规范的数据。获取完之后得到规格化的json数据。根据这个层次把数据取出来。1.把美国的数据读出来。
【Python】实现json数据清洗、json数据去重、json数据统计
qq_35902025的博客
04-28 4160
1.文件夹中有若干json文件，每个文件中json格式基本一致;(一般是按时间排序的文件名)2.获取每个json所有的keys，如果缺失某个key，那就在该条json新建一个键值对;3.以某个属性(键)为基准，通常为主键id，进行去重处理，也是一种数据清洗的过程;1.循环读取文件夹中所有文件，以及循环读取每个文件中所有的json数据;3.针对json种某个属性(键)对应的值，进行。4.统计出某个键值对出现的次数，输出打印出来。，需要补充这部分缺失是json数据;某个属性(键)对应值出现的。
探索数据之美：JSON ABC——你的JSON对象整理专家
最新发布
gitblog_00039的博客
06-15 244
探索数据之美：JSON ABC——你的JSON对象整理专家 项目地址:https://gitcode.com/ShivrajRath/jsonabc 在数字化时代，JSON作为数据交换的通用语言，其重要性不言而喻。然而，面对杂乱无章的数据结构，你是否曾经感到头疼？今天，我们要为你介绍一款强大的开源工具——JSON ABC，它将是你处理JSON数据时的最佳拍档。 项目介绍 JSON ABC，正如它的...
Java 处理JSON 数据小结
Lakers2015的博客
01-11 3279
Java JSON处理
谷歌浏览器格式化显示json数据
qq_39178473的博客
01-25 1万+
一般谷歌浏览器显示json数据会显示乱码： 我们可以使用一个很好用的小插件 安装步骤如下： 1.插件下载地址 2.使用谷歌浏览器访问：chrome://extensions/ 打开开发者模式，将插件拖入浏览器界面便可直接安装 安装后的效果如下：层次结构非常清晰，而且可以获取到路径 ...
js操作json的一些方法以及注意点及清缓存的方式
uestc_lxp的专栏
10-31 1204
服务端后台返回到客户端的JSON格式字符串： var str = '[{"uname":"王强","day":"2010/06/17"},{"uname":"王海云","day":"2010/06/11"}]'; 我们把它转换成JSON对象:var jsonList=eval_r("("+str+")");这时候如果以用断点跟踪查看这个jsonList对象，其实你会发现，他的长度为2，即jso
cJSON库,C语言解析json数据的库
01-04
然而，对于C语言这样的静态类型语言，处理JSON数据需要特定的库支持。cJSON库就是这样一个库，专为C语言设计，提供了方便、高效的JSON解析和生成功能。 **一、cJSON库的基本概念** 1. cJSON库介绍：cJSON是由David...
stm32_json.zip
09-21
STM32 JSON解析详解 在嵌入式系统开发中，STM32微控制器因其高性能、低功耗的特点而被广泛应用。...通过理解这些概念并结合示例代码，开发者可以有效地在STM32平台上处理JSON数据，实现数据的读取和解析。
libcurl 以JSON模式post
11-07
在VS2013中，你可以选择使用第三方JSON库如jsoncpp或者nlohmann/json来处理JSON数据。例如，使用nlohmann/json库，我们可以创建一个JSON对象，填充数据，然后将其转换为字符串： ```cpp #include <nlohmann/json....
微信小程序 数据交互与渲染实例详解
08-31
此外，`complete`回调函数在请求无论成功或失败都会被调用，通常用于清理或后续操作。 在微信小程序中，数据绑定和视图渲染基于其特有的数据驱动机制。当`setData`方法被调用并改变了数据对象时，小程序会自动检测...
parson：用C编写的轻量级JSON库
01-31
JSON数据以键值对的形式表示，支持数组和对象结构。 **2. Parson库的主要功能** - **解析JSON字符串**：将JSON格式的字符串转换为C语言的数据结构，如哈希表和数组。 - **生成JSON字符串**：将C语言的数据结构转换...
python json数据清洗工具_[Python learning road]JSON模块：一个有效的工具：处理JSON数据,学习,之,路,json...
weixin_29149245的博客
02-02 198
json 模块：处理 JSON 数据JSON (JavaScript Object Notation)是一种轻量级的数据交换格式，易于人阅读和编写，同时也易于机器解析和生成。JSON 基础JSON的基础结构有两种：键值对 (name/value pairs) 和数组 (array)。JSON具有以下形式：object- 对象，用花括号表示，形式为(数据是无序的)：{ pair_1, pair_2,...
kettle工具练习
m0_53816914的博客
09-28 910
一.抽取CSV文件csv.extract.csv中的数据保存至数据库extract中的数据表csv中。 1.打开kettle工具创建一个转换csv_extract,并添加“CSV文件输入”控件，“表输出”控件及Hop跳连接线，用于实现CSV文件数据的抽取功能，具体效果如下图所示： 2.配置CSV文件输入控件，具体操作如下图所示： 获取字段 ...
java海量数据的简单清洗
热门推荐
stalary的博客
05-09 1万+
这周接到了一个对爬取数据进行清理的任务，具体需求为，有一张接近百万的key值表，每一个key对应一个对象，但是在es中存在大量的相似对象，需要按照相似度清除key值表中重复的对象。 下面简单的介绍一下本人的思路。 文件准备 因为百万级数据的清理在单机模式下其实是很耗时的操作，所以我们需要考虑到一些异常的发生，并且要暂存一下重复的key值，所以需要构建三个临时文件 touch ou...
java数据清洗_数据清洗例子
weixin_42627541的博客
02-22 2422
//所有数据的 key，省略一些值public static final String colomns = "touch_type,touch_time,event_type,click_time,customer_user_id...";/*** 正则表达式 截取用户行为埋点值*/public static final String REGUBC = "(.*?)=(.*?)&";/**...
爬虫数据清洗之java解析json数据
jiangyanchen0的博客
05-12 372
做爬虫的时候数据的清洗也是一大重点，往往绕不开三种处理办法 1.正则表达式 2.xpath表达式 3.json 关于java爬虫发送请求问题 java解析json格式，需要用到第三方包，所以需要用maven下载 <dependency> <groupId>com.alibaba</groupId> <artifactId>fastjson</artifactId> <version&g
python爬虫 第6天 数据清洗 自然语言处理 128页
qq_41471281的博客
02-18 1664
数据清洗编写代码清洗数据数据存储后再清洗strip() 方法用于移除字符串头尾指定的字符（默认为空格）。 string.punctuation 来获取 Python 所有的标点符自然语言处理马尔可夫模型广度优先搜索广度优先搜索算法的思路是优先搜寻直接连接到起始页的所有链接（而不是找到一个链接 就纵向深入搜索）。如果这些链接不包含目标页面（你想要找的词条），就对第二层的链 接——连接到起始页的页面的...
MapReduce清洗json数据——去空去重并使用指定符号分隔数据
登高自卑
04-24 4682
咳咳，终于要写mapreduce了，算是填上了以前挖的坑，虽然时间有点晚。。。。。。 mapreduce去空去重并格式化输出数据 前提：解析json的库：我使用的是阿里的fastjson 思路: 数据去重：map的输出<key,value>经过shuffle过程聚集成<key,value-list>后交给reduce，无论这个数据出现多少次，只要在最终结果中输出一次就可以了...
JSON数据交换格式标准详解
RFC 8259的发布对于确保跨平台和跨语言的JSON数据交换的一致性和可靠性至关重要。由于JSON的广泛使用，这个标准的更新对于开发者来说意义重大，因为它提供了清晰的规范和互操作性的指南，有助于减少编码错误和数据...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值