pyspark读取es解析json

最新推荐文章于 2023-12-20 10:41:30 发布
最新推荐文章于 2023-12-20 10:41:30 发布
阅读量796 收藏 1
点赞数
分类专栏： # Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39900031/article/details/116902017
版权

文章目录

es数据

{
	"_index": "freyr-20210315",
	"_type": "serviceInvoke",
	"_id": "AXg98PySCQeiakUv0e4k",
	"_score": 36.110207,
	"_source": {
		"msg": "成功",
		"invokeType": 2,
		"cost": 309,
		"invokeSource": 1,
		"tokenId": "3d854363ae749d1a4e8d00451b1a8f86",
		"docId": "vyHjSULoZiKkcpgNMuBfxBPgKclcecPRCKPDlKVB",
		"serviceDisplayName": "xxxx信息平台-个人",
		"requestParam": {
			"headers": {
			},
			"bodyParam": {
			},
			"outBody": "",
			"urlParam": {
				"documentNo": "131081198308**1074",
				"appid": "722433dac0b421987162276f0c1e0367",
				"name": "张*平"
			}
		},
		"serviceName": "lawEnforcement_person",
		"sequenceId": "1615946906356A11299",
		"businessServiceName": "个贷系统",
		"requestTime": 1615946906363,
		"businessCode": "channel3",
		"processData": {
			"data": "{\"code\":\"200\",\"data\":{\"pagination\":{\"total\":8,\"pageCount\":1,\"previousPage\":1,\"nextPage\":1,\"currentCount\":8,\"currentPage\":1},\"items\":{\"sfss_xzxf\":[{\"punishmentOrgan\":\"西西市人民法院\",\"dataKeyId\":\"6fba119210fb44ec3b96dd05898f5669\",\"sex\":\"男\",\"implementation\":\"\",\"dataType\":\"64\",\"cause\":\"本院于2019年04月09日立案执行申请人王同生申请执行你借款合同纠纷一案，因你未按执行通知书指定的期间履行生效法律文书确定的给付义务\",\"remark\":\"\",\"idNumber\":\"131081198308**1074\",\"filingTime\":\"2019-04-09\",\"caseNumber\":\"（2019）冀1081执827号\",\"name\":\"张*平\",\"zqr\":\"\",\"uscCode\":\"\",\"bzxr\":\"\"},{\"punishmentOrgan\":\"西西市人民法院\",\"dataKeyId\":\"4f5ac433e126fe058b955a6b59874102\",\"sex\":\"男\",\"implementation\":\"\",\"dataType\":\"64\",\"cause\":\"本院于2019年04月09日立案执行申请人王同生申请执行你借款合同纠纷一案，因你未按执行通知书指定的期间履行生效法律文书确定的给付义务\",\"remark\":\"\",\"idNumber\":\"131081198308**1074\",\"filingTime\":\"2019-04-09\",\"caseNumber\":\"（2019）冀1081执826号\",\"name\":\"张*平\",\"zqr\":\"\",\"uscCode\":\"\",\"bzxr\":\"\"}],\"hjqk_hjqk\":[],\"swcf_zdss\":[],\"gxyd_xzcf\":[],\"zcxx_ldzc\":[]}},\"success\":\"true\",\"message\":\"交易成功\"}"
		},
		"recordTime": 1615946906678,
		"organizationCode": "tsbankyyglb",
		"success": true,
		"contractId": "8da17650f014443cbccd6cb1c53ff50e",
		"createdTime": "2021-03-17 10:08:26",
		"recordDate": "20210317",
		"status": 1
	}
}

processData.data

{
	"code": "200",
	"data": {
		"pagination": {
			"total": 8,
			"pageCount": 1,
			"previousPage": 1,
			"nextPage": 1,
			"currentCount": 8,
			"currentPage": 1
		},
		"items": {
			"sfss_xzxf": [
				{
					"punishmentOrgan": "西西市人民法院",
					"dataKeyId": "6fba119210fb44ec3b96dd05898f5669",
					"sex": "男",
					"implementation": "",
					"dataType": "64",
					"cause": "本院于2019年04月09日立案执行申请人王同生申请执行你借款合同纠纷一案，因你未按执行通知书指定的期间履行生效法律文书确定的给付义务",
					"remark": "",
					"idNumber": "131081198308**1074",
					"filingTime": "2019-04-09",
					"caseNumber": "（2019）冀1081执827号",
					"name": "张*平",
					"zqr": "",
					"uscCode": "",
					"bzxr": ""
				},
				{
					"punishmentOrgan": "西西市人民法院",
					"dataKeyId": "4f5ac433e126fe058b955a6b59874102",
					"sex": "男",
					"implementation": "",
					"dataType": "64",
					"cause": "本院于2019年04月09日立案执行申请人王同生申请执行你借款合同纠纷一案，因你未按执行通知书指定的期间履行生效法律文书确定的给付义务",
					"remark": "",
					"idNumber": "131081198308**1074",
					"filingTime": "2019-04-09",
					"caseNumber": "（2019）冀1081执826号",
					"name": "张*平",
					"zqr": "",
					"uscCode": "",
					"bzxr": ""
				}
			],
			"hjqk_hjqk": [
			],
			"swcf_zdss": [
			],
			"gxyd_xzcf": [
			],
			"zcxx_ldzc": [
			]
		}
	},
	"success": "true",
	"message": "交易成功"
}

pyspark读取es解析json （包含循环数组）:

#/bin/python3 
from pyspark.sql import SparkSession
from pyspark.sql.types import *
from pyspark.sql import functions as F
from datetime import date
from datetime import datetime,timedelta
import json,os

def main(sparkSession):
    
    #读取ES数据并创建临时表
    df = sparkSession.read \
        .format("org.elasticsearch.spark.sql") \
        .option("es.nodes",  '197.4.218.113') \
        .option('es.port',  str(port)) \
        .option("es.resource",  'freyr-20210315/serviceInvoke') \
        .option('es.query', '{"query":{"bool":{"must":[{"match":{"serviceName":"lawEnforcement_person"}},			{"match":{"invokeType":"2"}}]}}}') \
        .option('es.nodes.wan.only', 'true') \
        .option("es.nodes.discovery", "false") \
        .option("es.index.auto.create", "true") \
        .option("es.read.field.exclude","requestParam.headers") \
        .option("es.write.ignore_exception", "true") \
        .option("es.read.ignore_exception", "true") \
        .load()

    df.createTempView('tdl_qm_stration_law_per_dt')
    df.show()
    #读取临时表中的数据
    result=sparkSession.sql("""
        SELECT
        responseData.data,
        sequenceId,
        serviceName,
        errorCode,
        createdTime,
        recordDate,
        organizationCode,
        businessCode,
        requestParam.urlParam.name,
        requestParam.urlParam.documentNo
        FROM
            tdl_qm_stration_law_per_dt
        WHERE
            serviceName = 'lawEnforcement_person'
        AND errorCode = '10000'
        AND invokeType = '2'    AND sequenceId ='1615946906356A11299'
    """ +addContion)
    #将数据写入创建好的HDFS目录
    #result.write.mode("append").format('json').save("/user/datacompute/users/xin.zhou/elasticData/"+tdate)
    #解析数据集中的json数据
    res=result.select("serviceName","createdTime","recordDate","organizationCode","businessCode","errorCode"
    ,"name","documentNo","sequenceId"
    ,F.get_json_object("data","$.code").alias("code")
    ,F.get_json_object("data","$.message").alias("message")
    ,F.get_json_object("data","$.data.items.sfss_xzxf").alias("sfss_xzxf")
    ,F.get_json_object("data","$.data.items.hjqk_hjqk").alias("hjqk_hjqk"))
    res.show()
    res.createTempView('tdl_qm_stration_law_per_dt1')
    #限制消费循环解析 
    sfss_xzxf = sparkSession.sql("""select sequenceId,sfss_xzxf from tdl_qm_stration_law_per_dt1 where 			sfss_xzxf is not null""") 
    schema="""array<struct<
                punishCause     :string,
                punishmentOrgan :string,
                penaltyTime     :string,
                caseNumber      :string,
                dataKeyId       :string,
                legalPerson     :string,
                dataType        :string,
                name            :string,
                remark          :string,
                uscCode         :string,
                idNumber        :string
        >>"""
    scjg_xzxf_rds=sfss_xzxf.withColumn("sfss_xzxf",F.from_json(F.col("sfss_xzxf"),schema)).withColumn("expl",F.	explode("sfss_xzxf")).select(sfss_xzxf.sequenceId,"expl.*")
    scjg_xzxf_rds.show()
    #   scjg_xzcf_rds.createTempView("tdl_scjg_xzcf_dt")
    # 	sparkSession.sql("""issert into  bigdata.per_ms_pther_penalties_dt partition (ds="""+tdate+""")
    # 	select
    # 		sequenceId		as sequence_id,
    # 		name			as customer_name,
    # 		uscCode			as usc_code,
    # 		legalPerson		as legal_person,
    # 		idNumber		as id_number,
    # 		caseNumber		as case_number,
    # 		punishmentOrgan	as punishment_organ,
    # 		penaltyTime		as penalty_time,
    # 		'',
    # 		punishCause		as punish_cause,
    # 		'',
    # 		'',
    # 		remark			as remark,
    # 		dataType		as data_type,
    # 		dataKeyId		as data_key_id
    # 	 from tdl_scjg_xzcf_dt""")

日志

[2021-05-16 18:44:02.236] [INFO] - spark status:Job5/stage5(1/1); Job6/stage6(1/1); Job7/stage7(2/2); Job8/stage8(0/1)
[2021-05-16 18:44:02.941] [INFO] - +--------------------+-------------------+----------+----------------+------------+---------+------+------------------+-------------------+----+--------+-----------------------+---------+----+---------+-----+
|         serviceName|        createdTime|recordDate|organizationCode|businessCode|errorCode|  name|        documentNo|         sequenceId|code| message|              sfss_xzxf|blgy_blgy|qtcf|sfss_gscg|zyfdr|
+--------------------+-------------------+----------+----------------+------------+---------+------+------------------+-------------------+----+--------+-----------------------+---------+----+---------+-----+
|lawEnforcement_pe...|2021-03-17 10:08:26|  20210317|     tsbankyyglb|    channel3|    10000|张*平|131081198308**1074|1615946906356A11299| 200|交易成功|[{"name":"张*平","b...|       []|  []|     null|   []|
+--------------------+-------------------+----------+----------------+------------+---------+------+------------------+-------------------+----+--------+-----------------------+---------+----+---------+-----+

[2021-05-16 18:44:02.942] [INFO] - create temp table: tdl_qm_stration_law_per_dt1
[2021-05-16 18:44:02.942] [INFO] - check authority success
[2021-05-16 18:44:02.942] [INFO] - executing sql: select sequenceId,sfss_xzxf from tdl_qm_stration_law_per_dt1 where sfss_xzxf is not null
[2021-05-16 18:44:03.647] [INFO] - spark status:Job5/stage5(1/1); Job6/stage6(1/1); Job7/stage7(2/2); Job8/stage8(1/1); Job9/stage9(2/2); Job10/stage10(1/1); Job11/stage11(0/2)
[2021-05-16 18:44:03.647] [INFO] - +-------------------+-----------+---------------+-----------+---------------------+--------------------+-----------+--------+------+------+-------+------------------+
|         sequenceId|punishCause|punishmentOrgan|penaltyTime|           caseNumber|           dataKeyId|legalPerson|dataType|  name|remark|uscCode|          idNumber|
+-------------------+-----------+---------------+-----------+---------------------+--------------------+-----------+--------+------+------+-------+------------------+
|1615946906356A11299|       null| 西西市人民法院|       null|（2019）冀1081执827号|6fba119210fb44ec3...|       null|      64|张*平|      |       |131081198308**1074|
|1615946906356A11299|       null| 西西市人民法院|       null|（2019）冀1081执826号|4f5ac433e126fe058...|       null|      64|张*平|      |       |131081198308**1074|
+-------------------+-----------+---------------+-----------+---------------------+--------------------+-----------+--------+------+------+-------+------------------+
yujkss
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
js读取并解析JSON类型数据的方法
10-23
主要介绍了js读取并解析JSON类型数据的方法,具体分析了json格式的功能、用途与JS解析技巧,具有一定参考借鉴价值,需要的朋友可以参考下
ELK学习笔记：3- python api&pyspark读取es中filebeat收集的日志数据-2023-2-11
feifeileill的博客
02-11 457
python api、es读取filebeat收集的日志数据
大华的PySpark技术文档
yuanlaishidahuaa的博客
12-04 500
。。。。
【用户画像(二)】Python操作ES(支持sql)及ES整合
weixin_46244703的博客
08-19 647
就是在Python中通过SparkSession对象读取ElasticSearch中的内容, 然后将数据转为DataFrame.进行数据的操作.整合Hive是什么意思?(想想两个数据库之间能干什么,不就是导来导去) 其实就是将Hive中的表数据导入到ElasticSearch中。但是局限于原生的ElasticSearch的命令基本都是Restful风格的代码, 学习的难度未免会有所增加.创建表后,直接在使用es插件查询ES中的表是查询不到的.(需要往表中插入数据才能在ES中看到索引[表]的出现)
pyspark 读写es和mysql
weixin_45621200的博客
09-02 986
pyspark 读写es
pyspark 与es的交互
maketubu7的博客
05-25 1865
# Author:Dengwenxing # -*- coding: utf-8 -*- # @Time :2019/12/30 15:09 # @Site : # @fILE : esReader.py # @Software : import sys, os from pyspark import SparkConf from pyspark.sql import SparkSession from pyspark.sql import functions as fun fr.
[博学谷学习记录]超强总结，用心分享|Spark读写ES(DataFrame)
weixin_43814165的博客
03-22 195
Spark读写ES(DataFrame)
pyspark读取es
wzj_wp的博客
10-14 1367
方式一：sqlcontext def readEs(): conf = SparkConf().setAppName("es").setMaster("local[2]") sc = SparkContext(conf=conf) sqlContext = SQLContext(sc) df = sqlContext.read.format("org.elasticsearch.spark.sql") \ .option("es.nodes.wan.only"
PySpark大数据分析(6)：数据读写
唐犁的博客
05-25 732
PySpark可以直接将一个文本文件读取进来，变成一个RDD，将文件的每一行作为RDD中的一个元素。使用saveAsTextFile()可以将数据保存为文本文件。PySpark会将传入路径作为文件夹，从多个节点在其下并行输出多个文件，因此数据的每一个部分输出到哪个文件中往往是不受控的。
读取本地json文件,解析json(实例讲解)
09-21
下面小编就为大家分享一篇读取本地json文件,解析json的实例讲解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
使用pyspark解析json文件，并将统计结果写入InfluxDB中
06-20
使用pyspark解析json文件，并将统计结果写入InfluxDB中
Pyspark读取parquet数据过程解析
01-20
那么我们怎么在pyspark中读取和使用parquet数据呢？我以local模式，linux下的pycharm执行作说明。 首先，导入库文件和配置环境： import os from pyspark import SparkContext, SparkConf from pyspark.sql.session
pyspark 读取csv文件创建DataFrame的两种方法
09-20
今天小编就为大家分享一篇pyspark 读取csv文件创建DataFrame的两种方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
pyspark_自定义udf_解析json列【附代码】
SeafyLiang的博客
08-02 412
利用Pyspark + udf自定义函数实现大数据并行计算
使用 PySpark 进行数据清洗与 JSON 格式转换的实践详解（保姆级编码教程）
最新发布
kilig_CSM的博客
12-20 1554
PySpark 是 Apache Spark 的 Python API，可用于处理大规模数据集。它提供了丰富的功能和库，使得数据清洗和转换变得更加高效和便捷。本文介绍了使用 PySpark 对数据进行清洗和 JSON 格式转换的过程。通过上述步骤，我们可以连接到远程 Spark 服务器，加载数据，应用自定义函数对数据进行清洗和格式转换，并最终保存清洗后的数据。这个流程展示了 PySpark 在数据处理中的强大功能，特别是在大规模数据集的处理和转换方面的优势。
json解析 spark_在Pyspark中解析JSON文件
weixin_39538789的博客
12-31 395
我对Pyspark很新 . 我尝试使用以下代码解析JSON文件from pyspark.sql import SQLContextsqlContext = SQLContext(sc)df = sqlContext.read.json("file:///home/malwarehunter/Downloads/122116-path.json")df.printSchema()输出如下 .root...
spark- PySparkSQL之PySpark解析Json集合数据
weixin_33901926的博客
06-27 1975
PySparkSQL之PySpark解析Json集合数据 数据样本 12341234123412342|asefr-3423|[{"name":"spark","score":"65"},{"name":"airlow","score":"70"},{"name":"flume","score":"55"},{"name":"python","score":"33"},{"name":"s...
Pyspark:dropDuplicates去重获取每个人最新的一条数据
学习 记录 总结 分享
04-18 2499
#/bin/python3 from pyspark.sql import Row from pyspark.sql import functions as F #按时间time取每个人name的最近的一条数据 def main(sparkSession): df = sc.parallelize([\ Row(name='A',time='20200221',age='18'),\ Row(name='A',time='20200221',age='18'),\
Spark入门官方文档
学习 记录 总结 分享
06-01 866
文章目录http://spark.apachecn.org/http://spark.apache.org/ http://spark.apachecn.org/ http://spark.apache.org/
java读取txt并解析json字符串
07-12
你可以使用Java中的文件读取和JSON解析库来实现读取txt文件并解析其中的JSON字符串。下面是一个简单的示例代码： ```java import java.io.BufferedReader; import java.io.FileReader; import org.json.JSONObject;...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值