【Python解析】Java动态读取python代码解析执行、动态建表、动态数据入库、动态数据响应

已于 2022-07-11 16:06:55 修改
阅读量649 收藏 1
点赞数 1
文章标签： 大数据
于 2022-06-29 16:59:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_65690086/article/details/125525434
版权

话不多说直接上代码！！！

postman入参:

python脚本代码:

print({
    "fieldName": [
        "name",
        "sex",
        "age"
    ],
    "fieldNote": [
        "姓名",
        "性别",
        "年龄"
    ],
    "fieldData": [
        [
            "张三",
            "男",
            "19"
        ],
        [
            "李四",
            "女",
            "18"
        ]
    ]
})

Java代码:

public Map<String, Object> keep(String file, String name, String cron) {
		//把字符串转换成python脚本保存
		FileWriter writer;
		try {
			writer = new FileWriter("D:/python/" + name + ".py");
			writer.write(file);
			writer.flush();
			writer.close();
		} catch (IOException e) {
			e.printStackTrace();
		}

		//定义python程序路径
		String pythonExe = "D:/install/python.exe ";
		//定义脚本路径
		String scriptPath = "D:/python/" + name + ".py";
		Process process;
		BufferedReader bufferedReader;
		try {
			String tableName = "risk_python_" + System.currentTimeMillis();
			Map<String, Object> map = new HashMap<>();
			process = Runtime.getRuntime().exec(pythonExe + scriptPath);
			bufferedReader = new BufferedReader(new InputStreamReader(process.getInputStream(), Charset.forName("GBK")));
			String res;
			while ((res = bufferedReader.readLine()) != null) {
				JSONUtil jsonUtil = new JSONUtil(res);
				String[] fieldNames = Arrays.asList(parseArray(jsonUtil.getJsonMap().get("fieldName").toString()).stream().toArray()).toArray(new String[0]);
				//动态建表
				DataBaseSql.createTable(tableName, fieldNames);
				//数据动态入库
				Object[] toArray = parseArray(jsonUtil.getJsonMap().get("fieldData").toString()).stream().toArray();
				for (Object object : toArray) {
					String[] fieldData = Arrays.asList(parseArray(object.toString()).stream().toArray()).toArray(new String[0]);
					DataBaseSql.insert(tableName, fieldNames, fieldData);
				}
				String[] fieldNotes = Arrays.asList(parseArray(jsonUtil.getJsonMap().get("fieldNote").toString()).stream().toArray()).toArray(new String[0]);
				for (String string : fieldNotes) {
					System.out.println(string);
				}

				RiskPythonMessage riskPythonMessage = new RiskPythonMessage();
				riskPythonMessage.setCron(cron);
				riskPythonMessage.setScriptName(name);
				riskPythonMessage.setScriptPath(scriptPath);
				riskPythonMessage.setTableName(tableName);
				riskPythonMessageMapper.save(riskPythonMessage);


				for (int i = 0; i < fieldNames.length; i++) {
					TargetType targetType = new TargetType();
					targetType.setId(System.currentTimeMillis()+"");
					targetType.setType(name);
					targetType.setTypeL2("-");
					targetType.setTypeL3("-");
					targetType.setTypeName(fieldNotes[i]);
					targetType.setTypeValue(fieldNames[i]);//英文字段名
					targetType.setTableName(tableName);//表名
					targetTypeMapper.insert(targetType);
				}

				map.put("table", fieldNotes);
				map.put("data", toArray);
			}
			return map;
		} catch (IOException e) {
			Map<String, Object> map = new HashMap<>();
			return map;
		}

最后附上工具类:

public class DataBaseSql {
    //配置文件 读取jdbc的配置文件
    private static ResourceBundle bundle = PropertyResourceBundle.getBundle("db");
    private static Connection conn;
    private static PreparedStatement ps;

    /**
     * 创建表
     *
     * @param tabName    表名称
     * @param tab_fields 表字段
     */
    public static void createTable(String tabName, String[] tab_fields) {
        conn = getConnection();    // 首先要获取连接，即连接到数据库
        try {
            String sql = "create table " + tabName + "(";

            if (tab_fields != null && tab_fields.length > 0) {
//                sql+=",";
                int length = tab_fields.length;
                for (int i = 0; i < length; i++) {
                    //添加字段
                    sql += tab_fields[i].trim() + " varchar(255)";
                    //防止最后一个,
                    if (i < length - 1) {
                        sql += ",";
                    }
                }
            }
            //拼凑完 建表语句 设置默认字符集
            sql += ")";
            System.out.println("建表语句是：" + sql);
            ps = conn.prepareStatement(sql);
            ps.executeUpdate(sql);
            ps.close();
            conn.close();    //关闭数据库连接
        } catch (SQLException e) {
            System.out.println("建表失败" + e.getMessage());
        }
    }

    /**
     * 添加数据
     *
     * @param tabName 表名
     * @param fields  参数字段
     * @param data    参数字段数据
     */
    public static void insert(String tabName, String[] fields, String[] data) {
        conn = getConnection();    // 首先要获取连接，即连接到数据库
        try {
            String sql = "insert into " + tabName + "(";
            int length = fields.length;
            for (int i = 0; i < length; i++) {
                sql += fields[i];
                //防止最后一个,
                if (i < length - 1) {
                    sql += ",";
                }
            }
            sql += ") values(";
            for (int i = 0; i < length; i++) {
                sql += "?";
                //防止最后一个,
                if (i < length - 1) {
                    sql += ",";
                }
            }
            sql += ");";
            System.out.println("添加数据的sql:" + sql);
            System.out.println("添加数据的data:" + Arrays.asList(data));
            //预处理SQL 防止注入
            excutePs(sql, length, data);
            //执行
            ps.executeUpdate();
            //关闭流
            ps.close();
            conn.close();    //关闭数据库连接
        } catch (SQLException e) {
            System.out.println("添加数据失败" + e.getMessage());
        }
    }

    /**
     * 查询表  【查询结果的顺序要和数据库字段的顺序一致】
     *
     * @param tabName    表名
     * @param fields     参数字段
     * @param data       参数字段数据
     * @param tab_fields 数据库的字段
     */
    public static String[] query(String tabName, String[] fields, String[] data, String[] tab_fields) {
        conn = getConnection();    // 首先要获取连接，即连接到数据库
        String[] result = null;
        try {
            String sql = "select * from  " + tabName + " where ";
            int length = fields.length;
            for (int i = 0; i < length; i++) {
                sql += fields[i] + " = ? ";
                //防止最后一个,
                if (i < length - 1) {
                    sql += " and ";
                }
            }
            sql += ";";
            System.out.println("查询sql:" + sql);
            //预处理SQL 防止注入
            excutePs(sql, length, data);
            //查询结果集
            ResultSet rs = ps.executeQuery();
            //存放结果集
            result = new String[tab_fields.length];
            while (rs.next()) {
                for (int i = 0; i < tab_fields.length; i++) {
                    result[i] = rs.getString(tab_fields[i]);
                }
            }
            //关闭流
            rs.close();
            ps.close();
            conn.close();    //关闭数据库连接
        } catch (SQLException e) {
            System.out.println("查询失败" + e.getMessage());
        }
        return result;
    }

    /**
     * 获取某张表总数
     *
     * @param tabName
     * @return
     */
    public static Integer getCount(String tabName) {
        int count = 0;
        conn = getConnection();    // 首先要获取连接，即连接到数据库
        try {
            String sql = "select count(*) from  " + tabName + " ;";
            ps = conn.prepareStatement(sql);
            ResultSet rs = ps.executeQuery();
            while (rs.next()) {
                count = rs.getInt(1);
            }
            rs.close();
            ps.close();
            conn.close();    //关闭数据库连接
        } catch (SQLException e) {
            System.out.println("获取总数失败" + e.getMessage());
        }
        return count;
    }

    /**
     * 后台分页显示
     *
     * @param tabName
     * @param pageNo
     * @param pageSize
     * @param tab_fields
     * @return
     */
    public static List<String[]> queryForPage(String tabName, int pageNo, int pageSize, String[] tab_fields) {
        conn = getConnection();    // 首先要获取连接，即连接到数据库
        List<String[]> list = new ArrayList<String[]>();
        try {
            String sql = "select * from  " + tabName + " LIMIT ?,? ; ";
            System.out.println("查询sql:" + sql);
            //预处理SQL 防止注入
            ps = conn.prepareStatement(sql);
            //注入参数
            ps.setInt(1, pageNo);
            ps.setInt(2, pageSize);

            //查询结果集
            ResultSet rs = ps.executeQuery();
            //存放结果集
            while (rs.next()) {
                String[] result = new String[tab_fields.length];
                for (int i = 0; i < tab_fields.length; i++) {
                    result[i] = rs.getString(tab_fields[i]);
                }
                list.add(result);
            }
            //关闭流
            rs.close();
            ps.close();
            conn.close();    //关闭数据库连接
        } catch (SQLException e) {
            System.out.println("查询失败" + e.getMessage());
        }
        return list;
    }


    /**
     * 清空表数据
     *
     * @param tabName 表名称
     */
    public static void delete(String tabName) {
        conn = getConnection();    // 首先要获取连接，即连接到数据库

        try {
            String sql = "delete from  " + tabName + ";";
            System.out.println("删除数据的sql:" + sql);
            //预处理SQL 防止注入
            ps = conn.prepareStatement(sql);
            //执行
            ps.executeUpdate();
            //关闭流
            ps.close();
            conn.close();    //关闭数据库连接
        } catch (SQLException e) {
            System.out.println("删除数据失败" + e.getMessage());
        }
    }

    /**
     * 用于注入参数
     *
     * @param ps
     * @param data
     * @throws SQLException
     */
    private static void excutePs(String sql, int length, String[] data) throws SQLException {
        //预处理SQL 防止注入
        ps = conn.prepareStatement(sql);
        //注入参数
        for (int i = 0; i < length; i++) {
            ps.setString(i + 1, data[i]);
        }
    }


    /* 获取数据库连接的函数*/
    private static Connection getConnection() {
        Connection con = null;    //创建用于连接数据库的Connection对象
        try {
            Class.forName(bundle.getString("db.classname"));// 加载Mysql数据驱动
            con = DriverManager.getConnection(bundle.getString("db.url"), bundle.getString("db.username"), bundle.getString("db.password"));// 创建数据连接
        } catch (Exception e) {
            System.out.println("数据库连接失败" + e.getMessage());
        }
        return con;    //返回所建立的数据库连接
    }

    /**
     * 判断表是否存在
     *
     * @param tabName
     * @return
     */
    public static boolean exitTable(String tabName) {

        boolean flag = false;
        conn = getConnection();    // 首先要获取连接，即连接到数据库
        try {
            String sql = "select id from  " + tabName + ";";
            //预处理SQL 防止注入
            ps = conn.prepareStatement(sql);
            //执行
            flag = ps.execute();
            //关闭流
            ps.close();
            conn.close();    //关闭数据库连接
        } catch (SQLException e) {
            System.out.println("删除数据失败" + e.getMessage());
        }
        return flag;
    }

    /**
     * 删除数据表
     * 如果执行成功则返回false
     *
     * @param tabName
     * @return
     */
    public static boolean dropTable(String tabName) {
        boolean flag = true;
        conn = getConnection();    // 首先要获取连接，即连接到数据库
        try {
            String sql = "drop table  " + tabName + ";";
            //预处理SQL 防止注入
            ps = conn.prepareStatement(sql);
            //执行
            flag = ps.execute();
            //关闭流
            ps.close();
            conn.close();    //关闭数据库连接
        } catch (SQLException e) {
            System.out.println("删除数据失败" + e.getMessage());
        }
        return flag;
    }

    /**
     * 测试方法
     *
     * @param args
     */
//    public static void main(String[] args) {
        //建表===========================================
        //表名
//        String tabName = "mytable";
        表字段
//        String[] tab_fields = {"name","password","sex","age"};
        创建表
//        createTable(tabName, tab_fields);
//
        添加===========================================
        模拟数据
//        String[] data1 = {"jack","123456","男","25"};
//        String[] data2 = {"tom","456789","女","20"};
//        String[] data3 = {"mark","aaa","哈哈","21"};
        插入数据
//        insert(tabName, tab_fields, data1);
//        insert(tabName, tab_fields, data2);
//        insert(tabName, tab_fields, data3);
//
//
        查询=============================================
//        String[] q_fileds ={"name","sex"};
//        String[] data4 = {"jack","男"};
//
//        String[] result = query(tabName, q_fileds, data4, tab_fields);
//        for (String string : result) {
//            System.out.println("结果：\t"+string);
//        }
//
        删除 清空=============================================
//        delete(tabName);
//
        是否存在
//        System.out.println(exitTable("mytable"));
        删除表
//        System.out.println(dropTable("mytable"));
//    }
}
public class JSONUtil {

    private JSONObject object;

    private Map<String,Object> map = new HashMap();

    public JSONUtil(String json){

        this.object = JSON.parseObject(json);
    }
    public JSONUtil(){ }

    public Map getJsonMap (){

        return jsonLoop(this.object,"");
    }

    private Map jsonLoop(Object object, String key) {

        if(object instanceof JSONObject) {

            JSONObject jsonObject = (JSONObject) object;

            for (Map.Entry<String, Object> entry: jsonObject.entrySet()) {

                String key2 = "";

                if(key.equals("")){

                    key2 = entry.getKey();

                }else {

                    key2 = key + "." + entry.getKey();

                }
                Object o = entry.getValue();

                if(judgeObject(o)) {

                    map.put(key2,entry.getValue());

                } else {

                    this.jsonLoop(o,key2);
                }

            }
        }else {

            map.put(key,object);
        }
        if(object instanceof JSONArray) {

            JSONArray jsonArray = (JSONArray) object;

            for(int i = 0; i < jsonArray.size(); i ++) {

                if(judgeObject(jsonArray.get(i))){

                    map.put(key,object);
                   //注释后遍历数组
                    //break;
                }
                this.jsonLoop(jsonArray.get(i),key+"["+i+"]");
            }
        }
        return map;
    }

    private boolean judgeObject(Object o){

        boolean b = false;

        try {

            if(!(o instanceof JSONObject || o instanceof JSONArray)){

                b = true;
            }

        }catch (Exception e){

        }
        return b;
    }
}

中间除了动态建表数据入库之外,我还把数据入了两个业务相关的库,不需要的部分可以删除

没有BUG就是最大的BUG
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
使用ANTLR在5分钟内用Java解析任何语言：例如Python
最佳 Java 编程
06-01 1541
我喜欢出于多种目的处理代码，例如静态分析或自动重构。 对我来说，有趣的部分是推理从抽象语法树（AST）构建的模型。 为此，您需要一种从源文件中获取AST的方法。 使用ANTLR和完整的语法集合可在此处轻松完成： https ： //github.com/antlr/grammars-v4 谢谢大家的语法！ 我们将只为Python 3选择一个，而在Python 2上也应该可以正常...
python 调用API接口 获取和解析 Json数据
12-17
step2：数据解析，也是核心部分，数据格式从python角度去理解，是字典？列表？还是各种嵌套？ step3：连接mysql数据库，将数据写入。 从功能上看，该数据获取程序可以分为3个方法，即step1对应方法request_data()，...
【Java解析Python脚本】Java通过MultipartFile文件上传形式动态调用python脚本、动态维度字段数据输出
weixin_65690086的博客
06-28 559
【Java解析Python脚本】Java通过MultipartFile文件上传形式动态调用python脚本、动态维度字段数据输出
Java【代码分享 07】Java执行Python代码的3类5种情况测试（Java源码+Python源码举例）_java 执行python 如何判断执行是否成功(1)
最新发布
2301_82244640的博客
05-07 390
文件二：PythonFileWithArgs.py。文件一：PythonFile.py。
java 读取python 配置文件_Python解析配置文件模块：ConfigPhaser
weixin_32955207的博客
01-14 123
import configparser as pa# [SectionA]# a = aa# b = bb# c = cc# [SectionB]# optionint = 1# optionfloat = 1.1# optionstring = string#https://www.cnblogs.com/anpengapple/p/5095133.htmlwith open(r"E://te...
Java调用Python脚本传递参数进行数据分析
程序员雅痞的博客
10-08 547
通过Java调用Python脚本传递参数并进行数据分析。Python在Linux下使用Conda安装的。
java调用python的几种用法（看这篇就够了）
weixin_34104341的博客
03-26 242
java调用python的几种用法如下： 在java类中直接执行python语句 在java类中直接调用本地python脚本 使用Runtime.getRuntime()执行python脚本文件（推荐） 调用python脚本中的函数 准备工作: 创建maven工程，结构如下： 到官网https://www.jython.org/downloads.html下载Jyth...
python数据分析与数据化运营笔记
03-08
"Python 数据分析与数据...使用 Python 可以从文本文件中读取运营数据，基本步骤包括定义数据文件、获取文件对象、读取文件内容和关闭文件对象。Python 的 Numpy 库提供了 loadtxt、load、fromfile 等函数来读取数据。
python解析xml简单示例
09-19
在Python中解析XML是一种常见的任务，特别是在处理结构化数据或与服务器进行数据交换时。XML（可扩展标记语言）是一种类似于HTML的标记语言，用于存储和传输数据。本篇将详细介绍如何使用Python解析XML文件，以城市...
Python自动办公实例-excel处理实例（将入库单据数据写入工作表）.zip
11-30
在这个"Python自动办公实例-excel处理实例（将入库单据数据写入工作表）"中，我们将深入探讨如何使用Python来操作Excel文件，实现数据的自动化处理。 首先，Python中最常用的两个库用于处理Excel文件是`pandas`和`...
Python 处理Excel：课件+数据+源代码
05-03
Python 处理Excel：课件+数据+源代码 02用Python处理Exce l实例（提升） 示例文件 1.19 实例应用（单工作簿拆分到多工作簿中（多表中） 1.18 实例应用（单工作簿拆分到多工作簿中（单表中）） 1.9 单元格的写入 ...
java调用python代码接口_Java平台调用Python平台已有算法（附源码及解析）
weixin_39672979的博客
11-28 801
1. 问题描述Java平台要调用Pyhon平台已有的算法，为了减少耦合度，采用Pyhon平台提供Restful 接口，Java平台负责来调用，采用Http+Json格式交互。2. 解决方案2.1 JAVA平台侧2.1.1 项目代码public static String invokeAlgorithm(String url, HashMap params) throws Exception {Ht...
java读取python脚本方法之一(小demo)。Java:让我来架起桥梁
goGoing_的博客
08-27 1204
Java读取python脚本文件 写之前小编要说一下哈，最近公司的事情比较多，开发任务比较繁重，周三要上线项目。周六周日也在忙着加班，加上自己买了个外星人，沉迷于LOL无法自拔中…所以导致最近对自我的约束怠慢了也懒惰了许多，好久没有写自己的博客。重要的是体重也在上升！于今晚11点自我挣扎中，还是开起了电脑进行自我约束，积极投身到学习中钻研技术。 事实上，很多时候，在公司都将需要调取人工智能的接口，...
Java项目里添加python解析器
m0_43406494的博客
07-24 311
java项目里配置了SDK为1.8，添加python文件时会无法解析。
Java调用python脚本
qq_37880594的博客
04-23 335
运行脚本需要本机安装python环境，如果出现python脚本引入包的错误，则需要手动引入。
如何用Java与python代码解释IO模型
weixin_34268610的博客
09-01 145
前天刚好看了点《UNIX网络编程》，比较头大。现在我来整理一下所学所得，并用于个人备忘。如果有不对，请批评。 想要解锁更多新姿势？请访问https://blog.tengshe789.tech/ IO模型介绍 IO模型是什么？很多书籍或者百度百度百科，都没有给出明确的解释，我也不敢乱下定义。以我愚见，IO模型，是通过根据前人主观意识的思考而构成客观阐述IO复杂操作逻辑的物件。 要知道，应用程序使用...
python语法解析_java或python的语法解析，怎么做
weixin_39619433的博客
12-10 156
展开全部python是解释性语言，而java是编译型e68a8462616964757a686964616f31333361306361的， 因此在执行的时候，java速度高于pythonpython 在语法上，在语言的层次上，略高于java， 因此在快速开发一个项目的时候，python能快速构建一个项目在创业初期，python能 做到更快的迭代，但在后期很容易受到性能瓶颈的制约java在开源框架...
python 动态加载代码_python获取动态网站上面的动态加载的数据（初级）
weixin_39568781的博客
11-20 106
我们在处理一些网站数据的时候，有时候我们需要的数据很多都是动态加载的，而不都是静态的，以下以一个实例来介绍简单的获取动态数据，首先申明本人小白，还在学习python中，这个方法还是比较笨拙的，但是对于初学者还是需要知道的。首先我们的要求是获取下面文章的参考文献：刚刚开始，我的想法是使用lxml、BeatifulSoup、正则表达式来处理，这几个是处理静态网站的常用方法，查看网页源码我们会发现相应的...
python制作动态网站_Python3实现抓取javascript动态生成的html网页功能示例
weixin_39842937的博客
11-25 228
本文实例讲述了Python3实现抓取javascript动态生成的html网页功能。分享给大家供大家参考，具体如下：用urllib等抓取网页，只能读取网页的静态源文件，而抓不到由javascript生成的内容。究其原因，是因为urllib是瞬时抓取，它不会等javascript的加载延迟，所以页面中由javascript生成的内容，urllib读取不到。那由javascript生成的内容就真的没有...
python代码实现读取excel数据 输出到word
04-30
Python 可以通过第三方库 openpyxl 和 python-docx 来实现读取 Excel 数据并输出到 Word 文档。 首先，需要安装这两个库： ``` pip install openpyxl pip install python-docx ``` 然后，导入库： ```python ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值