tonglingtou1875-CSDN博客

原创解决 DBeaver 查询时不刷新数据，需要重新连接才会刷新，有缓存一样

DBeaver 查询时总是第一次有数据，再次执行查询数据不会刷新，像是有缓存一样，需要重新连接再查询才会刷新，知道肯定是哪里设置的不对，但是一直没找到，实在是重连太烦了，多次尝试终于找到了设置。有缘人来看看怎么设置吧 (っ•̀ω•́)っ✎⁾⁾。

2024-05-31 09:58:40 641

原创 Flink Get Start MVN 命令执行报错

【代码】Flink Get Start MVN 命令执行报错。

2024-04-09 10:38:34 435

原创 Java8 stream 遍历对象 List 对某一字段求和

【代码】Java8 stream 遍历对象 List 对某一字段求和。

2022-09-28 11:39:25 7559 1

原创 Trino 387 JVM 配置详解

Trino 387 JVM 配置各参数详解

2022-06-29 11:23:48 893

原创 Trino 387 Docker 部署配置数据源后不显示对应数据Catalog

Trino 387 Docker 部署配置数据源后不显示对应数据Catalog，添加数据源失败

2022-06-28 17:53:40 649

通过Hive元数据，可快速统计Hive所有数据库中所有数据表的记录数。1、首先找到 Hive 元数据所在的 Mysql 库；2、在 Hive 元数据所在的 Mysql 库执行下面的SQL语句即可。注：同理，调整查询语句可获取其他数据。SELECT d.NAME '数据库名',t.TBL_NAME '数据表名', COALESCE((SELECT tp.PARAM_VALUE FROM TABLE_PARAMS tp WHERE tp.TBL_ID=t

2022-04-09 09:34:10 6678 1

原创查询MySQL数据库的所有表名及主键

select col.table_name,col.column_name frominformation_schema.table_constraints tab,information_schema.key_column_usage colwhere col.constraint_name = tab.constraint_nameand col.table_name = tab.table_nameand tab.constraint_type = 'primary key'

2022-03-16 17:29:48 2685 1

原创 Java 将返回结果按照中文字段（姓名等）排序

将返回结果按照中文字段排序。以姓名排序为例，示例代码如下：// 将返回结果按照用户名字排序personList.sort((o1, o2) -> { Comparator<Object> compare = Collator.getInstance(java.util.Locale.CHINA); return compare.compare(o1.getUserName(), o2.getUserName());});...

2022-01-14 14:52:36 493

原创郑州历年第一场雪

历年第一场雪

2022-01-04 15:54:27 454

原创 org.json.simple.JSONObject 解析 json 替代 Alibaba FastJson

示例代码如下：import org.json.simple.JSONObject;JSONObject json = (JSONObject)JSONValue.parse(reader);return (String)json.get("id");

2021-09-19 09:53:20 854

原创 Oozie 任务配置详解及详细操作教程

参考资料：CentOS7下oozie调度任务案例_四国棋客-CSDN博客

2021-09-18 12:05:50 411

原创 Oozie 工作流生命周期及合法的状态转移

工作流生命周期状态含义说明PREP一个工作流Job第一次创建将处于PREP状态，表示工作流Job已经定义，但是没有运行。RUNNING当一个已经被创建的工作流Job开始执行的时候，就处于RUNNING状态。它不会达到结束状态，只能因为出错而结束，或者被挂起。SUSPENDED一个RUNNING状态的工作流Job会变成SUSPENDED状态，而且它会一直处于该状态，除非这个工作流Job被重新开始执行或者被杀死。SUCCEEDED当一个RUNNING状态的工作流J

2021-09-17 14:45:28 170

原创 Oozie 任务启动后占用大量资源导致任务失败解决

如果集群资源不足，Oozie 任务启动后占用大量资源可能导致任务失败一般有两种情况。一是导致自身任务挂起无法执行成功；二是导致其他任务无法启动。解决办法在 workflow.xml 的配置 <configuration> 中增加如下属性 <property> ：<property> <name>oozie.launcher.mapreduce.map.memory.mb</name> <value>512</value

2021-09-14 09:30:29 389

原创 Oozie Shell 任务 yarn 用户写入 HDFS permission denied 异常切换用户

问题场景Oozie 启动 SHELL 节点，其中上传 HDFS 时出现权限异常，异常信息如下：Permission denied: user=yarn, access=WRITE oozie shell action问题原因Hadoop分布式文件系统文件和目录的权限模型与POSIX系统权限模型相似。每一个文件和目录有一个所有者（owner）和一个组（group）；文件或目录对其所有者、同组的其余用户以及全部其余用户分别有不一样的权限。对文件而言，当读取这个文件时须要有 r 权限，当写入或者追加

2021-09-14 09:21:14 702

原创 System.mapLibraryName 方法使用实例

方法功能将动态库名字根据不同平台（win、linux、darwin）获取完整文件名。public static native String mapLibraryName(String libname);不同平台文件名转换规则平台输入动态库名字返回动态库名字备注Wintensorflow_jnitensorflow_jni.dll末尾增加 .dllLinuxtensorflow_frameworklibtensorflow_framework.so开头增加

2021-09-08 16:21:41 789

原创机器学习和深度学习计算引擎的发展现状

常用的机器学习计算框架Spark、Tensorflow、Caffe、Pytorch，还有一些其他的机器学习引擎，如：Horovod、Paddle、XGBoost 等，各个算法均有各自的特点和优势。1 SparkSpark 是一款非常适合机器学习模型训练的计算引擎，主要包括 spark core和在 spark core 的基础上建立的相关应用框架，根据业务需求分为用于交互式查询的 SQL、实时流处理 Streaming、机器学习 MLlib 和图计算 GraphX 四大框架。内部提供了机器学习相.

2021-09-07 09:56:57 883

原创 Mybatis 查询结果 List 使用 remove 方法后再次查询，结果与数据库不一致，原因是 Mybatis 缓存机制

1 问题场景使用 Mybatis 查询，结果为对象的 List ，使用 remove 方法删除结果List中的一个对象之后，使用相同参数再次查询，发现查询结果与数据库不一致，而是第一次查询结果 remove 操作后的对象列表。2 原因分析根据问题现象可以发现，相同查询条件下，第二次查询使用了第一次的查询结果，而且两次查询是在不同的方法中进行，第一次的对象肯定会被GC回收，所以应该有某种缓存机制存在，那么只可能是 Mybatis 实现了某种缓存机制。经过查询 Mybatis 缓存机制原理，调整一级缓存

2021-09-04 09:56:16 1574

原创 Markdown 中的表格合并单元格

Markdown中没有合并单元格的语法，但是Markdown是兼容HTML的，可以通过HTML的方式实现单元格合并。示例代码及效果如下：<table> <tr> <th>属性</th> <th>属性值</th> <th>描述</th> </tr > <tr > <td rowspan="3">type</td>

2021-09-03 10:14:29 3836

原创 Windows 系统 Solr 8.8.2 安装详细教程

1 安装规划1.1 约束说明规划安装时要注意的Lucene 中存在对单个索引中文档数量的硬限制：大约 21.4 亿个文档（准确地说是 2,147,483,647 个）。在实践中，如此大量的文档不太可能在单个索引中适合并表现良好，需要在接近这个数字之前将索引分布在一个集群中。如果在开始编制索引之前就知道文档总数将超过此数量，最好从一开始就将 SolrCloud的安装计划作为设计的一部分。1.2 硬件与操作系统要求可以在任何有合适的Java运行时环境（JRE）的系统中安装Solr。CPU、磁盘、内存

2021-09-03 09:55:12 1085

原创数据湖治理中心（DGC）与 ModelArts 的区别与联系

1 定义1.1 数据湖治理中心(DGC)是数据全生命周期一站式开发运营平台。（1）属于华为云大数据产品（2）功能：提供数据集成、数据开发、数据治理、数据服务、数据可视化等（3）应用场景：支持行业知识库智能化建设，支持大数据存储、大数据计算分析引擎等数据底座（4）目标：帮助企业客户快速构建数据运营能力1.2 ModelArts是面向开发者的一站式 AI 开发平台。（1）属于华为云人工智能产品（原MLS业务已迁移至ModelArts）（2）功能：为机器学习与深度学习提供海量数据预处理及

2021-08-31 17:47:35 1196

原创边缘计算、云计算、云、边、端的定义及关系

边缘计算，是指在靠近物或数据源头的一侧，采用网络、计算、存储、应用核心能力为一体的开放平台，就近提供最近端服务，核心理念是将数据的存储、传输、计算和安全交给边缘节点来处理，其应用程序在边缘侧发起，可以产生更快的网络服务响应，满足各行业在实时业务、应用智能、安全与隐私保护等方面的需求按功能角色来看，边缘计算主要分为“云、边、端”三个部分：“云”是传统云计算的中心节点，是边缘计算的管控端；“边”是云计算的边缘侧，分为基础设施边缘和设备边缘；“端”是终端设备，如手机、智能家电、各类传感器、摄像头等随着云计算能

2021-08-30 17:53:53 17051

原创图解 Java、JDK、JRE、JVM、Java平台、J2ME、J2SE、J2EE、EJB、Spring的定义及联系

综述，Java 是一门面向对象编程语言；JDK 是 Java 语言的软件开发工具包；Java 平台是由Java编程语言所撰写的软件赖以运行的平台，有三种标准：J2ME、J2SE、J2EE；EJB 是 J2EE 定义的13种技术中的一种；Spring 的作用与 EJB 相似。一句话解释：使用Java编程语言，在JDK工具包的辅助下，按照 Java 平台的标准（J2EE等），使用 EJB （或者满足 J2EE 标准的 Spring 等框架）完成 Java 应用开发。1 JavaJava：是一门面向.

2021-08-30 11:05:10 359

原创 Java 开发中微服务 RPC 和 JAR包调用的对比与使用场景选择

1 RPC 和 JAR包调用的对比微服务把重复的代码集中在一起，如果把这些逻辑写在一个模块，将这个模块打成JAR包，被别的需要的模块直接引入JAR包，也可以达到省下重复代码的功效。什么场景该使用哪种实现怎么选择呢？RPC调用即微服务之间的调用，首先分析一下两者的优缺点。调用方式优点缺点RPC1、减少重复代码2、将功能模块解耦，大规模的项目开发高效，便于维护3、业务升级方便，当服务提供方需要更改业务代码时（接口参数不变，只改代码逻辑），调用方无需做任何改动1、受网络环

2021-08-28 15:08:12 2051

原创 Ozone 与 HDDS 的区别与联系

HDDS + Ozone manager = OzoneOzone是Hortonworks基于HDFS实现的一个对象存储服务。旨在基于HDFS的DataNode存储，支持更大规模的数据对象存储支持各种对象大小并且拥有HDFS的可靠性，一致性和可用性HDDS（Hadoop Distributed Data store）是指Ozone中的 SCM 和 DataNode 组成的一个通用的存储层。注：OzoneManager作为对象存储元数据服务；StorageContainerMana

2021-06-28 15:31:08 514

原创 Apache Ozone 分布式对象存储系统相关文档汇总

Ozone 是 Hadoop 的分布式对象存储系统，具有易扩展和冗余存储的特点。Ozone 能存储数十亿个不同大小的对象，支持在容器化环境（如 Kubernetes）中运行。Apache Spark、Hive 和 YARN 等应用无需任何修改即可使用 Ozone。Ozone 提供 Java API、S3 接口和命令行接口，方便 Ozone 在不同应用场景下的使用。Apache Ozone 分布式对象存储系统相关文档汇总如下：漫谈未来的HDFS - 云+社区 - 腾讯云：https://cloud.

2021-06-28 14:54:39 536

空空如也

空空如也