小小小小小小小小小小码农-CSDN博客

原创 Spark任务读取hive表数据导入es

sql读取的字段需要与es字段名一一对应。将hive表数据导入es，超级简单。2. 创建sparkconf。

2024-09-19 18:03:28 496

原创 ClickHouse R2dbc 使用整理

ClickHouseNodes 中会解析url中host判断是否有“,”分隔符。host 可以配置多个，直接用“,”分割，亲测，可用。上面的配置是连接单节点，集群配置。参考官方例子，亲测，可用。

2024-05-10 15:55:50 478

客户端参数设置，源码中ClickHouseClientOption 类中设置了参数的默认值，可以查看该类，依据自己需要通过Properties进行修改。还有非客户端参数，可以通过 ClickHouseHttpOption 里面的参数设置，如：设置custom_http_headers 相关参数。查看源码currentRow 初始为null,直接取ResultSet 取不到。源码中有注明 jdbcurl 格式，集群模式，多个节点直接用","隔开。RoaringBitmap 个人觉得比较好用，可以不用引入。

2024-05-06 18:04:45 709 1

原创 springboot 内嵌H2

此时项目启动就可以访问 H2数据库了 http://localhost:8080/h2-console。其中dict_dto 为jpa 自动创建的表。application.yaml 配置。

2023-07-19 13:48:58 485

原创 MYSQL sql整理

MYSQL 特殊sql整理

2023-06-02 13:54:16 178

原创 springboot整合clickhouse

springboot查询clickhouse

2023-02-10 11:18:47 1242

原创 spring-boot-starter-data-redis 引发的一系列惨案

spring-boot-starter-data-redis

2022-11-30 16:43:49 2121 2

原创 java 提取 ${} 中的变量

java 提取字符串中 ${} 中的包含的变量

2022-11-11 16:44:38 2944

原创字符串操作记录

java 字符串操作记录

2022-08-09 17:23:11 126

原创 windows 优秀小工具整理

小工具，推荐

2022-07-15 18:01:09 606

原创 idea使用问题整理

idea 开发中问题记录

2022-06-09 14:12:16 1193

原创 Git 操作

git

2022-01-28 10:31:28 2020

原创 mysql 实现类似row_num以及分组排序取数

1.实现row_num首先需要设置两个变量set @row_number:=0； --根据某字段的判断结果生成row_number序号set @xxxx_no:= 0; --用于获取每行xxxx列数据，然后与前面一行的xxxx数据进行对比，若相同则自增1，否则为1下面的例子按照xxxx作为类似分组条件，etl_time作为排序字段select @row_number:= case when @xxxx = s.xxxx then @row_number

2021-12-17 10:50:14 1329

原创 spark任务连接mysql

mysql 连接：首先确认mysql的版本：执行查询语句select version();maven中配置mysql连接： <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>8.0.21</v

2021-12-13 15:48:42 2158

原创 hive 常用sql语句整理

常用hive语句，以及一些简单的函数使用方法

2021-09-08 12:01:11 8321

原创 springboot配置多个数据源

application.yml配置文件spring: #clickhouse数据源配置 clickhouse: driver-class-name: ru.yandex.clickhouse.ClickHouseDriver jdbcurl: jdbc:clickhouse://xxx.xxx.xxx.xxx:xxx/ username: xxxxx password: xxxxxx type: com.alibaba.druid.pool.DruidD

2021-09-07 10:12:38 458

原创 spark 任务调优参数及问题整理

1.数据倾斜：最简单的做法:在sql中使用随机数distribute by rand()在sql 末尾加select * from a left join b on a.xx=b.xx distribute by rand()2.spark.dynamicAllocation.enabled=true开启动态资源分配3.提高并行度spark.sql.shuffle.partitions=1000 ，调整stage的并行度，也就是每个stage的task个数，默认值...

2021-09-01 14:54:51 2160

原创 springboot 参数校验及封装返回格式

pom文件配置：springboot项目需要的jar包引用。快速创建springboot项目可在官网，地址：https://start.spring.io/参数校验引入jar包 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-validation&l..

2021-09-01 10:49:48 511

原创 JdbcTemplate 实现批量查询

使用spring的JdbcTemplate可以进行数据库crud。批量操作中只有更新（batchUpdate）有方法可以直接应用。在查询中使用in的时候没有方法可以直接应用。select * from table where id in (?);这种批量查询可以使用 NamedParameterJdbcTemplate 来进行查询。List<String> idList = new ArrayList<>();String sql = select * fr

2021-08-23 16:24:32 3223

原创 springboot整合mybatis

1.pom文件配置添加依赖<dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>8.0.20</version></dependency><dependency> <groupId>org.mybatis.spring

2021-06-30 17:26:45 140

原创增量发布包

web项目发布中一般我们会选择war包发布，后续的代码修复及更新中有的也会选择war包发布，但是这样会存在极大风险，这里记录一种增量发布的方法。在WebContent下新建一个build_XXXX.xml文件。其中xxxx为工程名<?xml version="1.0" encoding="UTF-8"?><project name="xxxx"> <pr...

2018-07-20 10:11:06 3580 1

原创 Java线程简单同步

1.线程import java.util.*; import java.util.concurrent.ExecutorService; import java.util.concurrent.Executors; import java.util.concurrent.locks.Lock; import java.util.concurrent.locks.ReentrantLoc

2018-07-18 15:21:55 250

原创集合框架（一）

java中，数据结构称为集合框架，数据结构是数据以某种形式组织在一起的集合，不仅存储数据，同时还提供访问及处理数据的操作。java集合框架图解如图java集合主要分为三种类型：规则集（set）、线性表（list）、队列（queue）通用特性定义在接口(collection)中，具体实现各自不同规则集具体有三个类：散列集（HashSet）、链式散列集(LinkedHashSet)...

2018-07-18 15:15:26 170

原创 spring-data-jpa 动态条件分页查询

pom.xml配置 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-jpa</artifactId> </dep...

2018-07-17 16:25:53 5971 3

原创 spring boot热部署

在pom.xml添加配置   <!-- 实现类文件热部署（类文件修改后不会立即生效），实现对属性文件的热部...

2018-07-17 16:01:05 160

原创 hibernate注解的方式实现映射

表的映射//代表此类参与ORM映射，此注解必须要有@Entity //代表user这个类映射了一个表xx_user，如果表名和类名一样，此注解可以省略@Table(name="xx_user")public class User { //主键，此注解必须要有 @Id //数据库表中主键列名为id,如果实体类属性名和列名相同，此注解可以省略 @Col...

2018-07-16 18:12:01 476

原创 jvm简单整理

java虚拟机（JVM）生命周期：一个java程序启动，就会创建一个jvm实例，当程序结束jvm实例也随之消亡。基本概念： jvm是运行java代码的虚拟的计算机。因此java 代码的运行与平台无关，所以可以做到一次编译，处处运行。 jvm 包含一栈，堆，垃圾回收器，存储方法域，字节码指令集，寄存器。jvm体系结构类加载器：定位和导入二进制class文件，...

2018-07-06 12:23:05 143

原创 eclipse开发中，内存溢出

使用tomcat做服务器，开发中有时项目太大，或者同时启动多个项目，tomcat汇报内存溢出，在eclipse中直接修改配置解决问题设置步骤如下：1.点击eclipse上的debug图标旁边的下拉箭头2.然后选择Run Configurations,3.系统弹出设置tomcat配置页面，在Argument中末尾添加参数中的VM arguments中追加：-Xms1024M -Xmx2048M -X...

2018-06-24 16:55:18 161

原创 eclipse 开发中问题整理

1.eclipse开发，tomact做服务器，修改js,html，静态页面，不需要重启服务，页面刷新。 1.1浏览器设置打开internet选项--》浏览历史记录，设置---》检查所存网页的较新版本，选择每次访问网页时--》点击确定。 1.2如果网页不能刷新，打开tomact。选择 server options 中的serve modules without publishing。 ecli...

2018-06-24 16:42:22 476

原创 linux常用命令大全

搜集整理的Linux常用命令，感谢这个信息丰富的网络时代。系统信息 arch 显示机器的处理器架构(1) uname -m 显示机器的处理器架构(2) uname -r 显示正在使用的内核版本 dmidecode -q 显示硬件系统部件 - (SMBIOS / DMI) hdparm -i /dev/hda 罗列一个磁盘的架构特性 hdparm -tT /dev/sda 在磁盘上执行测试性读取操作...

2018-05-12 14:05:19 218 1

原创 eclipse开发，修改静态代码，页面自动刷新

eclipse开发，tomcat做服务器，修改js,html，静态页面，不需要重启服务，页面刷新。 1.1浏览器设置打开internet选项--》浏览历史记录，设置---》检查所存网页的较新版本，选择每次访问网页时--》点击确定。 1.2如果网页不能刷新，打开tomact。选择 server options 中的serve modules without publishing。 eclips...

2018-05-12 13:59:13 4914

原创内存溢出（eclipse+tomact）

记一次使用eclipse开发，tomcat做服务器遇到内存溢出。在网上找了好多方法，有修改tomcat配置的，也有eclipse配置修改的，这里记录一个比较简便有效的方法。设置步骤如下：1.打开eclipse，点击eclipse上的debug图标旁边的下拉箭头2.然后选择Run Configurations,3.系统弹出设置tomcat配置页面，在Argument中末尾添加参数中的VM argum...

2018-05-12 13:53:32 216

转载登录拦截器，多级跳转

使用springMVC。request.getRequestDispatcher("/login.jsp").forward(request, response);在页面嵌套有多级，当子页面被拦截时，子页面跳转到了登录页面，明显这种效果是错误的，需要整个都跳转到首页。public boolean preHandle(HttpServletRequest request, HttpSer

2018-02-05 16:40:27 558

原创 struts2常用配置

struts.i18n.reload 可选值true,false（默认值依赖于struts.devMode），是否自动重新加载本地的资源文件。struts.i18n.encoding 主要用于设置请求编码（默认值（UTF-8）），Head和Include标签的解析编码。资源和配置文件的解析编码。

2018-02-05 15:18:06 169

原创 js调用本地exe文件

js调用本地exe文件，及读取配置文件

2018-02-01 17:49:14 4440

原创连接数据库动态加载多级菜单

后台：public void initMenu2(HttpSession session){ Map> maps = new HashMap>(); String parenid = null; int count = 0; List listMenu = menuService.findAll(); if(listMenu.size() != 0){ for(int

2018-01-31 17:59:44 2541 1

原创 js及ajax实现搜索下拉自动提示

js代码function test(keyword,event){ //定义全局变量 var keyword = $("#keyword").val(); var sel = document.getElementById("sel"); $.post( "serachServlet",//url "keyword="+ keyword,//发送的数据 fun

2017-06-12 20:27:54 5730

原创 oracle 小编程

统计每个商品每个月的总销售金额--创建函数--传入月份参数,及商品编号分组，返回各个商品每个月的销售总量-------------------------------CREATE OR REPLACE FUNCTION fu(fdate in NUMBER,fcid in INT)RETURN numberAS fcount INT; fprice commodity_lis

2017-05-30 13:36:25 316

原创 js小程序

全选：爱好：打篮球乒乓球羽毛球足球游泳玩游戏 function checkNo(){ var n = document.getElementsByName("aihao"); var i = document.getElementById("in");

2017-05-23 19:47:30 2951

原创 javascript制作百叶窗

div{border: 1px black solid;width: 400px;height: 400px;overflow: hidden;}img{width: 400px;height: 400px;position: relative;}td{width: 30px;text-align: center;background-col

2017-05-18 22:38:48 614