自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(36)
  • 资源 (1)
  • 收藏
  • 关注

原创 Spring Boot使用多线程执行sql语句

1.在Controller层中分别使用submitSql方法提交sql,getResult方法获取线程执行结果dataService.submitSql(uuid,endsql);return dataService.getResult(uuid);endsql为要执行的sql语句,uuid为唯一标识该条线程信息。2.在Service层定义线程池的信息,和多线程执行的方法。 ...

2020-03-23 11:31:25 1984

原创 Java图片Base64格式压缩大小至40k之内

Maven中用到的依赖: <dependency> <groupId>net.coobird</groupId> <artifactId>thumbnailator</artifactId> <version>0.4.8</ver...

2020-03-11 15:50:11 23174 7

原创 利用数据库表,实现多数据源的数据处理

Spring Boot项目通过接口 动态添加/删除 数据源,添加数据源之后,动态切换数据源,然后使用mybaties查询切换后的数据源的数据。1.首先需要在数据库中创建数据源的信息表,表中信息存储数据库的连接信息。#数据源信息表DROP TABLE IF EXISTS `datasource_config`;CREATE TABLE IF NOT EXISTS `datasource...

2020-01-20 17:41:24 650 1

原创 Mysql服务无法启动,Can't connect to Mysql server on localhost 10038

在使用Navicat连接数据库时,发现无法连接本地数据库;在电脑管理中点击启动MySql服务时,启动失败;使用管理员身份运行cmd,打开之后输入 net start mysql ,显示服务名无效,请键入 XXX以获得更多帮助。然后输入之后无用。切换到Mysql的安装目录,在bin文件夹下面,输入mysqld --remove,显示服务移除成功;接下来,初始化MySql数据库,输...

2020-01-19 17:01:20 500

原创 Mysql中字段为关键字,该怎么处理

在做数据库连接配置时,需要将数据库连接的字段写到数据库表中,当插入新的数据库信息时,发现插入失败。字段内容为host,port,username,password,database,在数据库中写插入语句会发现部分字段为关键字颜色。解决方法,在关键字上加上反引号,如下,则能成功插入数据库。 @Insert("insert into datasource_config(`host`,`p...

2020-01-15 19:06:37 2580

原创 gitlab中如何删除Group,删除项目

删除自己创建的组:一、首先查看自己的组,然后edit group,点击进入;二、点击Settings中的General,然后点击Path, transfer, remove的Expend按钮;3、滑到最下边,点击“Remove group”;4、在弹出框中输入要删除的组名称即可;删除创建的项目:1、首先,在项目列表中选择要删除的项目,点击进入;2、点击Set...

2020-01-09 16:46:22 11888

原创 Spring Boot直接执行传入的sql语句,同时校验sql,执行成功之后设置手动回滚

在执行Sql语句时,将整条Sql语句作为参数来执行,使用注解的方式在dao层使用如下:@Select("${sql}")List<LinkedHashMap<String,Object>> checkSql(@Param("sql") String sql);在验证sql是否正确时,想通过执行sql来验证,当执行成功时,则sql正确,当执行sql失败时,则结果异...

2019-12-31 17:36:51 2841 1

原创 前置条件Preconditions类

参数校验中,Preconditions类中可以实现常用参数校验,避免较长的if语句。导入依赖<dependency> <groupId>com.google.code.gson</groupId> <artifactId>gson</artifactId></dependency>APIPr...

2019-08-18 13:38:24 608

原创 BeanUtils工具对象拷贝copyProperties

<1> Spring提供一个非常好的对象复制方法copyProperties ,成员对象赋值是基于目标对象的成员列表,并且会跳过ignore的以及源对象中不存在的字段,这个方法是安全的,不会因为两个对象之间的结构差异导致错误,但是必须保证同名的两个成员变量类型相同。a,b为对象,a对象或者b对象不能为nullBeanUtils.copyProperties(a,b);...

2019-06-12 19:29:01 672

原创 ibatis annotations 注解方式写sql返回刚插入的自增长主键ID的值

mybatis提供了注解方式编写sql,当插入一条数据记录时,插入数据没有ID值,需要返回该自增长的ID值,在编写时需要添加一行代码即可。DAO层代码:TestDAO@Insert("insert into tablename(handler,title) " + "values(#{handler},#{title})")@Options(useGeneratedKe...

2019-06-11 21:19:50 1224

原创 分布式锁的实现方式

一、分布式锁应该具备哪些条件1、在分布式系统环境下,一个方法在同一时间只能被一个机器的一个线程执行;2、高可用高性能的获取锁和释放锁;3、具备可重入特性;4、具备锁失效机制,防止死锁;5、具备非阻塞锁特性,没有获取到锁就直接返回获取锁失败。二、分布式锁的实现方式在很多场景中,我们为了保证数据的最终一致性,需要使用分布式事务,分布式锁等。我们需要保证一个方法在同一时间只能...

2019-05-29 12:52:06 187

原创 封装静态类

实体类中封装List<对象>,然后获取所有所有值public class Env{ private static List<EnvDef> envs=new ArrayList(); static { envs.add(new EnvDef(1,"开发","dev")); envs.add(new EnvDef(2,"测...

2019-05-25 00:04:31 284

原创 枚举类型前后端交互取枚举值,枚举把值放在List中

枚举类在后端中的编写public enum TaskTriggerTypeEnum { CHILD((byte) 1, "儿童"), YOUTH((byte) 2, "青年"); Byte type; String desc; TaskTriggerTypeEnum(Byte type, String desc) { this.type...

2019-05-22 19:56:35 4038

原创 Cookie的使用

“Cookie”是小量信息,由网络服务器发送出来以存储在网络浏览器上,从而下次这位独一无二的访客又回到该网络服务器时,可从该浏览器读回此信息。Cookie 是个存储在浏览器目录的文本文件,当浏览器运行时,存储在 RAM 中。一旦你从该网站或网络服务器退出,Cookie 也可存储在计算机的硬驱上。Cookie的特点Cookie内存大小受限Cookie具有生命周期Cookie可以保持登...

2019-05-18 19:06:52 127

原创 Spring Boot请求参数的几种方法,前端后端接口实现方式

一、传参方法1.直接把请求的参数写在Controller相应的方法的形参中,url中提交的参数需要和Controller方法中的入参名称一致。@PostMapping(value = "/cron")public HttpResult<Boolean> verifyCron(String cronExpress) { ....}若"Content-Type"=...

2019-05-14 22:48:59 3667 2

原创 Spring Boot中请求体为RequestBody 在postman 和curl中的使用

后端的接口为@PostMapping(value = "/run",produces = MediaType.APPLICATION_JSON_UTF8_VALUE) @ResponseBody public HttpResult triggerJob(@RequestBody JobReceiver jobReceiver) { //验证值不为空 ...

2019-05-07 21:17:14 2912

原创 Kafka+Streatured Streaming+Mysql项目实例

一.实验内容 实验环境 Hadoop2.7.5 Spark2.4.0 Zookeeper -3.4.8 Kafka_2.11-2.1.0 mysql实验内容模拟产生数据写入Kafka,Structured Streaming读取Kafka中数据,通过Structured Streaming计算将数据写入Mysql,其中写入Mysql的过程中需要借助Jdb...

2019-05-05 23:51:11 215

原创 基于Spring Boot进行多条件筛选的实现

筛选按钮需要进行多个条件的选择,将参数传入后端,并得到筛选结果。后端接口进行数据处理@PostMapping(value = "/getResult")public HttpResult getResult(HttpServletRequest request){ //数据类型 HttpResult result = new HttpResult(); Map&...

2019-05-05 17:28:29 8501 1

原创 mysql,hive,hbase的区别与比较

hive和mysql比较1.查询语言不同:hive是hql语言,mysql是sql语言;2.数据存储位置不同:hive把数据存储在hdfs上,mysql数据是存储在自己的系统中(raw device or Local FS)。3.数据格式:hive数据格式可以用户自定义,mysql有自己的系统定义格式;4.数据更新:hive不支持数据更新,只可以读,不可以写,sql支持数据更新;...

2019-04-04 00:51:55 2252

原创 基于Spark Streaming 计算模拟商品信息关注度

一.实验内容实验环境Hadoop2.7.5Spark2.4.0eclipse实验内容使用Spark Streaming构建实时数据计算系统,通过使用java socket编程模拟用户浏览商品信息时产生的数据,使用Spark Streaming应用实现基本功能,使用updateStateByKey进行结果累加计算,将结果保存在HDFS上,在Spark平台上运行。二.实验步...

2019-01-02 23:23:26 992 1

原创 mysql存储过程,将数据库中存的列式数据转换成行式数据,进行批量插入数据

1.表A中content中存储每个字段的内容,一条记录只含有一个字段的内容,表B中column_id表示字段名,每一条记录一个字段名。2.将表A和表B结合,将表A中的多条记录转为行式存储,并将表B的column_id转为字段名。3.将表A和表B得到的行式数据按照每20条插入临时表的形式插入到临时表。persion_id content unique_flag 1 ...

2018-12-02 22:51:41 390

原创 Mysql中数据配置表,查找其他数据库中的数据,并将数据转为Json格式,上传到Hbase中

1.读取数据库表中某两行的配置信息2.根据配置信息查询配置字段中的疾病信息3.将从数据库中查询的数据拼接成Json格式4.将得到的数据插入hbase中,采用单条插入,批量插入和zeng增量插入的方法第一步编写连接mysql和关闭mysql的方法,在查询 mysql中的信息时,首先要使用到连接mysql的方法。第二步获得数据库中的配置信息,定义List&lt;String&gt;...

2018-11-25 23:26:19 734

原创 Excel动态创建Mysql数据库表,并将Excel中的数据插入到动态创建的Mysql表中

1.传入参数为表名,excel文件名和sheet名。2.将excel中的空值以sql的null值存储到数据库。3.根据sheet中的列数,动态创建数据库表名,数据库字段名为 name1,name2......4.将excel中的值传入动态创建的表中。第一步查询指定目标excel表格中的所有数据: 创建List&lt;String&gt;类型的返回返回方法,传入参数为excel文件名...

2018-11-22 23:23:28 3949 2

原创 CentOS 7 Minimal最小化安装后在安装GNOME图形界面

最小化安装CentOS7,刚开始需要配置环境变量,对命令行模式不熟悉的情况下,先安装图形化界面。登录系统后,使用yum安装yum -y groupinstall Desktopyum -y groupinstall "X Window System"经过漫长的等待就可以到下一步了,如果安装过程中遇到错误,yum报错,我查了很多方法还是没有正确,第二天重新安装就没有yum遇到相同的问...

2018-07-18 09:53:15 1942

原创 superset在Windows环境下安装详解

1.安装python。从官网下载python3.4 以上版本,点击安装即可。2.升级pip.3.superset为了安全考虑,在元数据数据库中存储数据库的连接信息。他们使用了cryptogrephy库来加密连接密码。4.建议在virtualenv中安装superset,virtualenv就是用来为一个应用创建一套隔离的python运行环境。5.创建和激活virtualenv,创建virtuale...

2018-06-25 16:52:21 4431 2

原创 七牛云面试知识点

1.final,finally,finalize的区别?final是一个修饰符,如果一个类被声明为final,意味着它不能再派生出新的子类,不能作为父类被继承。被声明为final的变量必须在声明时给定初值,而在以后的引用中只能读取,不可修改,被声明为final的方法只能使用,不能重载。finally是异常处理时提供finally块来执行任何清除操作。如果抛出异常,那么相匹配的catch子句就会执行...

2018-05-13 21:53:48 2107

原创 云计算

1.linux系统下软件的安装方式    1.1rpm软件安装    rpm软件包的安装可以使用程序rpm来完成,命令如下: rpm -ivh your-package.rpm  强制安装 使用rpm --force -i 强制安装   可能要安装的包里有一些文件可能会覆盖现有的文件,缺省时这样得情况下强制安装  rpm -i --force --nodeps 可以忽略所有依赖关系和文件问题,什么...

2018-04-09 18:24:51 357

原创 面试准备知识点

1.linux下ps的使用    ps用来显示当前进程的状态    ps a 显示所有进程    ps -A 显示所有进程信息    ps -u root 显示指定用户信息    ps -ef 显示所有进程信息,连同命令行    ps -ef|grep ssh 查找指定进程    ps -l 将目前属于自己这次登录的PID与相关信息列出来    ps aux 列出目前所有的正在内存当中的程序   ...

2018-04-03 15:27:03 168

原创 java知识点(3)

10.HashMap的实现原理?    HashMap是基于hashing的原理,我们使用put(key, value)存储对象到HashMap中,使用get(key)从HashMap中获取对象。当我们给put()方法传递键和值时,我们先对键调用hashCode()方法,返回的hashCode用于找到bucket位置来储存Entry对象。”HashMap是在bucket中储存键对象和值对象,作...

2018-03-27 16:00:30 100

原创 java知识点(2)

8.有哪些垃圾回收算法?    1. 如何确定某个对象是垃圾        1.1. 引用计数法        1.2. 可达性分析    2. 典型的垃圾回收算法        2.1. 标记-清除算法(Mark-Sweep)        2.2. 复制算法(Copying)        2.3. 标记-整理算法(Mark-Compact)        2.4. 分代收集算法(Genera...

2018-03-26 21:49:14 175

原创 java知识点(1)

1.描述一下java创建对象的过程?    1.1检测类是否被加载    虚拟机遇到一条new指令时,首先将去检查这个指令的参数是否能在常量池中定位到一个类的符号引用,并且检查这个符号引用代表的类是否已被加载、解析和初始化过。如果没有,那必须先执行相应的类加载进程。    1.2为新生类分配内存    类加载检查通过后,接下来虚拟机将为新生对象分配内存,对象所需内存的大小在类加载完成后便可完全确定...

2018-03-26 19:58:51 392

原创 get和post的区别

1.get从服务器上获取数据;post向服务器提交数据2.get参数有长度限制(受URL长度限制)传输数据量小;post参数无长度限制,可传输数据量大3.get的安全性低,数据在URL中所有人都可见,但执行效率比post高;post安全性高,不会显示在URL中4.get方法服务器端用Request.QueryString获取变量的值;post方法服务器端用Request.Form获取提...

2018-03-26 16:31:05 113

原创 安装scala时遇到的问题

下载scala,下载的网址http://www.scala-lang.org/download/然后选择最下面的Windows版本然而选择msi的时候并不能下载成功,显示下载失败,此时选择上面的ALL previous releases,在网上听说scala-2.10.4.msi安装的比较多,就选择下载这个版本,下载后安装,安装后配置环境变量,在用户变量中新建SCALA_HOME,然后把scala...

2018-03-24 22:02:56 2257

原创 Linux系统常用命令

列出指定目录中的目录以及文件用ls创建目录用mkdir创建文件用touch,或者vi,知道vi怎么使用的,光标前插入用i,保存并退出 :wq移动文件mv怎么搜索文件 find dir -name "string*"查看网络连接状态用netstat,netstat用于显示各种网络相关信息IP地址及端口信息的查看用ifconfig 在Linux系统下怎么解压文件用命令 ...

2018-03-24 15:46:46 354

原创 Ubuntu16.04系统忘记密码怎么办?

忘记Ubuntu系统密码,从网上查找各种方法,不过都会遇到一些问题,不能真正的解决。1.要想修改Ubuntu系统密码,第一步是要进入GRUB界面,网上有一些方法介绍怎么进入,介绍说开机时,长按shift,或者点击ESC,刚开始的时候我怎么点击就是进不去,还有一种方法说点击e,我也试了,后来发现是点击的时间不对,要在刚出现进入系统的进度条的时候就点击,这个时间只有1-2秒,使用上面三种方法都可以,但...

2018-03-22 22:10:43 55855 49

原创 高级软件工程学习心得

SA17225529 郑绪成 《软件工程(C编码实践篇)》MOOC课程http://mooc.study.163.com/course/USTC-10000020061.用自己的话简要总结您对软件工程的理解及学习软件工程(C编码实践篇)的心得我本科是软件工程的学生,也曾经学过软件工程这门课,不过本科的时候老师只是讲一些软件开发的过程,和一些软件开发模型,并没有什么实践项目,通过这次在科大的

2017-11-10 19:57:29 466

mysql中数据经处理导入到hbase中

根据mysql中数据库配置表信息查询mysql中数据,将部分处理为json格式,上传到hbase中。

2018-12-02

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除