- 博客(50)
- 收藏
- 关注
RSS订阅
原创 ES 去重/聚合查询
import org.apache.http.HttpHost;import org.elasticsearch.client.RestClient;import org.elasticsearch.client.RestClientBuilder;import org.elasticsearch.client.RestHighLevelClient;import org.springframework.beans.factory.annotation.Value;import org.sprin
2021-12-06 15:58:40
3741
原创 docker 安装 elasticsearch 集群
此处部署为单个服务器启动三个elasticsearch容器问题：本打算在三个服务器上单独部署elasticsearch 容器，elasticsearch.yml 注册用的宿主机ip，但是容器之间通信发现用的是容器内部ip，导致节点之间通信失败，只能发现master节点，待大佬们解疑答惑修改 max_map_count 否则启动失败，提示该值设置为262144cat /proc/sys/vm/max_map_countsysctl -w vm.max_map_count=262144
2021-08-12 18:27:38
297
原创 Spirng Aop 实现自定义注解及实现
需求：日志记录需要记录当前用户访问的每个接口对应的前端页面功能信息声明一个注解@Documented@Retention(RetentionPolicy.RUNTIME)@Target({ElementType.METHOD})public @interface LogRecord { /** * 接口功能信息 */ String value() default "";}定义切面import lombok.extern.slf4j.Slf4j;im
2021-06-11 17:22:54
184
原创 spring 拦截器实现token校验登录
pom文件 <dependency> <groupId>com.auth0</groupId> <artifactId>java-jwt</artifactId> <version>3.5.0</version> </dependency>生成tokenimport com.alibaba.fastjs
2021-05-31 14:26:37
560
原创 RedisTemplate设置的key，redis客户端取不到
原因：RedisTemplate 在set key时，key被序列化解决办法1:import org.springframework.context.annotation.Bean;import org.springframework.context.annotation.Configuration;import org.springframework.data.redis.connection.RedisConnectionFactory;import org.springframework.d
2021-03-04 16:23:48
1508
5
原创 常用插件
项目ValueInfinity百万用户选择的新标签页，自由添加网站图标，云端高清壁纸，快速访问书签、天气、笔记、待办事项、扩展管理与历史记录。Octotree - GitHub code tree树形访问GitHubOneTab节省高达95％的内存，并减轻标签页混乱现象Tampermonkey油猴...
2021-02-04 16:08:35
99
原创 Java项目笔记（五）
一、@Valid 失效加入以下依赖 <dependency> <groupId>org.hibernate.validator</groupId> <artifactId>hibernate-validator</artifactId> <version>6.1.5.Final</version> </depend
2020-11-27 11:39:53
182
原创 jpa 多条件模糊查询，分页并排序
jpa 多条件模糊查询，分页并排序很难吗，这样写不就几行代码的事吗？搞不明白你们写的怎么长篇大论花里胡哨的，看的一脸懵逼。jpa多字段模糊查询，持久层字段还是要一一对应的，但是你可以在service层处理一下，只用一个字段接收，然后放到每个属性上repository//只根据用户名Page<User> findByUsernameContaining(String username, Pageable pageable);//根据用户名和手机号Page<User> fin
2020-11-10 14:34:02
1597
2
原创 @Primary ，@Qualifier ，@Autowired ，@Resource作用与区别
首先阐述 @Autowired 和 @Resource 的区别@Resource 是JDK自带的注解 可以按名称注入也可以按类型注入，默认是按名称注入@Autowired 由spring 提供 ，默认按类型注入，也可结合@Qualifier() 实现按名称注入需要注意的是 @Resource 按名称注入，是按@Bean 时声明的方法名注入的@Autowired 结合 @Qualifier() 实现按名称注入时，是按@Qualifier() 定义的名称注入的@Primary 当需要注入多个同类型的
2020-09-18 10:13:31
725
原创 Spring 之 RestTemplate VS WebClient 发送 HTTP请求
RestTemplate restTemplate = new RestTemplate(); restTemplate.getMessageConverters().set(1, new StringHttpMessageConverter(StandardCharsets.UTF_8)); //设置请求头 HttpHeaders headers = new HttpHeaders();
2020-09-12 19:27:23
412
原创 自定义 AuthenticationProvider ，UserDetailsService的实现类@Autowired 为null
项目场景：整合spring security 自定义AuthenticationProvider 登录认证 签发token问题描述：在自定义 AuthenticationProvider 时 发现UserDetailsService 的实现类 UserService 一直注入不进去，为null自定义 AuthenticationProvider 通过 username直接登录package com.example.sso.provider;import com.example.sso.se
2020-09-08 19:35:06
1677
原创 OAuth2
官网文档可以先下载我的项目（一个授权服务器，一个资源服务器）跑一下，看下效果。因没有整合前端，所以只能用postman测试GItHub项目链接获取token，我这里采用的是密码授权类型默认是：http://localhost:8080/oauth/token因yml文件中配置了上下文路径为 uaa访问路径： http://localhost:8080/uaa/oauth/token请求参数Valueclient_idc1client_secretsecret
2020-08-31 20:32:09
308
原创 Spring Security
spring security一些基本概念和描述此处不多讲，详情请看该文章spring security参考手册如果只是单应用服务其实只要security就能完成基本操作，比如登录验证，开放接口，权限操作OAuth 2.0 主要作用通过对token的验证给予用户认证访问请求OAuth 2.0文档你可以先让项目跑一下，看下效果，但是这里我整合了oauth2，把spring-security 授权服务配置文件 AuthorizationServerConfig 删掉，就可以先启动 securityG
2020-08-31 17:02:44
161
原创 Git常用命令，分支合并与管理
Git 自我感觉最大的优点是对版本库和分支的管理各自的电脑都对项目保存一份版本，分支合并也及其方便。而且Git的目录操作命令跟Linux一样，使用起来还是非常顺手的。Git详解Git 常用命令命令解释git init初始化一个文件夹为本地仓库git add把修改的文件（git add xxx.txt）或文件夹(git add xxx/)添加到暂存区。可以多次添加，然后统一commit提交到仓库git commit -m “”提交暂存区到当前操作的分支仓库 ，
2020-08-19 12:05:45
257
原创 Java远程连接服务器实现文件上传下载及目录操作
详情请阅读原文在其基础之上做了进一步的封装 <!-- https://mvnrepository.com/artifact/com.jcraft/jsch --> <dependency> <groupId>com.jcraft</groupId> <artifactId>jsch</artifactId> <version>0.1.
2020-06-13 17:21:42
1826
原创 自定义分页工具类
PageHelper结合PageInfo实现分页BUG：例如：pageNum 为 1 ，pageSize 为 10。原始数据为15条，中间不做数据处理应该返回两页，总共15条数据。如果我对该原始数据中间做了数据处理返回新的集合后假设应该有13条数据，但其实返回的还是十条数据。为什么呢？因为PageInfo是在PageHelper查询结果的基础上进行的分页操作，如果我中间做了数据处理返回了新的集合，PageInfo和PageHelper其实操作的并不是同一个集合。所以PageHelper结合PageIn
2020-06-06 15:43:32
588
原创 Java项目笔记（四）
1、包装类判断是否相等时，建议用equals 而不是 == 号2、+= 默认包含了强制类型转换,单纯的s = s+1;编译是无法通过的，因为1属于int类型，必须显示声明强制类型转换 short s = 1; s += 1; System.out.println(s); s = (short) (s + 1);3、Service层如果访问修饰符为default，Controller层是访问不到的4、final finally finalize区别final可以修饰类、变量
2020-06-04 15:28:22
220
原创 SpringBoot创建微服务项目
下载安装并配置git为自己的git设置名字git config --global user.name "XXX"配置自己注册码云的邮箱git config --global user.email "XXX@163.com"生成ssh公钥ssh-keygen -t rsa -C "XXX@163.com"查看公钥cat ~/.ssh/id_rsa.pub复制公钥添加到码云点击ssh公钥 设置标题，将复制好的公钥添加到公钥内，确定，输入登录密码验证添加好以后在控制台输入ssh -
2020-05-25 14:14:35
3492
原创 docker安装及基本的镜像拉取
docker 使用存储库安装卸载它们以及相关的依赖项。sudo yum remove docker \ docker-client \ docker-client-latest \ docker-common \ docker-latest \ docker-latest-logrotate \
2020-05-21 18:58:08
398
原创 JVM内存区域与内存溢出异常
摘抄自《深入理解Java虚拟机》，并查阅资料对一些专业名词做了解释。仅供个人学习。疑问：该书<2.4.3 方法区和运行时常量池溢出>提到HotSpot从JDK 7开始逐步“去永久代”的计划，并在JDK 8中完全使用元空间来代替永久代。该段落一直引用的是字符串常量池去解释的。想问个问题，移入堆中的是单指字符串常量池，还是整个运行时常量池？如果是运行时常量池，为什么还在说运行时常量池是方法区的一部分？希望哪个大佬看到问题后能解答一下。感觉比较有意思的Java历史节点2004年9月30日，
2020-05-19 18:34:23
233
原创 MySQL事务理论及实现
理论大多引自《高性能MySQL》一书，不过在自测的过程中不知道是不是SQL版本的问题，还是操作有问题，在设置事务隔离级别的时候 按书上讲SET TRANSACTION ISOLATION LEVEL 这样设置并没有实现代码实现事务回滚，基于spring boot1、首先必须将MySQL的自动提交关掉，否则无论你代码怎么回滚都是无用的。SET SESSION autocommit=0; ...
2020-04-28 19:52:26
210
原创 springboot 基本配置文件
spring.datasource.type=com.alibaba.druid.pool.DruidDataSourcespring.datasource.url=jdbc:mysql://127.0.0.1:3306/game?useUnicode=true&zeroDateTimeBehavior=convertToNull&allowMultiQueries=true&a...
2020-02-09 11:36:30
196
原创 Java以封装对象的方式读取CSV文件存储数据库
依赖<!-- https://mvnrepository.com/artifact/net.sourceforge.javacsv/javacsv --> <dependency> <groupId>net.sourceforge.javacsv</groupId> <artifactId>jav...
2020-01-07 13:52:54
552
原创 MySQL笔记--数据库定时备份与恢复
利用crontab定时、利用mysqldump备份编写sh启动脚本时记得赋予执行权限（x）如果没有mysqldump命令执行，基于centos7yum -y install mysql-clientmysqldump数据库备份还原详解编写定时器时直接用这个命令 crontab -e“ * ”号之间用空格隔开Centos7 利用crontab定时执行任务及配置方法...
2019-12-20 18:34:19
229
原创 MySQL笔记--索引
整理自《高性能MySQL》一书，外加自己实测。MySQL中，索引是存储在引擎层面而不是服务器层实现的。不用存储引擎的索引的工作方式并不一样，也不是所有的存储引擎都支持所有类型的索引。即使多个存储引擎支持同一种类型的索引，其底层的实现也可能不同。MySQL分两大索引 B-Tree索引 Hash索引B-Tree索引 == 使用B-Tree数据结构来存储数据。MySQL默认是InnoD...
2019-12-14 17:26:27
140
原创 MySQL笔记
检索所有列：除非你确定需要表中的每个列，否则最好别使用*通配符。虽然使用通配符可能会使你自己省事，不用明确列出所有列，但检索不需要的列通常会降低检索和应用程序的性能IN操作符一般比OR操作符清单执行更快，IN操作符最大的优点是可以包含其他SELECT语句，使得能够更动态的建立WHERE子句。IN : WHERE子句中用来指定要匹配值的清单的关键字，功能与OR相当。COUNT() 函数：有两种...
2019-11-29 18:29:30
104
原创 Java项目笔记（三）
一、前端传参类似以下格式，对象中包含一个对象，后台此时接收option为stirng类型curriculumid question answeroption {optionOne ，optionTwo ，optionThree }故需将该option在后台转换成对象 <dependency> <groupId>net.sf.json-li...
2019-11-28 17:31:57
241
原创 springboot多文件上传、删除、下载到项目本地
@RequestMapping("uploading") public String uploading(MultipartFile[] file, HttpServletRequest request){ if(file != null && file.length>0){ String address=""; ...
2019-11-26 14:25:21
1384
原创 scala安装及配置
window 上安装 Scala1、Scala下载网址：https://www.scala-lang.org/download/2、下载后，双击 msi 文件，一步步安装即可，安装过程你可以使用默认的安装目录。安装好scala后，系统会自动提示，单击 finish，完成安装。3、配置环境变量(1)(2)设置 Path 变量：找到系统变量下的"Path"如图，单击编辑。在"变量值"一栏...
2019-10-31 15:13:31
350
原创 HBase集群安装及集成
Hbase集群搭建注意：在安装hbase或者hadoop的时候，要注意hadoop和hbase的对应关系。如果版本不对应可能造成系统的不稳定和一些其他的问题。在hbase的lib目录下可以看到hadoop对应jar文件，默认情况下hbase下lib的jar文件对应hadoop的相对稳定的版本。如果需要使用其他的hadoop版本，需要将hbase lib下的hadoopjar包，替换掉需要使用的...
2019-10-31 14:58:54
134
原创 Spark集群的安装及高可用配置
Spark集群的安装及高可用配置前期需求：Hadoop和Scala必须已经安装完成步骤：①进入spark下载网站中https://spark.apache.org/downloads.html（红框的部分是选择tar包的版本，选择完毕之后点击绿框的部分下载）②下载完成之后用xftp将安装包传服务器的opt文件夹下。然后用tar命令解压。解压完成之后删除安装包。再然后进入/etc/pro...
2019-10-31 12:27:47
575
原创 Sqoop简介安装及使用
Sqoop简介sqoop 是 apache 旗下一款“Hadoop 和关系数据库服务器之间传送数据”的工具。核心的功能有两个：导入、迁入导出、迁出导入数据：MySQL，Oracle 导入数据到 Hadoop 的 HDFS、HIVE、HBASE 等数据存储系统导出数据：从 Hadoop 的文件系统中导出数据到关系数据库 mysql 等 Sqoop 的本质还是一个命令行工具，和 HDFS，...
2019-10-31 12:03:34
189
原创 集群报错整理
一、伪分布式搭建好以后再次执行格式化报错：java.net.UnknownHostException: bogon: bogon:配置core-site.xmletc/Hadoop/core-site.xml：<configuration> <property> <name>fs.defaultFS</name> ...
2019-10-31 11:51:13
348
原创 centos7安装MySQL及远程配置
#下载mysql源安装包shell> wget http://dev.mysql.com/get/mysql57-community-release-el7-8.noarch.rpm#安装mysql源shell> yum localinstall mysql57-community-release-el7-8.noarch.rpm检查mysql源是否安装成功shell> ...
2019-10-31 11:33:07
100
原创 hive操作 -- zeppelin安装及配置
当时写hive用的是zeppelin，这个工具可以直接在页面上写sql语句，操作服务器上的hive库，还挺方便的通过zeppelin实现hive的查询结果的可视化启动过程中会报错：User: tong is not allowed to impersonate root修改hadoop的配置文件core-site.xml，增加如下内容：其中livy修改成自己的用户名<propert...
2019-10-31 11:05:55
845
原创 Hive--hbase--spark
hive创建hbase表 create external table events.hb_train( row_key string, user_id string, event_id string, invited string, time_stamp string, interested string ) store...
2019-10-31 10:58:12
141
原创 Hive 2.3.2安装
18年做大数据时，整理的一些技术资料，后续会陆陆续续放出来！一、安装mysql安装MySQL服务器端和MySQL客户端；•安装：– yum install mysql– yum install mysql-server•启动：– /etc/init.d/mysqld start进入mysql:5）给mysql的user用户表添加一个user 其中host为%允许任何ip访问...
2019-10-31 10:44:20
714
1
原创 Java项目笔记（二）
一、分页待解决的问题分页是在service层实现的在controller层和service层同时写了这句代码PageHelper.startPage(Integer.valueOf(pageNo), Integer.valueOf(pageSize));导致在进入第二个for循环时，只有第一页能进入for循环，传入第二页时自动跳过了for循环，导致分页数据不准确，最后查出问题是这句代码重复...
2019-10-24 12:59:24
681
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人