自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 2020-04-02

window中的通过终端设置环境变量 例如:SET NLS_LANG=AMERICAN_AMERICA.AL32UTF8 这个设置的环境变量只会在当前窗口有效。这个窗口关闭。就无效 可以在设置该环境变量以后,在开启对应的应该,这样就可以该次应该启动有有效 ...

2020-04-02 09:53:29 112 0

转载 elasticsearch 安装ik中文分词

全文搜索对于中文分词很重要,所以需要ik插件分词支持中文分词 英文使用空格很容易分词,中文需要根据词意进行分词,需要【字典】支持 插件项目:https://github.com/medcl/elasticsearch-analysis-ik 未安装前【分词测试】 postman post ...

2020-02-25 10:52:26 36 0

转载 Elasticsearch搜索中文分词优化-ik_max_word,和ik_smart模式

Elasticsearch 中文搜索时遇到几个问题: 当搜索关键词如:“人民币”时,如果分词将“人民币”分成“人”,“民”,“币”三个单字,那么搜索该关键词会匹配到很多包含该单字的无关内容,但是如果将该词分词成一个整词“人民币”,搜索单字如“人”字又不会匹配到包含“人民币”关键词的内容,怎么...

2020-02-25 10:40:14 547 0

转载 Elasticsearch 移除 type 之后的新姿势

随着 7.0 版本的即将发布,type的移除也是越来越近了,在 6.0 的时候,已经默认只能支持一个索引一个 type 了,7.0 版本新增了一个参数include_type_name,即让所有的 API 是 type 相关的,这个参数在 7.0 默认是true,不过在 8.0 的时候,会默认改成...

2020-02-24 18:12:49 51 0

转载 Elasticsearch实践(三):Mapping

版本:Elasticsearch 6.2.4。 Mapping类似于数据库中的表结构定义,主要作用如下: 定义Index下字段名(Field Name) 定义字段的类型,比如数值型,字符串型、布尔型等 定义倒排索引的相关配置,比如是否索引、记录postion等 Mapping完整的内容可以...

2020-02-23 21:15:52 102 0

转载 听说你还没掌握 ElasticSearch Normalizer 的使用方法?

在Elasticsearch中处理字符串类型的数据时,如果我们想把整个字符串作为一个完整的 term 存储,我们通常会将其类型type设定为keyword。但有时这种设定又会给我们带来麻烦,比如同一个数据再写入时由于没有做好清洗,导致大小写不一致,比如apple、Apple两个实际都是apple,...

2020-02-21 17:57:26 138 0

转载 配置Elasticsearch的映射 (mapping)

1.1 什么是映射 (1) 映射(mapping): 定义index的元数据, 指定要索引并存储的文档的字段类型. 也就是说映射决定了Elasticsearch在建立倒排索引、进行检索时对文档采取的相关策略, 如数字类型、日期类型、文本类型等等. 需要注意的是:检索时用到的分析策...

2020-02-19 10:37:02 60 0

转载 SpringBoot 使用Spring Initializr快速构建工程

序言: 在此之前,我们主要通过Maven Archetype 来快速生成Maven项目,项目原型相对简陋,对各种IDE的支持也不太友好。然而通过Spring官方提供的Spring Initializr 来构建Maven项目,它不仅完美支持IDEA和Eclipse,而且能自动生成启动类和单元测试代码...

2020-02-17 12:09:32 130 0

转载 application.properties和application.yml文件的区别

关于 一般上来说,当我们创建一个SpringBoot项目时,IDE会默认帮我们创建一个application.properties配置文件。有些朋友习惯把.properties文件改成.yml文件。那么这两种文件类型有什么区别呢? 区别 1.内容格式比较: .properties文件,通过....

2020-02-17 11:13:46 39 0

转载 实战Spring Boot 2.0之过滤器和拦截器

用户认证授权、日志记录MDC、编码解码、UA检查、多端对应等都需要通过拦截请求来进行处理。这时就需要Servlet、Filter、Listener、Interceptor这几种组件。而把非Spring Boot项目转换成Spring Boot项目,需要沿用以前的这些代码,所以有必要了解这它们的用法...

2020-02-11 22:24:34 86 0

转载 Spring Boot实战:拦截器与过滤器

一、拦截器与过滤器   在讲Spring boot之前,我们先了解一下过滤器和拦截器。这两者在功能方面很类似,但是在具体技术实现方面,差距还是比较大的。在分析两者的区别之前,我们先理解一下AOP的概念,AOP不是一种具体的技术,而是一种编程思想。在面向对象编程的过程中,我们很容易通过继承、多态来...

2020-02-10 12:29:18 26 0

转载 经典算法应用之七----10亿数据中取最大的100个数据

给出三种思路,仅供参考。。 1.思路一:根据快速排序划分的思想,每次分割之后只考虑比轴大的一部分,知道比轴大的一部分在比100多的时候,采用传统排序算法排序,取前100个。 step1:递归对所有数据分成[a,b),(b,d]两个区间,(b,d]区间内的数都是大于[a,b)区间内的数 step2:...

2020-01-08 12:01:38 51 0

转载 图解排序算法(三)之堆排序

堆排序 堆排序是利用堆这种数据结构而设计的一种排序算法,堆排序是一种选择排序,它的最坏,最好,平均时间复杂度均为O(nlogn),它也是不稳定排序。首先简单了解下堆结构。 堆 堆是具有以下性质的完全二叉树:每个结点的值都大于或等于其左右孩子结点的值,称为大顶堆;或者每个结点的值都小于或等于其...

2020-01-08 12:00:45 34 0

转载 mysql实现主从复制/主从同步

业务场景 小公司业务代码存于一个服务器上,而这个服务器有的时候回宕机,导致业务停顿,造成影响。这个时候 就需要做高可用 两个ngix+两个tomcat+两个mysql实现高可用,避免单点问题。中间使用keepalived监听。下面先从简单的mysql主从搞起。下面按照老方式,what->w...

2019-12-26 16:05:01 74 1

转载 Elasticsearch Java API - 客户端连接之TransportClient(TransportClient,PreBuiltXPackTransportClient)(一)

Elasticsearch Java API 客户端连接 一个是TransportClient,一个是NodeClient,还有一个XPackTransportClient TransportClient: 作为一个外部访问者,请求ES的集群,对于集群而言,它是一个外部因素。 NodeCli...

2019-12-17 15:50:37 184 0

转载 Java 客户端操作 Elasticsearch

目前 Elasticsearch 有很多第三方 Java 客户端 如 TransportClient,Jest,Spring Data Elasticsearch(Spring Data 对 Elasticsearch 的整合) 还有官方的Java REST Client SpringBoo...

2019-12-17 15:08:21 27 0

转载 elasticsearch系列七:ES Java客户端-Elasticsearch Java client(ES Client 简介、Java REST Client、Java Client)

2. 回顾 ES的架构 3. ES支持的客户端连接方式 3.1 REST API ,端口 9200   这种连接方式对应于架构图中的RESTful style API这一层,这种客户端的连接方式是RESTful风格的,使用http的方式进行连接 3.2 Transport 连接 端...

2019-12-13 18:30:02 48 0

转载 RedisTemplate之opsForValue使用说明

Redis中opsForValue()方法的使用介绍:(主要是对字符串类型的操作) 1、set(Kkey,Vvalue) 新增一个字符串类型的值,key是键,value是值。 redisTemplate.opsForValue().set("stringValue",...

2019-12-11 12:13:36 137 0

转载 git rebase简介(基本篇)

一、基本 git rebase用于把一个分支的修改合并到当前分支。 假设你现在基于远程分支"origin",创建一个叫"mywork"的分支。 $ git checkout -b mywork origin 假设远程分支"origin"...

2019-12-11 09:29:07 17 0

转载 时空复杂度(时间复杂度/空间复杂度)O(1)、O(n)、O(n^2)、O(log n)、O(n log n)是什么意思

这些都是算法时空复杂度的表示。不仅仅用于表示时间复杂度,也用于表示空间复杂度。 O后面的括号中有一个函数,指明某个算法的耗时/耗空间与数据增长量之间的关系。其中的n代表输入数据的量。 O(1)解析 O(1)就是最低的时空复杂度了,也就是耗时/耗空间与输入数据大小无关,无论输入数据增大多少倍...

2019-11-21 16:32:54 49 0

转载 redis:详解三种集群策略

redis包含三种集群策略 主从复制 哨兵 集群 主从复制 在主从复制中,数据库分为俩类,主数据库(master)和从数据库(slave)。其中主从复制有如下特点: 主数据库可以进行读写操作,当读写操作导致数据变化时会自动将数据同步给从数据库 从数据库一般都是只读的,并且接收主数据库同...

2019-11-20 09:19:36 29 0

转载 @Transactional注解:多个事务嵌套时,独立事务处理

一、需求 在多个事务嵌套使用时,排除事务之间的回滚影响 二、解决 在不同服务类的方法中使用Transactional的propagation属性来实现隔离事务。(注意两个方法不在同一个服务类中) Propagation.REQUIRES_NEW即说明该事务开启单独事务,不受其他事务...

2019-10-17 15:27:33 180 0

转载 JVM GC 日志详解 --打印GC日志

本文采用的JDK版本: java version "1.8.0_144" Java(TM) SE Runtime Environment (build 1.8.0_144-b01) Java HotSpot(TM) 64-Bit Server VM (build 25.14...

2019-10-16 18:40:05 633 0

转载 HSSF、XSSF和SXSSF区别以及Excel导出优化

之前有写过运用POI的HSSF方式导出数据到Excel(见:springMVC中使用POI方式导出excel至客户端、服务器实例),但这种方式当数据量大到一定程度时容易出现内存溢出等问题。   首先,POI提供了HSSF、XSSF以及SXSSF三种方式操作Excel。他们的区别如下: HSSF...

2019-10-15 11:42:26 146 0

转载 Excel的导出---SXSSFWorkbook & XSSFWorkbook 效率比拼

起因 最近正在接触POI中的SXSSFWorkbook,要说起为什么会接触这个货,那就要说最近的一个项目了 这个项目需要将10w多条数据写入Excel,但是整个逻辑执行过程一直伴随着OOM 经过 于是我用Java VisuaalVM工具进行了一番查证,并在OOM的时候获取了dump文件,打...

2019-10-15 11:40:29 85 0

原创 JAVA中的Date和Timestamp

在Po中定义的字段startRunTime类型为Date,如上图,没有格式化。但是数据库中是TimeStamp类型。 此处需要类型格式化注解 @JsonFormat(pattern = "yyyy-MM-dd HH:mm:ss", timezone = "GMT...

2019-09-30 14:43:35 57 0

原创 BeanUtils的使用

深copy public static <T> T copyInstance(Object source, Class<T> tClass) { if (null == source) { return null; } T tar...

2019-08-16 17:09:26 51 0

原创 关于日志设置,全面日志的输出

1.分开输出error.log和info.log日志 --spring.profiles.active=${profiles} --isJar=true &> /dev/null 2>&1 & 2. 如果想error.log和info.log日志输出在一个...

2019-08-15 18:59:25 55 0

原创 cherry-pick和merge使用的场景

1. B分支merge到A分支 如果要把b分支merge到a分支,那么需要: git checkout a //将当前的branch切换到a git merge b //将b merge到a git branch -d b //将b分支删除 当用git merge 进行...

2019-08-14 17:40:55 189 0

原创 git中使用tag打标签管理版本

在现在的项目中,版本管理混乱,初步通过把git标签来追述代码。 1.查看现有的tag git tag //显示所有的版本信息,如果为空就代表你没有此时没有任何版本信息 例如:$ git tag -l -n cmb-20190731 20190731上线版...

2019-07-31 19:25:07 1160 1

转载 Java之两个Set集合的交集、差集和并集

一、求交集 注:场景是读取两个文件,把文件内容放到Set中,求两个文件之间的共同元素。在这里只写对Set的操作。 public static void main(String[] args) throws Exception { String path1 = "path1&q...

2019-07-25 16:42:32 1786 0

转载 @Autowired注入为null的几种情况

1.在应用的Filter或Listener中使用了@Autowired, 原因:因为Filter和Listener加载顺序优先于spring容器初始化实例,所以使用@Autowired肯定为null了~~ 解决:用ApplicationContext根据bean名称(注意名称为实现类而不是接口...

2019-07-22 14:39:40 1720 0

原创 应用端使用spark Laucher发送请求spark请求

1.spark在命令行提交请求 spark-submit 1.使用spark Laucher来提交应用端的请求。 参数1: conf.spark.yarn.jars = hdfs://hadoop 使用之前提交到 2. 大数据平台下载hadoop相关的xml配置文件 需要的配置文...

2019-07-11 19:41:08 163 0

转载 多线程环境中的变量的定义

1. ThreadLocal的初始化定义 protected static final ThreadLocal<Set<String>> VERTEX_TABLES_THREAD_LOCAL = ThreadLocal.withInitial(HashSet::new)...

2019-07-05 10:26:31 235 0

原创 Hadoop之命令

1.读取Hdfs上某个目录下的数据 hadoop fs -cat /user/aaa/ccc/ddd/eee/fff/gg/* 2. 查看Hdfs上某个目录中的文件 hadoop fs -ls /user/aaa/ccc/ddd/eee/fff/gg/900 3.将show.log放到...

2019-07-04 10:16:00 54 0

转载 复杂AQL语句收集

FOR document in complexCollection LET alteredList = ( FOR element IN document.subList LET newItem = (! element.filterByMe ? ...

2019-07-03 17:32:14 98 0

转载 ES中的数据类型

KEYWORD("keyword"), STRING("text"), LONG("long"), DOUBLE("double"), DATETIME("date"), OBJECT("...

2019-06-28 09:50:24 626 0

转载 Spark基础与Java Api介绍

一、Spark简介   1、什么是Spark     发源于AMPLab实验室的分布式内存计算平台,它克服了MapReduce在迭代式计算和交互式计算方面的不足。     相比于MapReduce,Spark能充分利用内存资源提高计算效率。   2、Spark计算框架     Drive...

2019-06-26 12:08:05 43 0

转载 Spark基础

1.Spark的开发语言是Scala,而Scala需要运行在JVM之上,因而搭建Spark的运行环境应该包括JDK和Scala。 安装JDK 自Spark2.0.0版本开始,Spark已经准备放弃对Java 7的支持,所以我们需要选择Java 8。我们还需要使用命令getconf L...

2019-06-26 11:40:15 37 0

原创 ES的基础知识点

基础知识点: 1.倒排索引 2.画图说明传统数据库和倒排索引的区别 3.搜索的底层原理 倒排索引 Elasticsearch使用一种叫做倒排索引(inverted index)的结构来做快速的全文搜索。倒排索引由在文档中出现的唯一的单词列表,以及对于每个单词在文档中的位置组成。 参考文...

2019-06-24 19:14:43 107 0

提示
确定要删除当前文章?
取消 删除