- 博客(586)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 2020-04-02
window中的通过终端设置环境变量例如:SET NLS_LANG=AMERICAN_AMERICA.AL32UTF8这个设置的环境变量只会在当前窗口有效。这个窗口关闭。就无效可以在设置该环境变量以后，在开启对应的应该，这样就可以该次应该启动有有效...
2020-04-02 09:53:29
567
转载 elasticsearch 安装ik中文分词
全文搜索对于中文分词很重要，所以需要ik插件分词支持中文分词英文使用空格很容易分词，中文需要根据词意进行分词，需要【字典】支持插件项目：https://github.com/medcl/elasticsearch-analysis-ik未安装前【分词测试】postmanpost http://localhost:9200/_analyze{ "text":"活动在广...
2020-02-25 10:52:26
448
转载 Elasticsearch搜索中文分词优化-ik_max_word,和ik_smart模式
Elasticsearch 中文搜索时遇到几个问题: 当搜索关键词如：“人民币”时，如果分词将“人民币”分成“人”，“民”，“币”三个单字，那么搜索该关键词会匹配到很多包含该单字的无关内容,但是如果将该词分词成一个整词“人民币”，搜索单字如“人”字又不会匹配到包含“人民币”关键词的内容,怎么解决这个问题,既保证覆盖度又保证准确度? 搜索“RMB”时只会匹配到包含“RMB”关键词的内...
2020-02-25 10:40:14
9582
3
转载 Elasticsearch 移除 type 之后的新姿势
随着 7.0 版本的即将发布，type的移除也是越来越近了，在 6.0 的时候，已经默认只能支持一个索引一个 type 了，7.0 版本新增了一个参数include_type_name，即让所有的 API 是 type 相关的，这个参数在 7.0 默认是true，不过在 8.0 的时候，会默认改成false，也就是不包含 type 信息了，这个是 type 用于移除的一个开关。让我们...
2020-02-24 18:12:49
548
转载 Elasticsearch实践（三）：Mapping
版本：Elasticsearch 6.2.4。Mapping类似于数据库中的表结构定义，主要作用如下：定义Index下字段名（Field Name） 定义字段的类型，比如数值型，字符串型、布尔型等 定义倒排索引的相关配置，比如是否索引、记录postion等Mapping完整的内容可以分为四部分内容：字段类型(Field datatypes) 元字段(Meta-Fields) ...
2020-02-23 21:15:52
477
转载 听说你还没掌握 ElasticSearch Normalizer 的使用方法？
在Elasticsearch中处理字符串类型的数据时，如果我们想把整个字符串作为一个完整的 term 存储，我们通常会将其类型type设定为keyword。但有时这种设定又会给我们带来麻烦，比如同一个数据再写入时由于没有做好清洗，导致大小写不一致，比如apple、Apple两个实际都是apple，但当我们去搜索apple时却无法返回Apple的文档。要解决这个问题，就需要Nor...
2020-02-21 17:57:26
2266
转载 配置Elasticsearch的映射 (mapping)
1.1 什么是映射 (1) 映射(mapping): 定义index的元数据, 指定要索引并存储的文档的字段类型.也就是说映射决定了Elasticsearch在建立倒排索引、进行检索时对文档采取的相关策略, 如数字类型、日期类型、文本类型等等.需要注意的是:检索时用到的分析策略, 要和建立索引时的分析策略相同, 否则将导致数据不准确.1.2 映射的组成每...
2020-02-19 10:37:02
598
转载 SpringBoot 使用Spring Initializr快速构建工程
序言：在此之前，我们主要通过Maven Archetype 来快速生成Maven项目，项目原型相对简陋，对各种IDE的支持也不太友好。然而通过Spring官方提供的Spring Initializr 来构建Maven项目，它不仅完美支持IDEA和Eclipse，而且能自动生成启动类和单元测试代码，给开发人员带来极大的便利！！一、在 IntelliJ IDEA 快速创建SpringBoot工程...
2020-02-17 12:09:32
355
转载 application.properties和application.yml文件的区别
关于一般上来说，当我们创建一个SpringBoot项目时，IDE会默认帮我们创建一个application.properties配置文件。有些朋友习惯把.properties文件改成.yml文件。那么这两种文件类型有什么区别呢？区别1.内容格式比较：.properties文件，通过.来连接，通过=来赋值，结构上，没有分层的感觉，但比较直接。.yml文件，通过：来分层，结构上，有比较...
2020-02-17 11:13:46
312
转载 实战Spring Boot 2.0之过滤器和拦截器
用户认证授权、日志记录MDC、编码解码、UA检查、多端对应等都需要通过拦截请求来进行处理。这时就需要Servlet、Filter、Listener、Interceptor这几种组件。而把非Spring Boot项目转换成Spring Boot项目，需要沿用以前的这些代码，所以有必要了解这它们的用法和生命周期。正文1. 几种组件介绍1.1. 监听器Liste...
2020-02-11 22:24:34
546
转载 Spring Boot实战：拦截器与过滤器
一、拦截器与过滤器 在讲Spring boot之前，我们先了解一下过滤器和拦截器。这两者在功能方面很类似，但是在具体技术实现方面，差距还是比较大的。在分析两者的区别之前，我们先理解一下AOP的概念，AOP不是一种具体的技术，而是一种编程思想。在面向对象编程的过程中，我们很容易通过继承、多态来解决纵向扩展。但是对于横向的功能，比如，在所有的service方法中开启事务，或者统一记录日志等功能...
2020-02-10 12:29:18
196
转载 经典算法应用之七----10亿数据中取最大的100个数据
给出三种思路，仅供参考。。1.思路一：根据快速排序划分的思想，每次分割之后只考虑比轴大的一部分，知道比轴大的一部分在比100多的时候，采用传统排序算法排序，取前100个。step1：递归对所有数据分成[a,b)，(b,d]两个区间，(b,d]区间内的数都是大于[a,b)区间内的数step2：对(b,d]重复 step1操作，直到最右边的区间个数小于100个。注意[a,b)区间不用划分ste...
2020-01-08 12:01:38
507
转载 图解排序算法(三)之堆排序
堆排序堆排序是利用堆这种数据结构而设计的一种排序算法，堆排序是一种选择排序，它的最坏，最好，平均时间复杂度均为O(nlogn)，它也是不稳定排序。首先简单了解下堆结构。堆堆是具有以下性质的完全二叉树：每个结点的值都大于或等于其左右孩子结点的值，称为大顶堆；或者每个结点的值都小于或等于其左右孩子结点的值，称为小顶堆。如下图：堆；或者每个结点的值都小于或等于其左右孩子结点的值，称为小顶...
2020-01-08 12:00:45
167
转载 mysql实现主从复制/主从同步
业务场景小公司业务代码存于一个服务器上，而这个服务器有的时候回宕机，导致业务停顿，造成影响。这个时候 就需要做高可用 两个ngix+两个tomcat+两个mysql实现高可用，避免单点问题。中间使用keepalived监听。下面先从简单的mysql主从搞起。下面按照老方式，what->why->how ,是什么，为什么，怎么做来讲解一波。（what）什么是mysql 的主从复...
2019-12-26 16:05:01
276
1
转载 Elasticsearch Java API - 客户端连接之TransportClient(TransportClient，PreBuiltXPackTransportClient)（一）
Elasticsearch Java API 客户端连接一个是TransportClient，一个是NodeClient，还有一个XPackTransportClientTransportClient：作为一个外部访问者，请求ES的集群，对于集群而言，它是一个外部因素。NodeClient作为ES集群的一个节点，它是ES中的一环，其他的节点对它是感知的。XPackTranspo...
2019-12-17 15:50:37
3854
转载 Java 客户端操作 Elasticsearch
目前 Elasticsearch 有很多第三方 Java 客户端如 TransportClient，Jest,Spring Data Elasticsearch（Spring Data 对 Elasticsearch 的整合）还有官方的Java REST ClientSpringBoot 对 Elasticsearch 的支持SpringBoot 为 Elast...
2019-12-17 15:08:21
225
转载 elasticsearch系列七：ES Java客户端-Elasticsearch Java client（ES Client 简介、Java REST Client、Java Client）
2. 回顾 ES的架构3. ES支持的客户端连接方式3.1 REST API ，端口 9200 这种连接方式对应于架构图中的RESTful style API这一层，这种客户端的连接方式是RESTful风格的，使用http的方式进行连接3.2 Transport 连接 端口 9300 这种连接方式对应于架构图中的Transport这一层，这种客户端连接方式是...
2019-12-13 18:30:02
679
转载 RedisTemplate之opsForValue使用说明
Redis中opsForValue()方法的使用介绍：（主要是对字符串类型的操作）1、set(Kkey,Vvalue) 新增一个字符串类型的值，key是键，value是值。redisTemplate.opsForValue().set("stringValue","bbb"); 2、get(Objectkey) 获取key键对应的值String stri...
2019-12-11 12:13:36
741
转载 git rebase简介(基本篇)
一、基本git rebase用于把一个分支的修改合并到当前分支。假设你现在基于远程分支"origin"，创建一个叫"mywork"的分支。$ git checkout -b mywork origin假设远程分支"origin"已经有了2个提交，如图现在我们在这个分支做一些修改，然后生成两个提交(commit).$ vi file.txt$ git commit$ vi o...
2019-12-11 09:29:07
974
转载 时空复杂度（时间复杂度/空间复杂度）O(1)、O(n)、O(n^2)、O(log n)、O(n log n)是什么意思
这些都是算法时空复杂度的表示。不仅仅用于表示时间复杂度，也用于表示空间复杂度。 O后面的括号中有一个函数，指明某个算法的耗时/耗空间与数据增长量之间的关系。其中的n代表输入数据的量。O(1)解析O(1)就是最低的时空复杂度了，也就是耗时/耗空间与输入数据大小无关，无论输入数据增大多少倍，耗时/耗空间都不变。 哈希算法就是典型的O(1)时间复杂度，无论数据规模多大，都可以在一次计算后找...
2019-11-21 16:32:54
369
转载 redis：详解三种集群策略
redis包含三种集群策略主从复制 哨兵 集群主从复制在主从复制中，数据库分为俩类，主数据库(master)和从数据库(slave)。其中主从复制有如下特点：主数据库可以进行读写操作，当读写操作导致数据变化时会自动将数据同步给从数据库 从数据库一般都是只读的，并且接收主数据库同步过来的数据 一个master可以拥有多个slave，但是一个slave只能对应一个master主...
2019-11-20 09:19:36
160
转载 @Transactional注解：多个事务嵌套时，独立事务处理
一、需求在多个事务嵌套使用时，排除事务之间的回滚影响二、解决在不同服务类的方法中使用Transactional的propagation属性来实现隔离事务。（注意两个方法不在同一个服务类中）Propagation.REQUIRES_NEW即说明该事务开启单独事务，不受其他事务影响// 服务类A@Autowiredprivate ABizService aBizSe...
2019-10-17 15:27:33
3147
转载 JVM GC 日志详解 --打印GC日志
本文采用的JDK版本：java version "1.8.0_144"Java(TM) SE Runtime Environment (build 1.8.0_144-b01)Java HotSpot(TM) 64-Bit Server VM (build 25.144-b01, mixed mode)一、GC 日志参数设置JVM GC格式日志的主要参数包括如下8个：-X...
2019-10-16 18:40:05
17287
1
转载 HSSF、XSSF和SXSSF区别以及Excel导出优化
之前有写过运用POI的HSSF方式导出数据到Excel（见：springMVC中使用POI方式导出excel至客户端、服务器实例），但这种方式当数据量大到一定程度时容易出现内存溢出等问题。 首先，POI提供了HSSF、XSSF以及SXSSF三种方式操作Excel。他们的区别如下：HSSF：是操作Excel97-2003版本，扩展名为.xls。XSSF：是操作Excel2007版本开始...
2019-10-15 11:42:26
3373
转载 Excel的导出---SXSSFWorkbook & XSSFWorkbook 效率比拼
起因最近正在接触POI中的SXSSFWorkbook，要说起为什么会接触这个货，那就要说最近的一个项目了这个项目需要将10w多条数据写入Excel，但是整个逻辑执行过程一直伴随着OOM经过于是我用Java VisuaalVM工具进行了一番查证，并在OOM的时候获取了dump文件，打开发现我了个擦，里面有两个货占据了大量的空间：1、org.apache.xmlbeans.impl...
2019-10-15 11:40:29
1390
原创 JAVA中的Date和Timestamp
在Po中定义的字段startRunTime类型为Date，如上图，没有格式化。但是数据库中是TimeStamp类型。此处需要类型格式化注解@JsonFormat(pattern = "yyyy-MM-dd HH:mm:ss", timezone = "GMT+8")...
2019-09-30 14:43:35
340
原创 BeanUtils的使用
深copypublic static <T> T copyInstance(Object source, Class<T> tClass) { if (null == source) { return null; } T target; try { target = tClass.newInstance...
2019-08-16 17:09:26
135
原创 关于日志设置，全面日志的输出
1.分开输出error.log和info.log日志--spring.profiles.active=${profiles} --isJar=true &> /dev/null 2>&1 &2. 如果想error.log和info.log日志输出在一个文件中,修改/dev/null 2>&1的目录为日志输出的路径${logPath},a...
2019-08-15 18:59:25
248
原创 cherry-pick和merge使用的场景
1. B分支merge到A分支如果要把b分支merge到a分支，那么需要：git checkout a //将当前的branch切换到agit merge b //将b merge到agit branch -d b //将b分支删除当用git merge 进行合并(merge)的时候，你只是指定了要合并到当前分支的那个并入分支，以及当前分支的当前进展问题...
2019-08-14 17:40:55
2063
原创 git中使用tag打标签管理版本
在现在的项目中，版本管理混乱，初步通过把git标签来追述代码。1.查看现有的tag git tag //显示所有的版本信息，如果为空就代表你没有此时没有任何版本信息 例如：$ git tag -l -n cmb-20190731 20190731上线版本 （显示tag和注释信息）2.新建tag git tag -a v1.01 -m "注释信息...
2019-07-31 19:25:07
3675
1
转载 Java之两个Set集合的交集、差集和并集
一、求交集注：场景是读取两个文件，把文件内容放到Set中，求两个文件之间的共同元素。在这里只写对Set的操作。public static void main(String[] args) throws Exception { String path1 = "path1"; String path2 = "path2"; Set<String> set1 = re...
2019-07-25 16:42:32
17457
转载 @Autowired注入为null的几种情况
1.在应用的Filter或Listener中使用了@Autowired，原因：因为Filter和Listener加载顺序优先于spring容器初始化实例，所以使用@Autowired肯定为null了~~解决：用ApplicationContext根据bean名称（注意名称为实现类而不是接口）去获取bean，随便写个工具类即可ApplicationContext的工具类：@Co...
2019-07-22 14:39:40
9442
原创 应用端使用spark Laucher发送请求spark请求
1.spark在命令行提交请求spark-submit1.使用spark Laucher来提交应用端的请求。参数1:conf.spark.yarn.jars = hdfs://hadoop 使用之前提交到2. 大数据平台下载hadoop相关的xml配置文件 需要的配置文件： echo $HADOOP_HOME 可以查询到hadoop安装的目录：...
2019-07-11 19:41:08
422
转载 多线程环境中的变量的定义
1. ThreadLocal的初始化定义protected static final ThreadLocal<Set<String>> VERTEX_TABLES_THREAD_LOCAL = ThreadLocal.withInitial(HashSet::new);
2019-07-05 10:26:31
886
原创 Hadoop之命令
1.读取Hdfs上某个目录下的数据hadoop fs -cat /user/aaa/ccc/ddd/eee/fff/gg/*2. 查看Hdfs上某个目录中的文件hadoop fs -ls /user/aaa/ccc/ddd/eee/fff/gg/9003.将show.log放到 /user/aaa/bbb/ccc/ddd/eee/800目录下hadoop fs -pu...
2019-07-04 10:16:00
139
转载 复杂AQL语句收集
FOR document in complexCollection LET alteredList = ( FOR element IN document.subList LET newItem = (! element.filterByMe ? element : MERGE(el...
2019-07-03 17:32:14
261
转载 ES中的数据类型
KEYWORD("keyword"),STRING("text"),LONG("long"),DOUBLE("double"),DATETIME("date"),OBJECT("object"),NONE("text");
2019-06-28 09:50:24
1884
转载 Spark基础与Java Api介绍
一、Spark简介 1、什么是Spark 发源于AMPLab实验室的分布式内存计算平台，它克服了MapReduce在迭代式计算和交互式计算方面的不足。 相比于MapReduce，Spark能充分利用内存资源提高计算效率。 2、Spark计算框架 Driver程序启动很多workers,然后workers在（分布式）文件系统中读取数据后转化为RDD（弹性分布...
2019-06-26 12:08:05
165
转载 Spark基础
1.Spark的开发语言是Scala，而Scala需要运行在JVM之上，因而搭建Spark的运行环境应该包括JDK和Scala。安装JDK 自Spark2.0.0版本开始，Spark已经准备放弃对Java 7的支持，所以我们需要选择Java 8。我们还需要使用命令getconf LONG_BIT查看linux机器是32位还是64位，然后下载相应版本的JDK并安装。...
2019-06-26 11:40:15
125
原创 ES的基础知识点
基础知识点：1.倒排索引2.画图说明传统数据库和倒排索引的区别3.搜索的底层原理倒排索引Elasticsearch使用一种叫做倒排索引(inverted index)的结构来做快速的全文搜索。倒排索引由在文档中出现的唯一的单词列表，以及对于每个单词在文档中的位置组成。参考文章：https://mp.csdn.net/postedit/86291420...
2019-06-24 19:14:43
231
rocketmq-console
2018-08-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人