kafka安装和使用简介 转：https://blog.csdn.net/u011663149/article/details/85321542安装伪分布式kafka cd /usr/local tar -zxvf kafka_2.10-0.8.2.0.tgz mv kafka_2.10-0.8.2.0 kafka cd /usr/local/kafka/ 启动Kafka自...
详解shell中>/dev/null 2>&1重定向输出 转自：https://www.jb51.net/article/106373.htm前言相信大家经常能在shell脚本中发现>/dev/null 2>&1这样的语句。以前的我并没有去深入地理解这段命令的作用，照搬照用，直到上周我将这段命令不小心写成了2>&1 >/dev/null，出了一点小问题之后，我才开始去了解这段命令背后的“玄机”。shel...
spark streaming Listeners 随着对spark的了解，有时会觉得spark就像一个宝盒一样时不时会出现一些难以置信的新功能。每一个新功能被挖掘，就可以使开发过程变得更加便利一点。甚至使很多不可能完成或者完成起来比较复杂的操作，变成简单起来。有些功能是框架专门开放给用户使用，有些则是框架内部使用但是又对外暴露了接口，用户也可以使用的功能。 今天和大家分享的是两个监听器SparkListener和stream...
ElasticSearch原理 本文转自：https://www.cnblogs.com/dreamroute/p/8484457.htmlElasticsearch－基础介绍及索引原理分析最近在参与一个基于Elasticsearch作为底层数据框架提供大数据量(亿级)的实时统计查询的方案设计工作，花了些时间学习Elasticsearch的基础理论知识，整理了一下，希望能对Elasticsearch感兴趣/想了解的同学有...
ElasticSearch date_histogram按时间聚合统计 按时间统计如果搜索是在 Elasticsearch 中使用频率最高的，那么构建按时间统计的 date_histogram 紧随其后。 为什么你会想用 date_histogram 呢？假设你的数据带时间戳。 无论是什么数据（Apache 事件日志、股票买卖交易时间、棒球运动时间）只要带有时间戳都可以进行 date_histogram 分析。当你的数据有时间戳，你总是想在 时间 维度上构建指...
ElasticSearch 聚合查询 桶（bucket）和指标（metric）（1）桶 a、简单来说桶就是满足特定条件的文档的集合。 b、当聚合开始被执行，每个文档里面的值通过计算来决定符合哪个桶的条件，如果匹配到，文档将放入相应的桶并接着开始聚合操作。 c、桶也可以被嵌套在其他桶里面。（2）指标 a、桶能让我们划分文档到有意义的集合，但是最终我们需要的是对这些桶内的文档进行一些指标的计算。分桶是一...
ElasticSearch multi_match查询 multi_match 查询multi_match 查询为能在多个字段上反复执行相同查询提供了一种便捷方式。multi_match 多匹配查询的类型有多种，其中三种为： best_fields 、 most_fields 和 cross_fields （最佳字段、多数字段、跨字段）。默认情况下，查询的类型是 best_fields ， 这表示它会为每个字段生成一个 match 查询，然...
ElasticSearch最佳查询 假设有个网站允许用户搜索博客的内容， 以下面两篇博客内容文档为例：PUT /my_index/my_type/1{ "title": "Quick brown rabbits", "body": "Brown rabbits are commonly seen."}PUT /my_index/my_type/2{ "title": "Keeping pet...
ElasticSearch Analyzer使用规则 analyzer的使用规则查询只能查找倒排索引表中真实存在的项， 所以保证文档在索引时与查询字符串在搜索时应用相同的分析过程非常重要，这样查询的项才能够匹配倒排索引中的项。尽管是在说 文档 ，不过分析器可以由每个字段决定。 每个字段都可以有不同的分析器，既可以通过配置为字段指定分析器，也可以使用更高层的类型（type）、索引（index）或节点（node）的默认配置。在索引时，一个字段值是...
ElasticSearch全文搜索查询简单探索 多词查询普通多词查询GET /my_index/my_type/_search{ "query": { "match": { "title": "BROWN DOG!" } }}结果：{ "hits": [ { "_id": "4", "_scor...
ElasticSearch结构化查询简单探索 term精确匹配查询查询语法：GET /my_store/products/_search{ "query" : { "constant_score" : { "filter" : { "term" : { "price" : 20 ...
Spring中使用SpringTask和Quartz实现多线程定时任务 Spring Task的使用注解配置package com.cmb.mobilelog.fulllink.timer;import com.cmb.mobilelog.fulllink.configuration.SysConfig;import com.cmb.mobilelog.fulllink.elasticSearch.EsSearchDao;import com.cmb.mo...
Java运行时反射修改注解值 Java实现运行时修改注解值由于java的注解不能传参，而项目中经常需要将运行中动态值传到注解中，因为需要在运行中修改注解的值，达到我们想要的目的。再次记录我项目中实现java通过反射实现运行时修改注解值。实践 private void changeTimerConfig() { try { Method doJob = SynTaskTimer...
Mybatis逆向工程自动生成代码 最近在项目中使用了逆向自动生成代码的工具生成了mybatis的mapper代码，在次记录分享工程代码。配置XML文件：<?xml version="1.0" encoding="UTF-8"?><!DOCTYPE generatorConfiguration PUBLIC "-//mybatis.org//DTD MyBatis Generator Configuratio...
Mybatis insert方法主键回填和自定义 在数据库插入的时候，有很多属性需要我们自己处理，如主键自增字段。MYSQL中主键根据一定规则生成后，需要我们在插入后去主动获取，以便后面的操作，Mybatis为我们提供了处理的方法。主键回填keyProperty：指定哪个字段是主键useGeneratedKeys：这个主键是否使用数据库内置生成策略我们可以在XML文件中进行如下配置：<insert id="insertUser" param...
Mybatis Properties 配置优先级 Properties 配置方式Mybatis提供了三种配置方式：properties元素体内property子元素properties配置文件程序参数传递配置优先级别在properties元素体内指定的属性首先被读取properties配置文件中配置的属性通过参数传递的方式因此，通过参数传递的属性具有最高优先级，properties配置文件次之，优先级最低的是在properties元素体内指定的...
Mybatis使用XML和代码方式构建SqlSessionFactory 使用XML方式构建XML配置文件：<?xml version="1.0" encoding="UTF-8" ?><!DOCTYPE configuration PUBLIC "-//mybatis.org//DTD Config 3.0//EN" "http://mybatis.org/dtd/mybatis-3-config.dtd"><conf
java序列化和反序列化 JAVA序列化和反序列化的方式主要有两种：1.实现Serializable接口：相应的对象实现了序列化接口Serializable，这个使用的比较多，对于序列化接口Serializable接口是一个空的接口，它的主要作用就是标识这个对象时可序列化的，jre对象在传输对象的时候会进行相关的封装。2.实现Externalizable接口：Externalizable接口继承了Serializable接...
java异常分类和解析 JAVA的异常类的层次结构在 Java 中，所有的异常都有一个共同的祖先 Throwable（可抛出）。Throwable 指定代码中可用异常传播机制通过 Java 应用程序传输的任何问题的共性，它们都在java.lang包下面。Error类标记了严重错误，类似内存溢出，虚拟机异常，等等，是不该出现的。这些错误表示故障发生于虚拟机自身、或者发生在虚拟机试图执行应用时
关注
