SpringBoot-data-elasticSearch 复杂查询

最近做的项目中使用到了Es,我选择了SpringBoot-data-elasticSearch来操作Es,SpringData的封装还是比较好用的,把用到的api贴上来。 单条件查询: QueryBuilder queryBuilder = QueryBuilders.matchQuery(&...

2019-04-01 16:19:31

阅读数 100

评论数 0

RedisTemplate切库

最近在做项目是用到了Redis,之前了解不多,但因为项目要求是需要亿级别文档的搜索秒级别返回,所以使用了SpringBoot集成redis,根据大神设计好的逻辑进行后端开发。在过程中最主要的问题就是在查询不同redis库的索引时需要切库,但是试了setDataBase后无效,最后只能选择最笨的方法...

2019-03-26 15:55:45

阅读数 92

评论数 0

ES执行聚合操作时报错(需单独开启内存的排序和聚合)

在观看ES文档时做了一些基础测试,在执行以下操作时出现报错 GET /megacorp/employee/_search { "aggs":{ "all_interests":{ &quot...

2019-02-14 17:44:02

阅读数 297

评论数 0

基于SpringBoot、Mybatis的项目模块

最近做了一个基于SpringBoot和mybatis的项目,和前一篇的Spark Streaming是一个完整的项目,系统后端通过读取mysql中的数据在前端页面显示,并进行处理。前端页面展示使用的是thymeleaf,在项目中遇到的其中一个小问题是数据显示的分页处理,最终使用了mybatis的p...

2019-02-13 10:54:05

阅读数 267

评论数 0

SparkStreaming、kafka、mysql集成

前一段接触了一个项目,需求是mongo中的增量数据作为kafka的生产者,用sparkStreaming作为消费者,最终经过处理后写入到mysql中。之前对kafka和sparkStreaming仅仅是了解,所以用了我最熟悉的java来完成项目。 部分代码如下: public class J...

2019-02-13 10:28:24

阅读数 306

评论数 0

hive中的DML

Hive中的DML数据操作语法 数据导入 向表中装载数据(Load) 1)语法 hive>load data [local] inpath '/opt/module/datas/student.txt' [overwrite] into table student [...

2018-08-24 15:08:08

阅读数 304

评论数 0

hive中的DDL

Hive中的DDL数据定义 创建数据库 1)创建一个数据库,数据库在 HDFS 上的默认存储路径是/user/hive/warehouse/*.db。 hive (default)> create database db_hive; 2)避免要创建的数据库已经存在错误...

2018-08-24 15:00:29

阅读数 288

评论数 0

hive查询语法

Hive中的查询语句 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Select [WITH CommonTableExpression (, CommonTableExpression)*] (Note...

2018-08-24 14:56:39

阅读数 646

评论数 0

Hive元数据复习总结

1、存储Hive版本的元数据表(VERSION) 该表比较简单,但很重要。 VER_ID SCHEMA_VERSION VERSION_COMMENT ID主键 Hive版本 版...

2018-08-24 14:55:17

阅读数 176

评论数 0

Hbase存储原理复习

  1.HBase架构组成 HBase采用Master/Slave架构搭建集群,它隶属于Hadoop生态系统,由以下类型节点组成:HMaster节点、HRegionServer节点,而在底层,它将数据存储于HDFS中。 HMaster节点作用 1.管理HRegionServer,实...

2018-08-23 14:17:15

阅读数 571

评论数 0

HDFS复习总结

  1.1HDFS产生背景 随着数据量越来越大,在一个操作系统管辖的范围内存不下了,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。 1.2 HDFS概念 HDFS,它是...

2018-08-05 14:34:47

阅读数 406

评论数 0

Annotation(注解)

注解:给程序带上一些标记,从而影响编译器运行程序的结果!!! 注释:提高程序的可读性,对程序运行没有影响!!!  注解的作用:             1)可以在程序上(类,方法,属性)携带信息              2)注解简化(取代)配置文件(xml或properties) 每个...

2018-06-25 21:15:58

阅读数 247

评论数 0

反射总结

最近看视频复习了反射,重新总结了一下。   反射的几个类      Class类:代表类。      作用: 到类名称,类的实现的接口,继承的类..      Constructor类:代表类的构造方法 作用: 构造对象      Method类:代表类的普通方法      作用:调...

2018-06-25 20:56:36

阅读数 241

评论数 0

Junit测试方法编写

写一个测试MathUtil的add方法的测试方法 注意:给一个方法加上@Test注解,那么该方法就是一个测试方法(类似于一个main方法) 1)Junit测试方法的规则:     1)测试方法一定在方法顶部要加上@Test注解     2)方法必须是public修饰,不能有返回值,不能有...

2018-06-25 20:31:48

阅读数 333

评论数 0

servlet过滤器重点内容

过滤器(Filter接口)                            (1)作用:在请求资源(静态资源或动态资源),或者响应资源,或者请求和响应资源时,执行过滤任务。                            (2)Filter的生命周期:              ...

2018-06-08 20:00:22

阅读数 243

评论数 0

数据库中表名或字段出现关键字

当数据库中表名出现关键字,操作数据库时就会发生错误。如图: You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right s...

2018-06-08 19:24:21

阅读数 1194

评论数 0

非法的jstl表达式

今天在做项目的时候发生了一个很简单,但是很容易犯的错误。 2018-5-31 19:00:18 org.apache.catalina.core.ApplicationDispatcher invoke 严重: Servlet.service() for servlet jsp threw ex...

2018-06-08 19:02:56

阅读数 295

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭