- 博客(18)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 ES中的数据类型
KEYWORD("keyword"),STRING("text"),LONG("long"),DOUBLE("double"),DATETIME("date"),OBJECT("object"),NONE("text");
2019-06-28 09:50:24
1914
转载 Spark基础与Java Api介绍
一、Spark简介 1、什么是Spark 发源于AMPLab实验室的分布式内存计算平台，它克服了MapReduce在迭代式计算和交互式计算方面的不足。 相比于MapReduce，Spark能充分利用内存资源提高计算效率。 2、Spark计算框架 Driver程序启动很多workers,然后workers在（分布式）文件系统中读取数据后转化为RDD（弹性分布...
2019-06-26 12:08:05
177
转载 Spark基础
1.Spark的开发语言是Scala，而Scala需要运行在JVM之上，因而搭建Spark的运行环境应该包括JDK和Scala。安装JDK 自Spark2.0.0版本开始，Spark已经准备放弃对Java 7的支持，所以我们需要选择Java 8。我们还需要使用命令getconf LONG_BIT查看linux机器是32位还是64位，然后下载相应版本的JDK并安装。...
2019-06-26 11:40:15
139
原创 ES的基础知识点
基础知识点：1.倒排索引2.画图说明传统数据库和倒排索引的区别3.搜索的底层原理倒排索引Elasticsearch使用一种叫做倒排索引(inverted index)的结构来做快速的全文搜索。倒排索引由在文档中出现的唯一的单词列表，以及对于每个单词在文档中的位置组成。参考文章：https://mp.csdn.net/postedit/86291420...
2019-06-24 19:14:43
241
转载 使用@JsonFormat时间格式化注解使用解决问题
在数据库中定义的startRunTime为Timesmysql中定义为Timestamp在数据库表中startRunTime定义的为Date类型。但是最后将数据库中的数据转换为Po对象的时候，出现了第一张图的问题，startRunTime格式显示有错误。没有经过格式化的数据使用@JsonFormat时间格式化注解使用解决问题@JsonFormat注解是...
2019-06-21 19:35:24
3901
转载 Hadoop之Hadoop核心HDFS
---第1章初识大数据大数据是一个概念也是一门技术,是在以Hadoop为代表的大数据平台框架上进行各种数据分析的技术.回到顶部---第2章Hadoop核心HDFSHadoop是一个开源的大数据框架,是一个分布式计算的解决方案,Hadoop=HDFS(分布式文件系统)+MapReduce(分布式计算) 存储是大数据技术的基础,分布式计算是大数据应用的解决方案 HDFS基础架构:...
2019-06-20 15:37:17
150
转载 Spark从零开始
---第1章Spark介绍Spark是一个快速(扩充了流行的MapReduce计算模型,基于内存计算)且通用(容纳了其他分布式系统拥有的功能)的集群计算平台. Spark的组件:SparkCore:包含Spark的基本功能,比如任务调度,内存管理,容错机制.定义了RDD(弹性分布式数据集),提供了API来创建和操作RDD. SparkSQL:处理结构化数据的库. SparkSt...
2019-06-20 15:23:06
96
转载 ES读写的底层原理过程
es读写数据的工作原理（1）es写数据过程1）客户端选择一个node发送请求过去，这个node就是coordinating node（协调节点）2）coordinating node，对document进行路由（根据documentID路由），将请求转发给对应的node（有primary shard）3）实际的node上的primary shard处理请求，然后将数据同步到r...
2019-06-19 14:58:13
5732
4
转载 springboot中配置文件application.properties的理解
前言 Spring Boot使用“习惯优于配置”（项目中存在大量的配置，此外还内置了一个习惯性的配置，让你无需手动进行配置）的理念让你的项目快速运行起来。所以，我们要想把Spring Boot玩的溜，就要懂得如何开启各个功能模块的默认配置，这就需要了解Spring Boot的配置文件application.properties。正文pring Boot使用了一个全局的配置文...
2019-06-19 10:42:14
346
转载 基础知识与理论；ES与lucene的关联
在搜索这块，lucene是最流行的搜索库。elasticSearch是基于lucene的分布式搜索引擎。在es没火的时候，大家一般用solr1.Lucene只是一个库。想要使用它，你必须使用java来作为开发语言并将其直接集成到你的应用中，更糟糕的是，Lucene非常复杂，你需要深入了解检索的相关知识来理解它是如何工作的。2.Elasticsearch也使用Java开发并使用Lucen...
2019-06-18 20:10:29
2795
转载 Spring-boot中读取config配置文件的两种方式
Spring-Boot的核心配置文件application.properties，当然也可以通过注解自定义配置文件的信息。Spring-Boot读取配置文件的方式：一.读取核心配置文件信息application.properties的内容 核心配置文件是指在resources根目录下的application.properties或application.yml配置文件，读...
2019-06-18 19:19:45
1786
转载 Spring-data-redis中的redisTemplate
import java.util.ArrayList;import java.util.HashSet;import java.util.Iterator;import java.util.List;import java.util.Map;import java.util.Set;import org.springframework.beans.factory.annotati...
2019-06-18 18:34:34
320
转载 连接Redis异常：JedisMovedDataException
在使用JAVA API连接redis的时候，出现了异常：redis.clients.jedis.exceptions.JedisMovedDataException: MOVED 1539 127.0.0.1:6379 问题的原因 JAVA API实现是redis集群实现方式，而在配置文中就配置的是单结点的方式。 Moved表示使用的是Redis集群。而Jedis不是集...
2019-06-17 10:17:57
49359
1
转载 在本地pull一个的远程的库的时候，拉不下来的解决方法
从github上pull一个本地不存在的分支的方法？github分支结构master develop本地代码的结构master现在我想从github中pull其develop分支，想达到本地也有master和develop分支的效果，但是我用git pull origin develop没有达到效果。解决方法：一键拉取本地上不存在的远程分支：git checko...
2019-06-13 18:09:12
1244
原创 Elasticsearch分布式架构原理图
基本概念elasticsearch设计的理念就是分布式搜索引擎，底层其实还是基于lucene的。核心思想就是在多台机器上启动多个es进程实例，组成了一个es集群。es中存储数据的基本单位是索引，比如说你现在要在es中存储一些订单数据，你就应该在es中创建一个索引，order_idx，所有的订单数据就都写到这个索引里面去，一个索引差不多就是相当于是mysql里的一张表。index ...
2019-06-04 21:30:12
6546
转载 CRUD 操作的工作原理
剖析写操作创建 ((C)reate)当我们发送索引一个新文档的请求到协调节点后，将发生如下一组操作：Elasticsearch 集群中的每个节点都包含了该节点上分片的元数据信息。更新 ((U)pdate) 和删除 ((D)elete)删除和更新也都是写操作。但是 Elasticsearch 中的文档是不可变的，因此不能被删除或者改动以展示其变更。那么，该如何删除和更新文档呢？...
2019-06-04 21:07:18
778
原创 在MAC中查看Excel中一个sheet中的最大行数
首先点击行序号位置选中表格中任意一行单元格。使用 Command + 向下的尖头就可以看到C
2019-06-04 14:22:47
708
rocketmq-console
2018-08-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人