2019年08月_啊策策

原创 ElasticSearch入门之Java API操作es, Java API完成对es的增删改查以及高亮分页, Java API批量插入文档到es集群 16

1. 先导入pom依赖 <dependencies> <dependency> <groupId>org.elasticsearch.client</groupId> <artifactId>transport</artifactId> ...

2019-08-18 17:11:50 1021

原创 ElasticSearch入门之es的分片交互过程, es添加文档分片流程, es删除文档分片流程, es删除文档分片流程 13

1. es添加文档分片交互流程客户端发送一个索引的请求给node1node1接收到请求后,会根据请求中携带的参数"文档id"判断出该文档应该存储在具体哪一个shard中.shard = hash(rounting) % number_of_primary_shards比如, 计算出的结果是该条数据存在在shard0分片上.node1通过元数据信息可以知道shard0存在于哪一个节点上...

2019-08-18 14:53:34 1239 2

原创 ElasticSearch入门之ES配置IK分词器, IK分词器热词更新 12

1. 先安装IK分词器每台机器都要配置。配置完成之后，需要重启ES服务wget https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v5.5.2/elasticsearch-analysis-ik-6.0.0.zip # 将ik分词器的插件，上传到/export/servers/es # cd...

2019-08-18 14:25:44 3329 3

原创 ElasticSearch入门之es分页, size+from浅分页, scroll深分页 11

1. 先导入一部分数据DELETE usPOST /_bulk{ "create": { "_index": "us", "_type": "tweet", "_id": "1" }}{ "email" : "john@smith.com", "name" : "John Smith", "username" : "@john" }{ "create": { "_index": "us"...

2019-08-18 11:49:20 5150 7

原创 ElasticSearch入门之索引库配置管理(settings), 零停机复制索引库(修改分片数) 10

1. 索引库配置所谓的settings就是用来修改索引分片和副本数的;比如有的重要索引, 副本数很少甚至没有副本, 那么我们通过setting来添加副本数.新建一个索引库 documentDELETE documentPUT document{ "mappings": { "article" : { "properties": { ...

2019-08-16 14:23:27 547

原创 ElasticSearch入门之索引映射mapping管理, es如何查看索引字段类型, es复制索引库 09

1. 为什么要映射?es中的文档等价于java中的对象,那么在java中有字段(比如string, int, long等类型), 同理在es索引中的具体字段也是有类型的.PUT /document/article/1{ "title" : "elasticsearchshi是是什么", "author" : "zhangsan", "titleScore" : 60}如上这...

2019-08-16 09:54:12 19485

原创 Linux安装远程连接工具xshell 02

5 安装远程连接工具直接操作Linux系统所在机器的问题： A：虚拟机有鼠标独占问题，不好操作 B：真实开发中，虚拟机与我们不在一起。使用远程连接工具： A：操作方便快捷 B：随时随地都可以连接Linux系统，方便管理5.1 远程终端命令工具主要功能是向Linux系统远程发送命令Xshell：目前最好用Secure Shell Client：老牌的连接工具，对中文支持较...

2019-08-15 19:20:43 194

原创 ElasticSearch入门之kibana对Elasticsearch做增删改查操作，以及一些聚合查询之作业实战 10

作业实战1. 在kibana提供的界面上进行操作。POST /school/student/_bulk{ "index": { "_id": 1 }}{ "name" : "liubei", "age" : 20 , "sex": "boy", "birth": "1996-01-02" , "about": "i like diaocan he girl" }{ "index": { ...

2019-08-13 18:07:04 376

原创 ElasticSearch入门之kibana对Elasticsearch做增删改查操作，以及一些聚合查询 09

全查询 GET /school/student/_search{ "query": { //todo query }}TermQuery词元使用GET /school/student/_search{ "query": { "term": { "about": { "value": "travel" } }...

2019-08-13 17:09:45 160

原创 ElasticSearch入门之es使用shell命令操作索引,curl操作索引 08

前言curl是利用URL语法在命令行方式下工作的开源文件传输工具，使用curl可以简单实现常见的get/post请求。简单的认为是可以在命令行下面访问url的一个工具。在centos的默认库里面是有curl工具的，如果没有请yum安装即可。curl-X 指定http的请求方法有HEAD GET POST PUT DELETE-d 指定要传输的数据-H 指定http请求头信息1. 使...

2019-08-13 15:49:11 4195

原创 ElasticSearch入门之es高级可视化界面安装, Kibana部署 07

1. 安装前的准备# 使用root进行操作# 使用root进行操作# 使用root进行操作# 使用root进行操作mkdir -p /export/servers/kibanamkdir -p /export/data/kibanamkdir -p /export/logs/kibana# 赋权给es# 赋权给es# 赋权给es# 赋权给eschown -R es:es /...

2019-08-13 11:48:33 231

原创 ElasticSearch入门之es简易版可视化界面, elasticsearch-head安装 06

1. 安装nodejsNode.js是一个基于 Chrome V8 引擎的 JavaScript 运行环境。Node.js是一个Javascript运行环境(runtime environment)，发布于2009年5月，由Ryan Dahl开发，实质是对Chrome V8引擎进行了封装。Node.js 不是一个 JavaScript 框架，不同于CakePHP、Django、Rails。...

2019-08-13 11:15:50 4304

原创 ElasticSearch入门之es的安装, es首次启动报错及解决方案 05

1. 安装前的准备工作及下载1.1 创建用户创建一个es专门的用户(必须), 因为es软件不能用root用户启动.注意: 在企业中,每个业务系统或者集群都需要申请独立的账号.#使用root用户的操作#添加一个用户，叫做esuseradd es # 使用root用户创建目录mkdir -p /export/servers/esmkdir -p /export/data/esmkd...

2019-08-12 19:39:24 1639 2

原创 ElasticSearch入门之es集群数据存储分片副本模式, es专业术语 04

1. 概述es是面向文档(document oriented)的, 这意味着它可以存储整个对象或文档(document). 然而它不仅仅是存储, 还会索引(index)每个文档的内容使之可以被搜索. 在es中,你可以对文档(而非成行成列的数据)进行索引, 搜索, 排序, 过滤.es类比传统关系型数据库2. es数据分片副本模式存储到es集群的数据, 默认是分为5个分片, 每个分片是共2...

2019-08-12 17:09:18 2240 1

原创 ElasticSearch入门之什么是ElasticSearch, ES使用案例, ES对比solr 03

1. 什么是ElasticSearchElasticSearch简称es, es是一个开源的高扩展的分布式全文检索引擎.可以近乎实时的存储, 检索数据;本身扩展性很好, 可以扩展到上百台服务器, 处理PB级别的数据es也是用Java开发并使用Luence作为其核心来实现所有索引和搜索的功能.但是它的目的是通过简单的restful api来隐藏luence的复杂性,从而让全文搜索变得简单(...

2019-08-12 11:46:21 286

前言日志，对于任何系统来说都是及其重要的组成部分。在计算机系统里面，更是如此。但是由于现在的计算机系统大多比较复杂，很多系统都不是在一个地方，甚至都是跨国界的；即使是在一个地方的系统，也有不同的来源，比如，操作系统，应用服务，业务逻辑等等。他们都在不停产生各种各样的日志数据。根据不完全统计，我们全球每天大约要产生 2EB的数据。面对如此海量的数据，又是分布在各个不同地方，如果我们需要去查找一些...

2019-08-12 11:12:01 158

原创 ElasticSearch入门之ES产生的背景, restful通俗解释 01

1. 搜索的核心及目前主流搜索网站做法搜索的核心: 创建索引和查询索引首先我们谈几个公司，如雷贯耳的：百度、谷歌、维基百科；这些公司都有一个相似性就是门户网站，可以提供我们通过关键字搜索，然后快速的检索出我们想要的信息；网页百度展示比如我们检索啊策策，百度后台就会按照这个关键字进行查找（里面有搜索库，以及爬虫库），然后按照权重来进行从上打下的排序，给我们高亮的展示出现京东或者淘宝展示...

2019-08-09 17:57:31 836

原创 Luence入门

学习目标掌握倒排索引原理了解Lucene的作用了解Field字段的选择掌握Lucene创建索引基本API掌握Lucene查询基本API1. 了解搜索技术1.1 搜索引擎什么是搜索引擎？搜索引擎的原理可以看到搜索引擎的功能主要是三部分：爬行和抓取数据（爬虫多用Python来编写、但是Java也能实现）对数据做预处理（提取文字、中文分词、建立倒排索引）提供搜...

2019-08-08 16:09:03 1145 2

原创 SpringBoot入门之SpringBoot读取yml配置文件, yml配置文件的语法 12

12. SpringBoot读取yml(yaml)文件12.1 了解什么是yml(yaml)文件YML文件格式是YAML (YAML Aint Markup Language)编写的文件格式，YAML是一种直观的能够被电脑识别的的数据序列化格式，并且容易被人类阅读，容易和脚本语言交互的，可以被支持YAML库的不同的编程语言程序导入，比如： C/C++, Ruby, Python, Java, ...

2019-08-07 15:59:51 814

原创 SpringBoot入门之SpringBoot读取自定义properties文件 11

11. SpringBoot读取自定义properties文件注意:自定义配置文件只能使用.propeties的后缀自定义.11.1 resources下创建一个mail.properties配置文件mail.host=acece.commail.port=25mail.username=啊策策mail.password=12345611.2 domain包下创建一个MailPr...

2019-08-07 11:55:30 1012 2

原创 SpringBoot入门之SpringBoot读取application.properties配置文件 10

10. SpringBoot读取application.properties10.1 properties文件通常是做什么的?在程序当中,经常要修改的属性,我们放到prpperties配置文件中,这样就不用修改代码了. 必要的时候,我们要读取配置文件中的属性值~10.2 如何读取呢?首先test.java包下编写一个测试类,需要注入Environment类, 使用environmen...

2019-08-06 18:27:00 1620

原创 SpringBoot入门之SpringBoot整合Junit 09

9. SpringBoot整合Junit9.1 pom文件导入junit启动器  <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spri...

2019-08-06 16:19:44 262

原创 SpringBoot入门之SpringBoot整合Redis 08

8. SpringBoot整合Redis8.1 pom文件引入redis启动器注意:redis启动器一定要有版本号,没有版本号pom文件也不会报错,代码中也能加入相应注解,但是SpringBoot无法将数据存到redis中.切记切记一定要有版本号...

2019-08-06 15:51:35 240

原创 SpringBoot入门之SpringBoot整合前端框架easyUI 06

SpringBoot整合EasyUI

2019-08-06 14:46:45 6638 3

原创 SpringBoot入门之SpringBoot整合Mybatis 07

7. SpringBoot整合Mybatis7.1 pom依赖导入Mybatis启动器博主尝试过N次,Mybatis版本为1.1.1才不会报错 <dependency> <groupId>org.mybatis.spring.boot</groupId> <artifactId&...

2019-08-05 16:33:06 323

原创 SpringBoot入门之SpringBoot整合SpringDataJPA 05

5. SpringBoot整合SpringDataJpa5.1 先在数据库中创建库和表CREATE DATABASE B;USE B;DROP TABLE IF EXISTS `user`;CREATE TABLE `user` ( `id` bigint(20) NOT NULL AUTO_INCREMENT, `user_name` varchar(100) DEFAULT NU...

2019-08-05 08:39:26 202

原创 SpringBoot入门之SpringBoot热部署,什么是热部署 04

3. SpringBoot热部署3.1 什么是热部署热部署，就是在应用正在运行的时候升级软件，却不需要重新启动应用。SpringBoot热部署就是在项目正在运行的时候修改代码, 却不需要重新启动项目.SpringBoot提供了热部署方案,大大提高了开发效率, 因为频繁的重启项目,势必会浪费很多时间, 有了热部署后,妈妈再也不用担心我修改代码重启项目了~3.2 SpringBoot如何热部署...

2019-08-04 16:40:06 7279 6

原创 SpringBoot入门之运行原理,启动类的作用, @SpringBootApplication注解作用 03

3. SpringBoot运行原理剖析3.1 SpringApplication类作用及run()方法作用SpringApplication这个类整合了其他框架的启动类, 只要运行这一个类,所有的整合完成.调用run函数, 将当前启动类的字节码传入, 以及main函数的args参数通过获取当前启动类的核心信息, 创建IOC容器.3.2 当前启动类@SpringBootApplica...

2019-08-01 21:20:29 1779

原创 SpringBoot入门之Idea工程快速搭建 02

2. SpringBoot工程环境快速搭建2.1 创建一个Maven项目创建好的项目, 构造是下图这个样子的~2.2 导入pom依赖<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://...

2019-08-01 17:10:42 191

啊策策大数据社区