hot_summery的专栏

原创 git仓库操作之二：git迁移仓库地址并保留分支和历史提交

1 先克隆老项目的镜像git clone --mirror https://.../old.git2 进入老项目的目录cd old.git3 移除老项目的地址替换成新项目git remote set-url --push origin https://.../new.git4 将镜像推到远程git push --mirror这样新项目就提交成功了。

原创 git仓库操作之一：git仓库修改名称

2.3 移除老项目的地址替换成新项目。2.1 先克隆老项目的镜像。2.2 进入老项目的目录。2.4 将镜像推到远程。这样新项目就提交成功了。

原创 Elasticsearch与关系性数据库的界限

转自：铭毅天下 引言 现在几乎网上所有资料都说数据存储在传统数据库，再在 es 中同步一份数据作为检索使用，但是也都没有很详细的说明为什么要这么做，而且在 es 本身可以存储数据的情况下，存储两份数据是不是没有必要？还会引起别的问题。 虽然收费而且支持的语法不完全，但是在现在 es 已经支持 sql 的情况下，我越来越搞不清楚 es 和数据库之间的界限。 es 不支持事务但是能够确保单条数据的写入，这样事务可以通过代码实现。很难进行联合查询可以像其他 nosql 一样用宽表实现。实时性

原创 动态管理定时任务

要解决的问题;之前一直是以配置参数的方式来管理定时任务，在项目加载的时候，定时任务的所有配置已加载完成，当需要改变定时任务执行时间时需要重启系统，所以我们需要一个能在线的对定时任务的增，删，改，查管理。话不多说，直接上代码： 首先，引入相关jar包 pom.xml <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot.

原创 git仓库操作之三：git 版本回退方法

将代码先从git上克隆到本地； 查看本地分支 $ git branchbr-2.1.2.2 master test 3.切换分支到test shuohailhl@SHUOHAILHL-PC /f/ggg/jingwei (br-2.1.2.2) $ git branchbr-2.1.2.2 master test shuohailhl@SHUOH...

原创 如何在项目中动态切库

在项目中,有遇到随业务场景的不同,而切换不同库的操作,本来考虑利用mycat来实现,但后来发现基于mycat本身的适用场景与我们的需求并不符,如果用的话,会有两个问题:mycat需要单独部署,虽不大,但又增加了现场的docker数,浪费资源; 我们的业务并不是基于数据库字段来切库,并且mycat已提供的几种切库方式没有我们的场景,要套用的话，虽可用注解的方式来加, 但对代码侵入性有点高，而且需要对jpa 和 mybatic 进行分别组装sql ;故,最后采用自己写代码封装实现切库的方式来完成, 具体

原创 git使用常见问题

1.在团队使用Git的时候，尤其是多人合作的项目，经常会出现一个问题，就是由于同一个文件名大小写不一致导致无法合并的问题。那我们应该怎么来解决呢?可以使用git rm –cached将冲突的文件从Git仓库的缓存中删除，然后改名后再加入到git中git rm --cached <filename>mv <old_filename> <new_filename>git add <new_filename>git commit -m 'ren.

原创 正则十六进制

public static void isAC(String hex) { String regex = "^[A-Fa-f0-9]{28}|[A-Fa-f0-9]{34}$"; if (hex.matches(regex)) { System.out.println(hex.toUpperCase()+"是28位或者34位16进制数"); } else ...

原创 数据各进制之间的转换

public class ChangeDataType { public static void main(String[] args) {// //十进制转成十六进制：// Integer.toHexString(int i)// //十进制转成八进制// Integer.toOctalString(int i)// //十进制转成二进制// ...

原创 聚合Bucket & Metric Aggregation

select COUNT(brand) ----------- Metric 一系列的统计方法from carsGROUP by brand ----------- Bucket 一组满足条件的文档____________________________________________________________________"aggregations"...

原创 处理并发读写

ES 采取的是乐观并发控制内部版本控制 if_seq_no + if_primary_term使用外部版本（使用其他数据库作为主要数据存储） version + version_type＝external_____内部_______DELETE productsPUT productsPUT products/_doc/1{ "title"...

原创 Search After

---Search From ---POST users/_search{ "from": 0, "size": 10000, "query": { "match_all": {} }}---Search After ---避免深度分页的性能问题，可以实时获取下一页文档信息不支持指定页数据（From） 只能往下翻第一步搜索需要指定sort，并且保...

原创 Completion Suggester

————Completion Suggester——————定义Ｍapping,使用“completion"type; 索引数据 运行”suggest“查询，得到搜索建议DELETE articlesPUT articles{ "mappings": { "properties": { "title_completion":{ "type":...

原创 Term&Phrase Suggester

—————— Term Sugget—————POST articles/_bulk{"index":{}}{"body":"luncene is very cool"}{"index":{}}{"body":"Elasticsearch builds on top of luncene"}{"index":{}}{"body":"Elasticsearch rocks"}{"i...

原创 Function Score Query 优化算分

———— Function Score ————POST /blogs/_bulk{"index":{"_id":1}}{"title":"About popularity","content":"In this post we will talk about...","votes":0}{"index":{"_id":2}}{"title":"About popularity","c...

原创 search Template和 index alias 查询

———————— search Template ——————POST _scripts/tmdb{ "script":{ "lang": "mustache", "source": { "_source":[ "title","body" ], "size":10, "query":{ ...

原创 单字符串多字段查询

——————dis_max———————PUT /blogs/_bulk{"index":{"_id":1}}{"title":"Quick brown rabbits","body":"Brown rabbits are commonly seen."}{"index":{"_id":2}}{"title":"Keeping pets healthy","body":"My qu...

原创 多字段查询

1. bool查询must 必须批配，贡献算分 should 选择批配，贡献算分 must_not Filter Context 查询子句，必须不能匹配 filter Filter Context 必须批配，但不贡献算分 POST /products/_search{ "query": { "bool": {...

原创 结构化查询

POST _bulk{"index":{"_index":"products","_id":1}}{"comment":"comment abc","commpany":"commpany def","price":10}{"index":{"_index":"products","_id":2}}{"comment":"comment ghi","commpany":"comm...

原创 Elasticsearch_term查询和全文本查询

1. TermTerm是表达语意的最小单位。搜索和利用统计语言模型进行自然语言处理都需要term;特点：Term Level Query: Term Query / Range Query / Exsis Query / Wildcard Query 在ES中，Term 查询，对输入不做分词。会将输入作为一个整体，在倒排索引中查找准确的语项。 可以通过Constant Score...

原创 文档的CRUD

原创 Elasticsearch__template

Index template:Dynamic Templateexample:PUT ttemplate/_doc/1{ "someNumber":"1", "someDate":"2019/01/01"}GET ttemplate/_mappingPUT /_template/template_test{ "index_patterns":["tes...

原创 Elasticsearch__Analyzer

分词器的组成：Character Filter、Tokenizer、Token Filter1.Character Filter 分成HTML strip 去除html标签； Mapping 字符串替换； Pattern replace 正则匹配替换2.Tokenizer 分成whitespace/standard/uax_url_email/patt...

原创 Elasticsearch__批量查询

//simple_query_stringPOST users/_search{ "query": { "simple_query_string": { "fields": ["name"], "query": "Ruan AND Yiming" } }}POST users/_search{ "query": { "sim...

原创 Elasticsearch__Mapping

Dynamic Mapping中，对于Dynamic属性的说明：// NULL and index:falsePUT users{ "mappings": { "properties": { "firstName":{ "type": "text" }, "loatName":{ "tpye":"text"...

原创 查询-query-string

PUT /users/_doc/1{ "name":"Ruan Yiming", "about":"java ,golang,swift,elasticsearch"}PUT /users/_doc/2{ "name":"Li Yiming", "about":"hadoop"}POST users/_search{ "query": { "query...

原创 查询-query-match

1. search APIcurl -XGET "http://elasticsearch:9200/kibana_sample_data_ecommerce/_search" -H'Content-Type:application/json' -d' { "query":{ "match_all"{} }}'//———————————search url;...

原创 分词器

三种分词查看方式：GET /_analyze{ "analyzer": "standard", "text": "Mashtering Elasticsearch,elasticsearch in Action"}GET movies/_analyze{ "field": "title", "text": "Mashtering Elasticsearch,elast...

原创 Logstach安装与运行（mac版）

1. 首先进入elastic官网http://www.elastic.co/cn，下载相应版本及操作系统的logstash压缩包；2. 将logstash压缩包解压缩；3. 并在解压后的logstash/bin目录下传入以下两文件logstash.conf以及movies.csv(在我的资源里有这两文件)4. 在logstash/bin 目录下执行命令：sudo ./...

原创 Kibana的安装（mac版）

Kibana的安装与Elasticsearch的安装很类似，但我们还是要做一个简单说明：1.首先需要下载Kibana的安装包，如下：先到Elastic的官网http://www.elastic.co/cn 找到Kibana的下载地址选取要下载的版本，这里注意要与Elasticsearch的版本选取一致再选择相应系统的包就可以了好了，这样我们就得到Kibana的安装...

原创 在Elasticsearch中安装插件

上回我们讲到了如何安装elasticsearch,这回我们继续讲如何在elasticsearch上安装插件1. 查看本机上的ES己安装了哪些插件； 在elasticsearch中输入bin/elasicsearch-plugin list出现这样的，说明我没有安装过，下面就可以进行安装了2. 安装插件（以analysis-icu 为例）在elasticsearch中输入...

原创 Elasticsearch 安装（mac版）

1. 下载软件包因为我是基于mac版的Elasticsearch7.1.0学习，所以先去官网下载，如下：官网下载地址：https://www.elastic.co/cn/downloads/elasticsearch因为我要基于7.1.0所以需要选择一下releases又因为我是Mac所以需要选取服务器系统到此，我己经下载好了我所需要包。2. 修改相关配置修...

原创 如何在网关Orange上加https，及如何在postman上调用

概术：一 . 如何在网关Orange上加https，；步骤可分为以下2步：1.制作证书(因为是样例，所以用自已制的证书来解释)；① 首先安装所需要的服务 openssl 以及 openssl-devel:#yum install openssl#yum install openssl-devel②创建服务器私钥：openssl genrsa -des3 -outse...

原创 统一用户认证中心

在项目开发中，遇到了以下问题：项目中，面向的用户有PC操作员、手机用户等，不同的用户登陆逻辑所在微服务，不一定是一套，甚至有可能来自不同的团队开发维护，那么导致鉴权时需要到处请求；解决思路：提出一个统一认证中心，对所有的登陆逻辑做统一处理，此服务可调用 不同的管理系统，如：操作员系统、终端用户系统、QQ开放平台竺，可复合调用组装，再将结果返回；实现架构图：说明：1. API Gateway(ora...

原创 SaaS用户管理系统模型设计

最近一直在研究关于SaaS化的用户管理系统，现将项目中的模型做一整理，先贴图：租户/组织、部门、员工 完成的是对整个组织结构及结构中人员分布的管理；系统用户（包括登陆账号）、权限包、角色、功能权限、功能、菜单分类、数据权限、数据权限操作 完成的是对 系统操作的管理；其中有许多需要理解的地方，比如：权限包和角色都是对功能权限和数据权限的打包，但一个是面向租户的，而一个是面向用户的；另外要说明的是，数...

原创 大型网站系统——之二：消息中间件

主要学习以下三个领域的中间件：1. 远程过程调用和对象访问中间件：主要解决分布式环镜下应用的互相访问问题；2. 消息中间件：解决应用之间的消息传递、解耦、异步的问题；3. 数据访问中间件：主要解决应用访问数据库中的共性问题的组件；补充：1. JVM部分有点难度， 需要再学习；2. 并发和多线程部分，如：线程池部分需要再深入学习；...

原创 大型网站系统——之一：大型网站及其架构演进

如果要将一个应用服务器变为集群，我们需要考虑的问题如下：1. session共享的问题；① Session Sticky；负载均衡器能够根据每次请求的会话标识来进行请求转发；② Session Replication；在我们的web服务器之间则增加了会话数据的同步，通过同步就保证了不同Web服务器之间的Session数据的一致；如果只有几台机子，可以选用此方案；③ Session数据集中存储；把S...

转载 微服务架构的设计模式

前不久，Java Code Geeks发表了一篇文章，分析单体应用与微服务的优缺点。近日，该网站又发表了一篇文章，提供了六种微服务架构的设计模式。聚合器微服务设计模式这是一种最常用也最简单的设计模式，如下图所示： 聚合器调用多个服务实现应用程序所需的功能。它可以是一个简单的Web页面，将检索到的数据进行处理展示。它也可以是一个更高层次的组合微服务，对检索到的

转载 一种提高微服务架构的稳定性与数据一致性的方法

微服务架构解决了很多问题，但是同时引入了很多问题。本文要探讨的是如何解决下面这几个问题。有大量的同步 RPC 依赖，如何保证自身的可靠性？依赖的微服务调用失败了，我应该失败，还是成功。依赖很多外部服务之后，自身如何保障稳定性。如果所有依赖的服务成功，我才算成功，自身的稳定性就堪忧了。 RPC 调用失败，降级处理之后如何保证数据可修复？如果调用失败时，选择

原创 读书笔记《微服务一》

什么样的服务是好服务;松耦合：修改一个服务就不需要修改另一个服务。使用微服务最重要的一点是，能够独立修改及部署单个服务而不需要修改系统中的其他部分。高内聚：如果你要改变某个行为的话，最好能够只在一个地方进行修改，然后就可以尽快发布；限界是上下文：一个由显式边界限定的特定职责。一个限界上下文中的东西可以分为两部分，一部分不需要与外部通信，另一部分则需要对外接口：两个服