2019年08月_cominglately

12月 11月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创反向代理(充分利用笔记本)

文章目录场景步骤场景本地的笔记本是没有公网IP的，所以没有办法使用；但是作为一个4核心24G 内存的笔记本来说, 有些浪费; 所以做了下反向代理笔记本一台云服务器$ip 公网IProot 用户步骤将服务器的7589端口映射到笔记本的80端口autossh -M 4444 -NfCR 7589:localhost:80 [email protected]...

2019-08-30 17:48:33 260

原创 ubuntu开启Swap 分区

文章目录场景步骤场景撸了一台阿里的云服务器, 没有交换区步骤创建一个4g的文件sudo fallocate -l 1G /swapfilefallocate命令可以为文件预分配物理空间。-l后接空间大小，默认单位为字节。也可后跟k、m、g、t、p、e来指定单位，分别代表KB、MB、GB、TB、PB、EB。大小最好是内存的2倍设置读写权限sudo chmod 6...

2019-08-29 17:58:25 858 1

原创 Mongo 大数据字段去重的实现

文章目录场景尝试1 (distinct)尝试2 (aggregate)尝试3 (写入文件)尝试4 (利用redis的Set)尝试5(数组)测试(当前消耗的内存)elasticsearch场景数据库mongo数量级300万每天增长5000 – 10000索引都已经建好了业务需要实时对集合中的tel去重尝试1 (distinct)使用mongo disti...

2019-08-27 19:03:24 1248

原创 elasticsearch unassigned shards的问题

文章目录场景分析unassigned shards分析场景今天将elasticsearch集群的一个node下线的时候发现unassigned shards分析遇到了Shard allocation过程中的延迟机制, 掉了节点之后， es会在一分钟之后进行下面的操作将缺失主分片的一个副分片升级为主分片master节点补全缺少的副分片各个节点上的分片的数量可能是不一致的，分...

2019-08-21 16:44:14 615

原创 elasticsearch missing authentication credentials for REST request [/_cluster/state?pretty]

文章目录场景参考文档解决场景elastic 在开启xpack认证之后, 直接通过curl 访问接口会报错参考文档elasticsearch官方,关于curl xpack的认证解决curl 带上认证curl --user elastic:lu@yourpassword -XGET ‘http://localhost:9200/_cluster/state?pretty’...

2019-08-21 11:30:28 14820 4

原创没有公网IP的elasticsearch集群的使用方式

文章目录场景分析解决场景elasticsearch对机器的要求非常高,个人租个集群还是非常耗钱；所以在自己的笔记本上docker建了四个容器组了个集群;这个集群是用来做线上搜索功能的，那怎么利用呢?分析服务器找不到集群,集群(笔记本)是可以访问到我的服务器；可以利用这一点进行数据交换，服务器提供请求参数, 集群(笔记本) 提供搜索结果请求的流程微信小程序 ==> ...

2019-08-21 10:32:45 197

原创 elasticsearch7.30.0 中文分词

文章目录场景medcl/elasticsearch-analysis-ik场景elasticsearch进行中文搜索medcl/elasticsearch-analysis-ik安装sudo /usr/share/elasticsearch/bin/elasticsearch-plugin install https://github.com/medcl/elasticsear...

2019-08-19 18:32:06 726

原创 kibana异常 License information from the X-Pack plugin could not be obtained from Elasticsearch

文章目录场景分析解决场景配置elasticsearch auth认证之后,发现kibana无法访问, 开到日志{ "type":"log", "@timestamp":"2019-08-19T09:16:54Z", "tags":[ "license", "warning", "xpack" ], "...

2019-08-19 17:58:23 21877 1

原创 elasticsearch kibana开启xpack认证

文章目录场景kibana开启xpackelasearch开启xpack使用auth过的kibana场景elasticsearch kibana 基本上是多人使用的, 所以进行权限控制是必然kibana开启xpack登录kibana 在管理页面升级许可证路径 Management/License managementrelasearch开启xpack开启配置(每个节点...

2019-08-19 17:52:02 7071

原创 elasticsearch集群与kibana监控

文章目录场景elasticsearch的安装elasticsearch的集群配置elasticsearch集群的工作原理[安装 kibana](#https://www.elastic.co/guide/en/kibana/current/deb.html)场景elasticsearch在生产环境都是集群使用的,kibana 提供了elasticsearch的界面化监控elastics...

2019-08-19 16:19:03 2882

原创 docker 建立容器 (elasticsearch环境准备)

文章目录场景容器环境建立容器场景elasticsearch集群需要很强的硬件, 但是个人是没有的, 所以利用docker生成需要的环境容器环境建立容器docker 按照不说了，网上一大把教程, 不过需要注意的是需要...

2019-08-19 15:37:24 334

原创 elasticsearch采坑集群失败(清理旧数据)

文章目录场景问题描述参考文档解决场景elasticserach生产环境肯定是进行集群的, 集群失败的主要是根据下面的两个配置cluster.namediscovery.zen.ping.unicast.hosts问题描述我的各个节点的cluster.namer相同, discovery.zen.ping.unicast.hosts囊括了所有的IP, 但是总是有两个节点无法组...

2019-08-19 15:06:49 795

原创无限级分类的数据库设计

文章目录场景分析邻接列表模式物化路径模式闭包表场景无限级分类是经常遇到的设计模式分析无限级分类常用的模式 (每种模式都是根据需要选择)邻接列表模式物化路径模式闭包表模式邻接列表模式表结构node_idparent_idname优点操作简单缺点生成一棵树很难适合场景4层结构之内的分类物化路径模式表结构pathn...

2019-08-13 09:53:25 1464

原创小程序的请求封装(避免回调地狱)

文章目录场景分析实现场景为了避免回调地域的感概，小程序的请求是必须要进行promise的封装的分析必须是一个promise必须有请求异常的提示http 状态码异常接口内部的异常状态码wx.showToast() 完成异常的渲染附加接口基础地址在校验到没有传递http https的时候自动附加到接口地址上附加tokenheader 附加token完成鉴权...

2019-08-08 11:36:29 203

原创小程序首次请求超前的问题(异步导致的没有附带token的问题)

文章目录场景分析解决场景在用户授权后，发起异步的登陆系统 && 获取token，然后跳转到首页, 首页onload函数发起小程序的首个正式请求，但是这时候极有可能是没有获取到token, 所以请求也是很可能失败的分析轮询是否存在token ,直到获得了token才发起请求, 轮询的时候间隔应该足够短, 这样可以确保发起请求的时间足够快解决 // 循环检查...

2019-08-08 11:30:10 872

原创小程序登录

文章目录场景登陆分析 && 实现场景这段时间在做一个小程序, 涉及到登陆，以及需要和服务器数据交互的问题登陆分析 && 实现和服务器交互需要申请token 我选用的是laravel personal token登陆（注册）如果在缓存中校验到用户信息的话则直接登陆如果没有缓存，wx.login() 调用接口获取登录凭证 cod...

2019-08-08 11:19:00 124

原创多并发的高实时的订单查询的性能问题(进程内共享数据)

文章目录场景分析 && 解决效果场景有一个订单页面,要求实时性，但是有时候查询有点慢 (2秒 – 3秒);数据库架构部署是一主多从, 从库读数据；索引观察慢查询,该走的索引都走了代码逻辑没有什么问题代码多人开发分析 && 解决仔细分析代码，发现有关于查询的公用的方法的调用，具体的sqlselect file...

2019-08-07 19:44:56 481