- 博客(18)
- 收藏
- 关注
RSS订阅原创 ES中的三种并(and)查询的方式以及他们的差异
文章目录0. 实验背景1. 数据准备1. match and查询场景2. query_string and查询场景3. term and查询场景4. 结论0. 实验背景主要测试并(and)查询场景下，query_string、match、term三种可以满足并查询条件的方式以及彼此的差异1. 数据准备ES中插入两个doc。doc对应的数据结构,tags keyword; tags0 tex...
2020-01-03 11:57:22
10363
1
原创 elasticsearch exists方法测试
问题背景彻底搞明白ES中的exists方法到底能达到怎样的查询效果。ES版本:6.3.1场景1: 字段未曾设置 null_value数据准备当前数据库中存在了4条数据其中 num的数据类型为 integer，不设置null_value{"title":"测试0"}{"title":"测试1","num":null}{"title":"测试2","num":0}{"tit...
2019-12-26 10:28:50
5669
2
原创 python-phoenix踩坑指南-必看
文章目录1. phoenix字母大小写敏感问题（坑了1个小时）2. python 查询中的时间格式返回问题（坑了2个小时）1. phoenix字母大小写敏感问题（坑了1个小时）在phoenix中新建的表和hbase直接建立的表会有所不同。在映射过程中,phoenix所有名称,包括表名和列名在增删改查的过程中都遵循一定的字母大小写问题。具体如下：phoenix name : abc ...
2019-11-01 17:53:58
1059
原创 elascticsearch升级ESSD硬盘存储-阿里云服务器
文章目录问题背景说明ESSD硬盘扩增流程1. 购买云盘2. 按官方文档挂载云盘3. 给新地址添加文件编辑权限4. 修改elasticsearch.yml文件配置5. 重启当前ES节点完成扩容问题背景说明在阿里云三台服务器上搭建了ES集群, 由于存储量增加，需要扩增一块512G的ESSD硬盘。ESSD硬盘扩增流程1. 购买云盘进入阿里云后台，选择服务器，右键“更多”-“资源变配”-“添加云...
2019-10-24 11:54:09
570
原创 Elasticsearch权限控制 x-pack Roles 和 Users
Elasticsearch权限控制 x-pack Roles 和 Users问题产生背景 由于同事的疏忽或者误操作的原因导致出现了部分数据被删除且不可复原, 所以需要有一个权限,来限制部分使用者的删除权限.包含删除索引和删除文档的权限.文章目录Elasticsearch权限控制 x-pack Roles 和 Users1. ES kibana 创建Roles，对应的 index priv...
2019-07-22 17:06:43
3733
原创 ElasticSearch多字段存储问题
问题背景 由于term和match查询分别对应了keyword和text类型, 一般情况下一个字段属性只需要设置单独类型，但是由于应用场景不同, 经常会涉及到多属性的设置,本次主要测试在单字段属性多个类型条件下,对ES存储容量的影响占用情况。文章目录1. 步骤一: 新建两个测试库2. 步骤二：测试查询效果3. 步骤三：查看集群的存储信息/集群状况4. 步骤四：10000 文章样本量下的存储...
2019-07-15 17:17:20
2763
原创 ElasticSearch集群部署完整指南(加x-pack权限控制)
文章目录1. 前言2. 每台服务器的ES组件配置3. 集群关键配置的安装和步骤3.1 IK分词器的安装3.2 kibana汉化3.3 开通x-pack高级功能3.4 开通高级功能后,如何设置登录账号和密码,开启登录验证功能3.5 ES6.0以后的集群版本需要安装 SSL和CA证书3.6 安装X-head（可选操作）4. 最终三台服务器的配置文件4.1 10.100.0.10 主服务器 elasti...
2019-03-14 15:12:11
3973
原创 pkuseg的自定义词库过大会导致出现严重的分词BUG？
1.背景说明【前情提要】 怀着异常激动的心情测试了一下北大刚发布的中文分词库,然后加载了之前整理的自定义词汇,发现出现了很严重的分词问题，希望有人能帮忙解决。2. 上代码 [IN] content = "我叫马化腾，我想学区块链,你说好不好啊，天青色等烟雨，而我在等你，月色被打捞器，晕开了结局" dict = utils.read("./dict.txt") pku = pkus...
2019-01-10 11:51:04
1866
3
原创 解决jieba分词 load_userdict 加载自定义词库太慢的问题
@(Python)文章目录1. 技术背景2. 结巴分词加载自身词库方法介绍3. 修改jieba默认词库4. 清除 jieba.cache缓存,重启jieba5.效果展示5.1 没修改词库前5.2 修改词库后6. 结论1. 技术背景 import jieba jieba.load_userdict("100MB.txt")问题来源 相信大家对上面2句话很熟悉,jieba分词加载自定义...
2018-12-24 17:54:53
32700
10
原创 4张图，5分钟带你读懂谢熊猫君的六万字雄文
@(jzy)[未来已来]前情提要观点1 整个人类的发展史就在做一件事情,让人与人之间信息传递的效率越来越快.以此为基础划分出了三个时代,独立人时代、半机械人时代、人工智能时代(与现有人工智能概念有所不同)观点2 我们现在所处的时代是半机械人时代观点3 未来属于人工智能时代,也可以理解为直接脑交流时代,全脑接口的实现是关键独立人时代观点1 数字革命以前,也就是说从人类出现到...
2018-10-29 10:18:03
1253
原创 10分钟内破解elasticsearch x-pack插件
@(数据库)[elasticsearch|x-pack]1.为什么要破解x-pack?因为涉及到了ES服务的安全性鬼知道我经历了什么.ES服务被劫持,数据直接被删除。ES登录账号和密码的设置是通过x-pack来实现的，官方只给了免费的30天的使用权.本来想买个白金会员,结果等官方回复等了半天。需求不等人啊。2.本教程前提默认你已经安装好了elasticsearch 和kibana3.适...
2018-09-17 19:42:12
14285
2
原创 flask
@(Python)[python|web] python下的web容器常见问题乱码问题 app.config['JSON_AS_ASCII'] = False # 设置后返回成中文app.config.update(RESTFUL_JSON=dict(ensure_ascii=False)) # 设置后返回成中文flask_apscheduler定时...
2018-09-12 17:47:33
335
原创 Mysql千万级数据快速分页查询方案
Mysql千万级数据快速分页查询方案@(数据库)[mysql]Mysql千万级数据快速分页查询方案实际应用场景说明1.limit方法的局限性2.通过主键id过滤的方法3.between and实际应用场景说明 服务器配置 : 阿里云 2核4G mysql服务器 生产场景 ： 将mysql数据库中的文章数据进行批量化处理更新 问题详情...
2018-08-27 14:29:29
11015
11
原创 linux下ElasticSearch的安装与部署
ElasticSearch@(数据库)[搜索, ES]ElasticSearchlinux下ES的安装IK分词器的下载与安装es启动失败的问题处理插件工具的下载与安装Kabana安装与汉化es_head（安装失败）x-packlinux下ES的安装 官网https://www.elastic.co/cn/downloads/elasti...
2018-08-23 17:12:06
5204
6
原创 redis-py 使用心得
redis-py使用@(数据库)[redis, python] 介绍python下redis库的使用 pip install redis versionredis-2.10.6redis-py使用常见问题汇总1.取值时的中文乱码问题redis连接的两种方式1.直接新建连接请求2.通过连接池来连接3.两种连接方式的使用场景和优劣...
2018-08-20 15:49:29
1166
原创 redis安装和部署
redis@(数据库)[数据库]redislinux下的安装部署下载地址安装流程安装过程中的常见问题部署配置文件 redis.conf1.启用守护线程,让redis在后台运行2.配置服务器IP可被外网访问linux下的安装部署下载地址 1.官方地址https://redis.io/download 2.下载稳定版 st...
2018-08-20 14:27:26
178
原创 Windows下Node.js安装,环境配置以及prefix和cache设置
Windows下Node.js安装,环境配置以及prefix和cache设置
2017-11-01 13:46:03
2714
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人