大数据
/hadoop/spark/es
橘子味的阳光
难得世界那么美
展开
-
hadoop1-入门案例Grep|wordCount
download and install官网下载 https://hadoop.apache.org/releases.html版本 2.8.5,解压cd /opttar -zxvf hadoop-2.8.5.tar.gz目录结构Grep案例2.测试创建文件夹,将配置文件复制到input[root@localhost hadoop-2.8.5]# mkdir input[r...原创 2019-01-04 11:48:26 · 425 阅读 · 0 评论 -
ElasticSearch1-官方文档翻译(概念,搜索,聚合篇)
全文搜索结构化数据------>关系型数据库存储,查找非结构化数据—>1.顺序扫描法(从头到尾) 2. 全文搜索(建立文本库,创建索引搜索)全文搜索实现 ElasticSearch高度可扩展的开源全文搜索和分析引擎快速,近实时的对大数据的存储和搜索、分析异步写入基于java语言,Lucene引擎自身带有分布式,solr需要依赖zookeepers原创 2019-03-12 21:03:25 · 733 阅读 · 1 评论 -
ElasticSearch2-官方文档翻译(分布式,集群,docker,数据拷贝)
Elasticsearch为分布式而生,而且它的设计隐藏了分布式本身的复杂性。1.分布式以下这些操作都是在底层自动完成的:将你的文档分区到不同的容器或者分片(shards)中,它们可以存在于一个或多个节点中。将分片均匀的分配到各个节点,对索引和搜索做负载均衡。冗余每一个分片,防止硬件故障造成的数据丢失。将集群中任意一个节点上的请求路由到相应数据所在的节点。无论是增加节点,还是移除节点...原创 2019-03-27 16:35:50 · 220 阅读 · 0 评论 -
ElasticSearch3-painless脚本应用进行range过滤和排序
使用painless脚本操作es原创 2019-03-29 14:00:59 · 2991 阅读 · 2 评论 -
ElasticSearch-安全重启集群节点,升级节点
ES 集群,有时候可能需要修改配置,增加硬盘,扩展内存等操作,需要对节点进行维护升级。但是业务不能停,如果直接kill 掉节点,可能导致数据丢失。而且集群会认为该节点挂掉了,就开始转移数据,当重启之后,它又会恢复数据,如果你当前的数据量已经很大了,这是很耗费机器和网络资源的。本文转载官方提供的安全重启集群节点的方法:第一步:先暂停集群的shard 自动均衡。curl -XPUT http:/...原创 2019-06-21 14:22:34 · 1468 阅读 · 0 评论 -
ElasticSearch-重建索引两种方法
null_value一个null值不能被索引或搜索。当字段设置为null(或空数组或null值数组)时,它被视为该字段没有值。null_value参数允许您用指定的值替换显式空值,以便对其进行索引和搜索。例如:PUT my_index{ "mappings": { "my_type": { "properties": { "status_code":...原创 2019-07-25 17:15:35 · 4885 阅读 · 0 评论