Elasticsearch简单学习1-用白话文解释原理

由于Elasticsearch在工作中用的越来越多,平时是边学边用,很少记录,读到一些很好的文章时间久了就忘记了。

所以,在此记录一下,希望对更多人的学习有帮助,知识在于分享!

===============================================

一、从生活中理解

随着央视诗词大会的热播,小史开始对诗词感兴趣,最喜欢的就是飞花令的环节

b20d77e276cb2b34573be8a8dbce9c73d50.jpg

但是由于小史很久没有背过诗词了,飞一个字很难说出一句,很多之前很熟悉的诗句也想不起来。

bc206f06842a40331d4dadb6e310002c01f.jpg47596e10ee5c7d44215536d454fb96326c9.jpg

91b3815d72b818589a1fa522dcc87b95b5d.jpg75a4d572d88cda53104156f52c0f79971f3.jpg

2f58e9f2fd185dec09e48cf433b3ae57d07.jpg8097e41180d3db5fde46d7a6d62542feb6b.jpg

f537e084c7cf66e3cc0cf7898a90bb8a5a6.jpg11243368eb9e30021ea8cfa4e932ef3fd2b.jpg

1a770de18d3924f170c3eaf4c9e5b400107.jpgbf817fcbdbe1258ce1d425dc71e7dfb2c70.jpg

二、倒排索引

5a9139553bbf6b272fa76ca8cf1e49c137a.jpge53d2b7f57c557a0f8df68cc1de1016bc3c.jpg

daed0b1f20a98783dc13bb93b3d2262b2eb.jpg584ead3f592331a787f7227368d1437248c.jpg

 

d214459762000bcf3caa71cf8c3f7b7f821.jpg58e0d6c94ea2fa95efa4a5aa803a758ae01.jpg

吕老师:但是我让你说出带“前”字的诗句,由于没有索引,你只能遍历脑海中所有诗词,当你的脑海中诗词量大的时候,就很难在短时间内得到结果了。

cd6836b32a4a580c3ba42852256c17738f6.jpg3abe32ce17a61c45b0786f51a2ec831f00d.jpg

0bc91c446adc38093a02ca418b1b24e5558.jpg2a18d4b4bdf31f94a5b24a3eda00e473194.jpg

57aae544a64675f2479ea170b71776741b6.jpg3d0a45441f49a2bc64055e6ae4edad1492e.jpg

2cea295beb98653158ac0084a996c9d4bb9.jpg

三、索引量爆炸

3e7260dd913471a948c7d073f05ec8c13e5.jpg1eb4f125684c73a74bb30230f6c648efb55.jpg

ada04c931f59339dd44a08e18c3a78a9fd6.jpg546c782fce4e90e4473e84e5c699359994a.jpg8b0f71f8a8a9577b0ab31886a975c5f1b6e.jpg

 

31517b13a02ed74617536e4185e75171649.jpgc513ba2bc8cfdba5a7a06590bfbb2b40d6b.jpg

c20579cecee65a98174de3510d679347952.jpg08fb8a78241d2bd7b1f9e961bcdaf2fa857.jpg

d794f07c7b60e2f36e4649fc408b8cc7111.jpgf4e92f7ff9d87ca07ccbdeca632ff73d210.jpg

49acd663b4b8ca1e11a8235825289b8744c.jpg7273a9d641bee493c10c94a2dd48cf8fa0c.jpg

5254e736818ed4e3a8680512439c6a712e4.jpgdc7a520d25316418f1779d20f0c0133449f.jpg

b01f071f4b1ab9503c5c6ea0cd2af54ac35.jpg7271dfc61661715d2d28c67eb0c987b39e4.jpg

98e5f78022b5991e867e0e1948812c39aa5.jpgd08ed288b0653315fa678205d461718f622.jpg

b7a60ae2ba00e83b3dc8fcaff2e92c43649.jpgd4415e3721d81c20a3e7c5a696557e3df3d.jpg

92a06ea377c7bec11960d18f642f6e35d21.jpgef574914ab32896f7f2c57edb75f8574f64.jpg

 

四、搜索引擎的原理

6f0dab9057f1e7a0fb7129b5af0357dd3ba.jpg77873f4c0fa2dfcb018b0037589bf57b29c.jpg

62275044b60f442e0489eb8e38ce197f7f1.jpg85d42328dfc84ec7d397ab2cffbb5a509ac.jpg

c170c73c3c4125a3933b8aaa988d550f13c.jpgce65d9eb2d004f89a9b5f6422d20b47ebc9.jpg

4ffae970735fce6faef876236484589c003.jpg1f050018320d53e4cc32531c38abb10da90.jpg

651c54053776caf4949fb4be9ee96b1d436.jpg631dbc7c44aa89ddd7f1e8ee4928d2d31f4.jpg

75c3acfe410cf2afcf6809cc9766ca989cb.jpg83175ee716921fc286d0c5772e7c95659e4.jpg

 

403be9b38b9f24a288bfa578cde47f2fbc2.jpg7764eaadae25ed3fd697c4f1851dd51d6eb.jpg

3d2ed2402ba38f19b9ff6a2a186eb19aa80.jpg

五、Elasticsearch简介

059b5985b6796901f2115a544186af06737.jpg364d55e2401db2aef890f2592f7b35d38fb.jpg

9c8b8091c35a425fbca7b260447ec82e066.jpg2c0f74b111aeaa231178e02e29ae4c4de16.jpg

4dfc4732e55fb87b2bef46365ff2287e25a.jpgd550933819ae46cdf94eab5df6f30b19315.jpg

7227da13d829828e02baeb0aacef8be99f9.jpg46a8ccc60b69375d94d7a7b7ee0eb471908.jpg

4d5d481e6c4a28cc2c7a8d1ab73775d6041.jpg2e6990cd1f9c0348aed7b53d127f6862be0.jpg

bf4f9e1b60dd6d4fd8beb75e9670a02d62b.jpg

六、Elasticsearch基本概念

2f14c28958995ce6c85fdd865cb6cfaf99f.jpg06c0c7657ea37c050d8e09f0b94cd01be7b.jpg

bd56777d49442a3c79c7e41d64020a813db.jpged7959ee38a7b8bffd6c2504ca3a16bbe94.jpg

96fb85f4d3874f1eb8c3e4906904709ea14.jpga83add2e9b9408b2b95dd8a49d805d8ee1b.jpg003b94ef5b2550853f58e2a7978a74bf60a.jpg59f8c4699aa0245a2dc415bcfa75b4df0b5.jpg

吕老师:比如一首诗,有诗题、作者、朝代、字数、诗内容等字段,那么首先,我们可以建立一个名叫 Poems 的索引,然后创建一个名叫 Poem 的类型,类型是通过 Mapping 来定义每个字段的类型。

比如诗题、作者、朝代都是 Keyword 类型,诗内容是 Text 类型,而字数是 Integer 类型,最后就是把数据组织成 Json 格式存放进去了。

978b0d39252bf88d2b369f3d62e69d2a6d5.jpg02cca89b76363234e3484433d1dc3848d9a.jpg

28e65cd12c1d393e211518312111d32e66a.jpgb520b0f5b681310e75cb6d8c26fa3eb4e15.jpg

09fad962cbaf873ffeb386a0a820d03a00c.jpgd6039ea151fc2d3432b80c5131b9670360f.jpg

2d0c6c83d4dcb4d122ec33dad728d0f25f5.jpg6e48403d49b72c7cb6f8ecdb87db1f8cb56.jpg

七、Elasticsearch分布式原理

d4a40c97b88d9e927b24ad4a4506aab08f4.jpgf68b8269b0d7866a0b8f06aea50daa578c1.jpg

吕老师:没错,Elasticsearch 也是会对数据进行切分,同时每一个分片会保存多个副本,其原因和 HDFS 是一样的,都是为了保证分布式环境下的高可用。

2de4d8e688e33c48186c15e92836aa21d8c.jpg0c9ecb21ec74bd33cfbfad726389723de59.jpg

471714d519e7e9ea2cb5d9925f2ce468489.jpgab1047ca3ed71ffe0233555c481945f2378.jpg

吕老师:没错,在 Elasticsearch 中,节点是对等的,节点间会通过自己的一些规则选取集群的 Master,Master 会负责集群状态信息的改变,并同步给其他节点。

e8bada9e45efbcdcfdd0ce5db6b71901737.jpg4b40c79bc08be79595664c05d67ff87cb06.jpg

22f0b1ef272f09d996850cea900230d5d22.jpg5ad98c6c0bea747f0aa435b2fdb6ef3b096.jpg

954ca63a1efc3f0f8918d39225b330182fc.jpg

吕老师:注意,只有建立索引和类型需要经过 Master数据的写入有一个简单的 Routing 规则可以 Route 到集群中的任意节点,所以数据写入压力是分散在整个集群的。

d10317618448c346c1c0c49bb24f2d96de4.jpg

八、ELK系统

acce867373dec36da40780f0d91c0bf2346.jpgbbb9553d95499895736d75574775b9287a0.jpg

吕老师:其实很多公司都用 Elasticsearch 搭建 ELK 系统,也就是日志分析系统。其中 E 就是 ElasticsearchL 是 Logstash,是一个日志收集系统K 是 Kibana,是一个数据可视化平台

1565e30f61673d2029cce7ab8fce7e46354.jpg4ac78cd6f8caac2f7310dd30ecde935b7a6.jpg

f7e2f52500cbfba6089fa4538bb1cf1f762.jpg4b56a7a00733a69c65c64d483fe5bcd63fe.jpg

吕老师:分析日志的用处可大了,你想,假如一个分布式系统有 1000 台机器,系统出现故障时,我要看下日志,还得一台一台登录上去查看,是不是非常麻烦?

dc644ebb13663ab11ed2ff9fe6784543b12.jpgf06f594ddc7732b5b18da10e89cc23c3234.jpg

吕老师:但是如果日志接入了 ELK 系统就不一样。比如系统运行过程中,突然出现了异常,在日志中就能及时反馈,日志进入 ELK 系统中,我们直接在 Kibana 就能看到日志情况。如果再接入一些实时计算模块,还能做实时报警功能

eb7c07a3cccdc89f7f03d6645c1a2ce404e.jpge2bf28d0f7d93133199619e10d34ce1943c.jpg

9894b849185abce930b27640d7667af11f9.jpg

九、总结

f65edf8cc3b579c26fb50a680b0c90aff4e.jpg

转载于:https://my.oschina.net/hanchao/blog/3053367

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值