【Go语言实战】(26) 分布式搜索引擎

Tangseng 基于Go语言的搜索引擎

github地址：https://github.com/CocaineCong/tangseng

详细介绍地址：https://cocainecong.github.io/tangseng

这两周我也抽空录成视频发到B站的～ 本来应该10月份就要发了，结果一鸽就鸽到现在hhhh，有兴趣的同学也可留意一下～

项目大体框架

1. gin作为http框架，grpc作为rpc框架，etcd作为服务发现。
2. 总体服务分成用户模块、收藏夹模块、索引平台、搜索引擎(文字模块)、搜索引擎(图片模块)。注册到etcd中，并进行服务发现。
3. 分布式爬虫爬取数据，并发送到kafka集群中，再落库消费。现阶段使用数据集文本输入 (虽然爬虫还没写，但不妨碍我画饼…)
4. 搜索引擎模块的文本搜索单独设立使用boltdb存储index，mapreduce+ka