![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
随笔
seal_li
这个作者很懒,什么都没留下…
展开
-
百度、谷歌等搜索引擎的实现原理
随笔-百度、谷歌等搜索引擎的实现实录引言第一步分词第二步匹配关键词第三步清洗获得的文章第四步排序输出重点说明 引言 本文只是介绍实现思路针对使用技术进行介绍,无相关代码。 推荐技术solr ,hadoop ,lucene/ElasticSearch,nutch一条龙服务 第一步分词 推荐使用IKanalyze或者mmseg4j,对中英文良好的支持,作用为将一句话拆成多个词汇。 亦可使用多个分词技术...原创 2018-12-07 11:52:42 · 4327 阅读 · 0 评论 -
技术介绍-大型架构日志中间件
技术介绍-大型架构日志中间件引言日志接入层日志缓存层日志处理层日志存储层日志展示层 引言 本文只是介绍实现思路针对使用技术进行介绍,无相关代码。 推荐技术ELK一条龙服务 日志接入层 推荐使用scribe,logstash,flume 保证高并发环境日志不会丢失 日志缓存层 推荐使用kafak 使用spark消费 注意需部署在zookeeper 日志处理层 推荐使用hadoop,spark,sto...原创 2018-12-09 18:39:37 · 825 阅读 · 0 评论