[笔记] Google Zoekt 代码搜索引擎代码手册

OpenGrok的索引实在是难用,使用了Lucene,但是还停留在TD.IDF上,搜索词语的一部分是没有结果的…所以转到SourceGraph。SourceGraph不上language server跳转准确度惊人的低。那么我只想要它的搜索功能怎么办?进SourceGraph的一个container,ps一下,发现它使用了Google的一个业余小项目zoekt。代码也不多,而且是tri-gram能准确在代码中搜索一些诸如 ' + 'test'这样的字符串了。果断fork了。
(文章会不定期更新)

我的fork: https://github.com/dna2fork/zoekt
Google:https://github.com/google/zoekt

支持Json输出

首先第一个要解决的是输出Json的问题,如何让zoekt把结果按照json的格式输出呢?默认它是html。我们找到了源代码下 ./web/templates.go 下面有不少html模版。寻着代码读过去,它可以在zoekt-webserver启动的时候指定一个文件夹放模版文件。兴冲冲就去写了一个json的模版,放上去不错,直接work了。但是有些时候发现一直出错…Json格式不对?原来是有特殊json的控制字符的时候导致输出混乱了,所以得想办法预先将输出的字符串格式化一下。
./web/server.go里加一个专门处理Json的函数,然后在template里就可以用这个函数format数据啦~

+       "JsonText": func(json string) string {
+               json = strings.Replace(json, "\\", "\", -1)
+               json = strings.Replace(json, "\n", "
", -1)
+               json = strings.Replace(json, "\r", "
", -1)
+               json = strings.Replace(json, "\t", "", -1)
+               return json
+       },

支持搜索多个repo

第二个解决的是,用zoekt的时候我不能用r:...去同时搜索多个repo,只能一个一个搜索,这很恼人。看看它是如何工作的吧。首先搜索一定是parser然后matcher再sorter。于是看./query/parse.go

	case tokRepo:
		expr = &Repo{Pattern: text}

它是把r:...转成一个表达式的node,这个Repo是定义在./query/query.go里的,再查它用在哪里——./eval.go

if r, ok := q.(*query.Repo); ok {
	return &query.Const{Value: strings.Contains(d.repoMetaData.Name, r.Pattern)}
}

然后就是直接判断r:里的字符串是不是被包含在repo名字里。这简单了,把这个Pattern当个string list就可以了呀,就是先split,然后判断每个split后的片段是不是被包含,只要有一个被包含就去true。直接改一波。

func buildRepoListPattern(qStr string) ([]string, error) {
	// TODO: validate qStr (length, split(',') length) if too long return error
	if len(qStr) == 0 {
		return nil, nil
	}
	patterns := strings.Split(qStr, ",")
	return patterns, nil
}

func matchRepoListPattern(name string, patternList []string) bool {
	if (patternList == nil) {
		return true
	}
	if (len(patternList) == 0) {
		return true
	}
	for _, a := range patternList {
		if strings.Contains(name, a) {
			 return true
		}
  }
  return false
}

func (d *indexData) simplify(in query.Q) query.Q {
	eval := query.Map(in, func(q query.Q) query.Q {
		if r, ok := q.(*query.Repo); ok {
			// original: return &query.Const{Value: strings.Contains(d.repoMetaData.Name, r.Pattern)}
			if r.RepoNamesFromPattern == nil {
				r.RepoNamesFromPattern, _ = buildRepoListPattern(r.Pattern)
			}
			return &query.Const{Value: matchRepoListPattern(d.repoMetaData.Name, r.RepoNamesFromPattern)}
		}
		if l, ok := q.(*query.Language); ok {
			_, has := d.metaData.LanguageMap[l.Language]
			if !has {
				return &query.Const{Value: false}
			}
		}
		return q
	})
	return query.Simplify(eval)
}

编译,重启,好了可以搜索多repo了。

J.Y.Liu
2020.01.06

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值