GitHub发布CodeSearchNet语料库以及挑战赛

最新推荐文章于 2024-03-24 09:30:45 发布
最新推荐文章于 2024-03-24 09:30:45 发布
阅读量1.2k 收藏 1
点赞数
文章标签： GitHub CodeSearchNet CodeSearchNet语料库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/SBFPLAY561/article/details/102004884
版权
GitHub与Weights & Biases合作推出CodeSearchNet语料库和挑战赛，旨在促进用自然语言搜索代码的技术发展。该语料库包含多种编程语言的函数及注释，提供预处理数据和基准模型，以支持模型训练和评估。CodeSearchNet挑战赛通过专业批注评估代码搜索工具的质量，推动程序代码搜索引擎的进步。
摘要由CSDN通过智能技术生成

GitHub释出了CodeSearchNet语料库以及CodeSearchNet挑战赛，以推动用自然语言搜索程序代码的技术发展。CodeSearchNet语料库是一个庞大的程序代码和自然语言批注数据集，让研究人员可以用来训练机器学习模型，并在CodeSearchNet挑战排行榜上竞争模型的精准度。

搜寻程序代码以重复使用、呼叫或是查看其他人撰写程序代码的方式，是开发者的日常之一，但是目前程序代码搜索引擎的表现，与网页搜索引擎还有一大段距离，程序代码搜索引擎还无法良好地理解用户想要搜寻的目标，而GitHub也提到，当他们使用机器学习技术改善程序代码搜寻时，发现目前没有标准来衡量改善结果的进展，不像是自然语言处理有GLUE基准，程序代码搜寻缺乏标准数据集来评估结果。因此GitHub与机器学习新创公司Weights & Biases合作，发布了一个大型的数据集，以帮助数据科学家训练模型，也推出CodeSearchNet挑战赛的评估环境与排行榜，同时还附加了几个用来展示目前技术水准的基准模型。

CodeSearchNet释出的语料库，来自GitHub自家平台的开源项目，他们收集大量以Go、Java、JavaScript、PHP、Python和Ruby程序语言撰写的函式数据集，以及其说明文件，官方使用解析器TreeSitter作为基础架构，并发布了数据预处理工作管线&

最低0.47元/天 解锁文章
SBFPLAY561
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
让开发效率倍增，GitHub 上线代码搜索平台：Code Search！
GitHubDaily
12-10 2166
公众号关注“GitHubDaily”设为 “星标”，每天带你逛 GitHub！大家好，我是小 G。作为全球最大的代码托管平台，GitHub 平台上的代码量与日俱增，开发者在上面的代码搜索...
github-typo-corpus:GitHub Typo语料库
04-24
GitHub Typo语料库 大规模的多语言拼写错误和语法错误数据集 人和 介绍 您是那种在编写代码时经常打错字的人吗？ 或者，您是通过提交“修正拼写错误”来修复它们的人吗？ 无论哪种方式，谢谢您-您为NLP领域的最新...
CodeSearchNet 数据集下载地址
qq_21241193的博客
07-17 485
CodeSearchNet数据集下载地址
CodeSearchNet：用于代码表示学习的数据集，工具和基准
02-03
CodeSearchNet挑战已经结束 我们要感谢所有参与者的提交，我们希望这一挑战能为从业者和研究人员提供有关语义代码搜索挑战和新的研究动机的见解。 我们希望鼓励大家继续使用我们现在公开提供的数据集和人工评估。 请参阅下面的详细信息，特别是“部分。 不会接受任何新的挑战。 目录 快速开始 如果您是第一次阅读本文，我们建议跳过本节，然后阅读以下各节。 以下命令假定您具有和 ，以及支持或更高版本的GPU。 注意：您只需运行一次script/setup即可下载数据。 # clone this repository git clone https://github.com/github/CodeSearchNet.git cd CodeSearchNet/ # download data (~3.5GB) from S3; build and run the Docker container script/setup # this will drop you into the shell inside a Docker container script/console # option
github代码搜索技巧
热门推荐
shuimuzy的专栏
02-17 5万+
很多人搜索github，但是芸芸众生，要找到自己想要的项目犹如海底捞针一般，今天教大家几项神技，可以快速找到自己想要的内容。 1、按star数目搜索，比如JavaScript，要求星数，这样就能获取star数目最多的项目 2、follow一些github上面的大牛 请登录：https://github-ranking.com/ 国内大牛：http
探索代码搜索引擎：CodeSearchNet
最新发布
gitblog_00036的博客
03-24 447
探索代码搜索引擎：CodeSearchNet 项目地址:https://gitcode.com/github/CodeSearchNet 项目简介 CodeSearchNet 是一个开源项目，致力于提供一个大规模、多语言的代码搜索和理解平台。这个项目由GitHub发起并维护，其目标是推动代码检索和代码理解技术的发展，为开发者提供更高效的代码查找工具。 技术分析 CodeSearchNet的核心在于...
GitHub搜索技巧整理
网络资源是无限的
03-17 4万+
经常会在GitHub上搜索代码、项目或查找相关主题，最简单常用的方法是在GitHub主页搜索框中直接输入相关信息进行查找，如下图所示，但是这样搜到的结果很多都不是自己希望的，这里总结下搜索技巧及常用操作说明： 1. GitHub的搜素支持各种不同的操作，详细见https://help.github.com/en/articles/about-searching-on-github ，常用操作...
汉语分词语料库
05-23
CTB6汉语分词语料库，可以拿来做分词任务。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。
Github发布动作：在动作中发布Github版本
02-05
Github发布动作：在动作中发布Github版本
Github打包发布到Sonatype中央仓库
01-04
Github打包发布到Sonatype中央仓库操作指南。
codesearch:真正理解并遵循代码的源代码搜索引擎-Search source code
03-24
代码搜索 一个代码搜索引擎，实际上可以分析并跟踪代码。 它根据查询查找代码行，然后通过添加代码的依赖项和依存关系来构建完整的代码片段，例如将变量声明和用法保持在一起。 搜索功能名称将显示几个用法示例。 这些代码片段（大部分）是有效的，可以复制粘贴了。 它们包括导入和常量，显示通常从何处获取参数，以及函数的输出可以完成的操作。 相关部分采用颜色编码，可以按需挖掘更多代码。 例子 让我们搜索http响应。 我们获得了动态生成的示例代码片段。 它们以蓝色包含必要的依赖关系-这里是HttpResponse和json的导入，以及out变量。 我们还可以用红色跟踪此语句的影响：例如return response ，然后是对该特定函数的调用。 如有必要，可以使用“更多”按钮进一步扩展代码片段，以了解或重用代码片段： 怎么运行的 使用解析器分析源代码，从AST中提取数据，遵守范围规则以查找依赖关系
corpus-search-engine-project:语料库搜索引擎项目
04-09
Create React App入门 该项目是通过引导的。 语料库搜索引擎项目 什么是语料库？ 在语言学中，语料库或文本语料库是一种语言资源，由庞大的结构化文本集组成，用于统计分析和假设检验，识别特定语言域中的出现或验证语言规则（来源： ）。 一个以简单文本文件为目标的网站，允许用户使用所需选项搜索文本语料库。 特征 使用React CRA环境进行前端配置 Redux Toolkit的全局状态管理 使用材质用户界面 基本功能 输入您要搜索的单词（也可以输入介词+名词的全名单位） 根据搜索词搜索输入范围内存在的所有词。 搜索到的单词以表格的形式显示，并显示出现频率和单词出现的范围。 更新记录 04.09更新 比较要搜索的单词时，逻辑从100％匹配更改为包含。 现有：搜索impfstoff单词时，无法搜索impfstoffe / impfstoffes / -impfstoff。
codesnippetsearch:使用PyTorch和来自CodeSearchNet项目的数据的神经语言单词袋代码搜索实现
05-01
CodeSnippetSearch CodeSnippetSearch是一个Web应用程序和一个Web扩展，允许您使用自然语言查询和代码本身搜索GitHub存储库。 它基于使用PyTorch和项目中的数据的单词代码搜索实现的神经袋。 模型培训代码受到CodeSearchNet存储库中基线（Tensorflow）实现的极大启发。 当前，支持Python，Java，Go，Php，Javascript和Ruby编程语言。 有用的论文： 型号说明 模型结构 项目结构 code_search ：一个带有脚本的Python包，用于准备数据，训练语言模型并保存嵌入 code_search_web ：CodeSnippetSearch网站Django项目 serialized_data ：在训练期间存储中间对象（文档，词汇表，模型，嵌入等） codesearchnet_data ：来自CodeSe
语料库，自己整理的，有需要的吗
08-06
语料库，自己整理的，对txt文件进行去停用词、分词。（停用词是指对文本含义几乎没有影响的词，这些词存入到.txt，分词调用的结巴分词库）
texrex:Web语料库创建软件（移至GitHub）-开源
04-29
而`texrex`正是这样一款用于创建Web语料库的开源软件，它由著名学者Ralf Schlüter开发并维护，最初发布于其个人网站，但现在已迁移至GitHub平台，为开发者提供了更便捷的协作和访问途径。 `texrex`的主要功能在于...
搜索引擎－语料库
John.Deng的专栏
01-19 1813
语料库通常指为语言研究收集的、用电子形式保存的语言材料，由自然出现的书面语或口语的样本汇集而成，用来代表特定的语言或语言变体。经过科学选材和标注、具有适当规模的语料库能够反映和记录语言的实际使用情况。人们通过语料库观察和把握语言事实，分析和研究语言系统的规律。语料库已经成为语言学理论研究、应用研究和语言工程不可缺少的基础资源。语料库有多种类型，确定类型的主要依据是它的研究目的和用途，这一点往往能够
Github代码高级搜索小技巧
Pacey的博客
01-11 6763
Github是一个非常丰富的资源，但是面对这丰富的资源很多人不知到怎么使用，更谈不上怎么贡献给他，我们需要使用Github就要学习使用他的方法，学会了使用的方法，接受了他的这种观点我们才会慢慢的给他贡献自己的力量，这是我自己在学习的时候的一个笔记。现在分享给大家希望能够对一些人有帮助。 Github搜索之代码搜索 可以使用下列搜索限定符的任意组合进行代码搜索 提示:通过将一连串的搜索语法添加到搜索...
Github 搜索语法大全
大哥一声吼
05-06 7999
搜索语法限制 Queries longer than 256 characters are not supported You can't construct a query using more than five AND, OR, or NOT operators 参考 Searching for repositories 限定符 示例 说明 in ...
热榜第四：GitHub开源代码数据集界ImageNet，推出代码搜索挑战赛
量子位
09-30 253
鱼羊 发自 凹非寺量子位 报道 | 公众号 QbitAI用别人的轮子，开自己的路。在这个产品快速迭代的时代，搜索、调用别人的代码避免重复造轮子，已是开发常态。但是搜索代码...
如何调整snownlp的语料库
05-27
调整snownlp的语料库可以提高其情感分析的准确性，以下是一个简单的示例： 1. 下载语料库：从GitHub上下载snownlp的语料库，例如情感分析语料库，下载地址为：https://github.com/isnowfy/snownlp/tree/master/snownlp/seg/analysis。 2. 替换原有语料库：将下载的语料库替换掉snownlp库中原有的语料库，例如将下载的情感分析语料库替换掉snownlp库中的snownlp/seg/analysis/文件夹。 3. 重新训练模型：重新训练模型以适应新的语料库。可以使用snownlp库中的Sentiment类重新训练模型，示例代码如下： ``` from snownlp.sentiment import Sentiment s = Sentiment() s.train('neg.txt', 'pos.txt') # 分别为负面和正面情感的文本文件 s.save('sentiment.marshal') # 保存模型 ``` 运行以上代码会根据新的语料库重新训练情感分析模型，并将模型保存到sentiment.marshal文件中。 4. 加载新模型：在Python代码中加载新的模型，例如： ``` from snownlp import SnowNLP text = '这家餐厅的菜很好吃，服务也很周到。' s = SnowNLP(text) s.load('sentiment.marshal') # 加载新的模型 sentiment_value = s.sentiments print(sentiment_value) ``` 运行以上代码会使用新的模型对文本进行情感分析，输出结果会更加准确。需要注意的是，调整语料库和重新训练模型的过程可能比较耗时，需要根据具体情况进行调整。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值