有人有pile的数据集吗？22个来源，825G的那个版本，有感谢

最新推荐文章于 2024-05-06 00:08:33 发布
最新推荐文章于 2024-05-06 00:08:33 发布
阅读量109 收藏
点赞数
文章标签： python 人工智能 nlp
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37261783/article/details/134264322
版权

有人有pile的数据集吗？22个来源，825G的那个版本，有感谢

HanSomeLing
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
cacache：:pile_of_poo::dollar_banknote:但是用于您的数据。 如果您有哈希，我们就拥有缓存:trade_mark:（已移动）
02-04
缓存 注意：此存储库已移至 是一个Node.js库，用于管理本地密钥和内容地址缓存。 它非常快，并发性非常好，即使缓存文件被破坏或操纵，它也永远不会给您破坏数据。 它最初被编写为用作的本地缓存，但也可以很容易地单独使用。 翻译： 安装 $ npm install --save cacache 目录 读 写作 实用工具 廉洁 例 const cacache = require ( 'cacache/en' ) const fs = require ( 'fs' ) const tarball = '/path/to/mytar.tgz' const cachePath = '
GPT系列的数据集之谜
夕小瑶科技说
02-22 1913
文｜Alan D. Thompson源｜OneFlow译｜杨婷、徐佳渝、贾川半个月以来，ChatGPT这把火越烧越旺。国内很多大厂相继声称要做中文版ChatGPT，还公布了上线时间表，不少科技圈已功成名就的大佬也按捺不住，携巨资下场，要创建“中国版OpenAI“。不过，看看过去半个月在群众眼里稍显窘迫的Meta的Galactica，以及Google紧急发布的Bard，就知道在短期内打造一个比肩...
Pile:一个用牛肉写的友好，可扩展的游戏框架
03-17
桩 桩是用制作的小型游戏框架，类似于MonoGame / FNA之类的框架，并直接受启发。 它能做什么 通过一些抽象的核心模块，Pile处理窗口，输入，渲染和音频管理。 随附的核心模块依赖 系统的SDL2， 用于图形的OpenGL 3.3+（基本实现，应在某个时候换出）， 音频模块的SoLoud可以实现自定义实现。 除此之外，还有一个可扩展的资产管理管道，以及使用TrueType字体通过SpriteFonts呈现的UTF8 Unicode文本。 还有一些基本的数学结构，例如Vector2和3，Point2和3或Rect（整数），以及对corelib类的某些扩展，尤其是Math。 文献资料 。 可以在这里找到文档： 有关更多参考和最小模板项目，请参见。 平台类 不支持32位体系结构。 Windows二进制文件已包含在内。 其他平台的二进制文件丢失（请参阅./Implementa
pile-of-hrefs:个人链接集
04-17
堆hrefs 这个项目是一个实验，试图为我找到最好的方式来收集我以后要阅读的内容或将来可能有用的内容的链接。 该项目使用Airtable作为后端，使用Vue进行模板制作，并使用 （小型静态站点生成器）。 我已经创建了一些。 如果您认为可以使用这种类型的设置，请随意进行。
4个大语言模型训练中的典型开源数据集
华为云官方博客
02-01 1224
本篇文章将介绍大语言模型应用中的典型开源数据集集合。
the-pile
03-19
桩复制代码 堆是一个庞大的，多样化的，开源的语言建模数据集，由许多较小的数据集组合而成。目的是从尽可能多的模式中获取文本，以确保使用“桩”训练的模型将具有更广泛的泛化能力。我们目前正在开发第1版，最终目标是1 TiB英文文本。在完成版本1之后，我们的下一个目标是建立一个具有多种语言的10TiB文本数据集。 该存储库用于复制或制作桩的变体。如果您想使用“桩”，则计划在不久的将来发布正式版本。如果您想在正式发布之前成为PILE的早期用户，请通过我们的与我们联系。 桩目前正在大力发展。可能会Swift引入重大更改，而不会发出警告。 成分 原始尺寸 重量 时代 有效尺寸 平均文件尺寸 227.12 GiB 18.11％ 1.0 227.12 GiB 4.33 KiB 90.27 GiB 14.40％ 2.0 180.55 GiB 30.55 KiB 100.96 GiB 1
大模型学习【大模型的数据】
weixin_41852811的博客
09-15 510
在整个数据集的生命周期中，我们需要考虑很多问题，比如数据集的创建动机，谁是数据集的创建者，数据集的创建是由谁资助的。在数据集的组成部分，我们需要了解数据集中的实例代表什么，是否有缺失信息，是否包含机密数据等。在收集过程中，我们需要了解每个实例的数据是如何获取的，谁参与了数据收集，他们是如何获得报酬的，以及是否进行了道德审查等。也就是说，虽然OpenWebText并非OpenAI直接发布的WebText的副本，但它遵循了WebText的制作思路和方法，目的是尽可能地模拟和复现WebText的数据特性和结构。
大语言模型数据集（二）
babyzbb636的博客
10-19 1018
该数据集用于训练和评估用于检测机器释义文本的模型。训练集包含从 8,024 篇维基百科（英文）文章（4,012 篇原文，4,012 篇使用 SpinBot API 释义）中提取的 200,767 段（98,282 篇原文，102,485 篇释义）。测试集分为 3 个子集：一个来自 arXiv 研究论文的预印本，一个来自毕业论文，另一个来自 Wikipedia 文章。此外，还使用了不同的 Marchine-paraphrasing 方法。
SkyPile-150B 数据下载地址
东方佑
12-07 601
【代码】SkyPile-150B 数据下载地址。
不止是数据，RedPajama的模型也出来了，RedPajama 7B, 一个开源的高效LLM模型
05-12 635
RedPajama和它背后的公司Together其实都挺有意思的。Together，由苹果前高管Vipul Ved Prakash，斯坦福大模型研究中心主任Percy Liang，苏黎世联邦理工大学助理教授张策等人联合创办。RedPajama是“一个创建领先的开源模型的项目，从复制超过1.2万亿个Token的LLaMA训练数据集开始”。这是Together，Ontocord.ai，ETH DS3Lab，斯坦福CRFM，Hazy Research和MILA Québec AI Institute之间的合作。
charging_pile.zip_charging matlab_charging pile_charging_pile_ch
07-14
电动汽车充电、恒流充电和恒压充电和充电流充电的设计。
地表最强！微软和英伟达推出训练语言模型MT-NLG：5300亿参数量，是GPT-3的3倍
机器学习社区
10-12 435
整理 | 核子可乐、凌敏 OpenAI 最强预训练语言模型 GPT-3 具有 1750 亿个参数，MT-NLG 参数量是前者的 3 倍。 训练语言模型 MT-NLG 问世 10 月 11 日，微软和英伟达正式推出由 DeepSpeed 和 Megatron 驱动的 Megatron-Turing 自然语言生成模型（MT-NLG），这是迄今为止训练的最大最强的解码语言模型。据了解，该模型具有 5300 亿个参数，是现有最大的模型 GPT-3 的 3 倍。信息显示，近年来，使用基于...
​医疗AI | 梳理全球医疗大模型
simoncool23的博客
10-11 2524
在辅助诊疗方面，灵医大模型可实现通过多轮对话了解病人病情，实时辅助医生确诊疾病，推荐治疗方案，提升就诊全流程的效率和体验，并成为患者的24小时“健康管家”，提供智能客服服务。所有知识来源都已经过验证，因而可为大模型输出的结果提供权威依据。卫宁健康已于2023年1月开展了医疗垂直领域的大语言模型WiNGPT的研发和训练工作，截至4月、6月和9月的模型训练参数量达到或将达到60亿、156亿、650亿，目前正在探索更多的医疗应用场景，计划于10月正式发布由GPT技术加持的新产品WiNEX Copilot。
【2.初识 PIE-engine遥感计算云服务平台】
qq_36253366的博客
05-31 1728
# 遥感计算云服务（PIE-Engine Studio ）学习内容
【金融科技新篇章】彭博金融大模型BloombergGPT来啦！
lujiaxuan0520的博客
05-05 666
BloombergGPT的训练数据库名为FINPILE，由一系列英文金融信息组成，包括新闻、文件、新闻稿、网络爬取的金融文件以及提取到的社交媒体消息。论文指出，通用自然语言处理模型在金融领域中的应用很常见，但针对金融领域的任务执行时仍面临挑战。以情感分析为例，一个题为“某公司将裁员1万人”的消息，在一般意义上表达了负面情感，但在金融情感方面，它有时可能被认为是积极的，因为它可能导致公司的股价或投资者信心增加。BloombergGPT的优势在于更准确地理解金融领域的问题，为金融从业者提供更为精确的支持。
医疗金融法律大模型：从ChatDoctor到BloombergGPT/FinGPT/FinBERT、ChatLaw/LawGPT_zh
热门推荐
结构之法 算法之道
07-05 1万+
第一部分 各种医疗类ChatGPT：或中英文数据微调LLaMA、或中文数据微调ChatGLM 1.1基于LLaMA微调的中英文版ChatDoctor 11.1.1 ChatDoctor：通过self-instruct技术提示API的数据和医患对话数据集微调LLaMA
【 书生·浦语大模型实战营】作业（六）：Lagent & AgentLego 智能体应用搭建
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
05-03 1274
本篇笔记内容主要为 【书生·浦语大模型实战营】作业（六）：Lagent & AgentLego 智能体应用搭建智能体的作业 ，主要对智能体应用理论部分及具体搭建流程详细介绍，并分别进行实战应用及可视化展示，欢迎大家交流学习！
第五节课《LMDeploy 量化部署 LLM 实践》
最新发布
fanre的专栏
05-06 583
PDF链接：https://pan.baidu.com/s/1JFtvBWgEGFWJq8pHafvIUg?pwd=6666提取码：6666。
Kubernetes基础(二十九)-资源预留
sre救赎之路
05-05 896
如果还设置了对应的 --system-reserved-cgroup 和 --kube-reserved-cgroup参数，Pod能实际使用的资源上限不会改变（即kubepods.limit_in_bytes不变），但系统进程与kube进程也会受到资源上限的限制。比如某个节点的内存的allocatable为10Gi，有三个Pod（requests.memory=3Gi）已经调度到该节点上，那么第4个Pod就无法调度到该节点上，即使该Node上的空闲内存大于3Gi。
c语言编程实现 21根火柴游戏。现有21根火柴，两人轮流取，每人每次可以取1至4根，不可多取（假如多取或者取走的数量不在合法的范围内，则要求重新输入），也不能不取，谁取最后一根火柴谁输。请编写一个程序进行人机对弈，要求人先取，计算机后取；请设计一种计算机取走火柴的规则，使得计算机一方为常胜将军。 **输入格式要求："%d" 提示信息："Game begin:\n" "How many sticks do you wish to take (1~%d)?" **输出格式要求：" %d sticks left in the pile.\n" " You have taken the last sticks.\n" " ***You lose!\nGame Over.\n" "Computer take %d sticks.\n" 程序运行示例如下： Game begin: How many sticks do you wish to take (1~4)?6 How many sticks do you wish to take (1~4)?3 18 sticks left in the pile. Computer take 2 sticks. 16 sticks left in the pile. How many sticks do you wish to take (1~4)?3 13 sticks left in the pile. Computer take 2 sticks. 11 sticks left in the pile. How many sticks do you wish to take (1~4)?3 8 sticks left in the pile. Computer take 2 sticks. 6 sticks left in the pile. How many sticks do you wish to take (1~4)?3 3 sticks left in the pile. Computer take 2 sticks. 1 sticks left in the pile. How many sticks do you wish to take (1~1)?2 How many sticks do you wish to take (1~1)?1 You have taken the last sticks. ***You lose! Game Over.
06-01
好的，这是一个比较经典的小游戏，我可以用C语言帮您实现。以下是代码实现： ```c #include <stdio.h> int main() { int sticks = 21; // 初始火柴数 int take, computerTake; // 玩家和计算机取的火柴数 printf("Game begin:\n"); while (sticks > 0) { printf("%d sticks left in the pile.\n", sticks); printf("How many sticks do you wish to take (1~4)? "); scanf("%d", &take); while (take < 1 || take > 4 || take > sticks) { printf("Illegal move. Please try again.\n"); printf("How many sticks do you wish to take (1~4)? "); scanf("%d", &take); } sticks -= take; if (sticks == 0) { printf("%d sticks left in the pile.\n", sticks); printf("You have taken the last sticks.\n"); printf("***You lose!\nGame Over.\n"); break; } computerTake = (5 - take) % 5; printf("%d sticks left in the pile.\n", sticks); printf("Computer take %d sticks.\n", computerTake); sticks -= computerTake; if (sticks == 0) { printf("%d sticks left in the pile.\n", sticks); printf("Computer has taken the last sticks.\n"); printf("***You win!\nGame Over.\n"); break; } } return 0; } ``` 程序中，我们使用了一个 while 循环，不断进行玩家和计算机的取火柴操作，直到火柴数量为 0。每次玩家取火柴前，都会判断其取的火柴数量是否合法，不合法则要求重新输入。而计算机则根据玩家取的火柴数量，采用一定的策略来取火柴。这里，我们使用了一个简单的策略：让计算机取的火柴数量加上玩家取的火柴数量等于 5。这样，计算机就可以在保证不输的前提下，尽可能地拖延游戏进程，增加玩家输的可能性。 运行程序后，可以按照提示进行游戏。如果您想让计算机更聪明一些，可以尝试采用其他的策略，比如根据当前剩余的火柴数和玩家的取火柴数量，来决定计算机应该取多少火柴。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值