全栈深度学习第3期: 怎样科学管理实验数据？

夕小瑶

于 2021-02-21 22:20:00 发布

阅读量212

点赞数

文章标签：编程语言人工智能项目管理数据挖掘微软

本文链接：https://blog.csdn.net/xixiaoyaoww/article/details/113979561

版权

一起追剧鸭

简介

Berkeley全栈深度学习追剧计划是由夕小瑶的卖萌屋发起的优质公开课打卡项目，通过微信群为同期追剧的小伙伴提供交流平台。关于该计划的详请见这里。

1. Berkeley深度学习追剧群

目前已有1000+小伙伴加入，公众号后台回复口令深度学习追剧入群。

2. 课程主页

https://course.fullstackdeeplearning.com

第3期内容

本期是FSDL课程的第三期:Data Management，主要介绍了数据管理的5个阶段。内容包括：

如何寻找训练数据源？
如何大规模标注数据？
怎样存储不同类型的数据？
数据的版控（推荐）？
怎样预处理生数据？

推荐课程中提到的好工具：DVC-面向机器学习项目的开源版本控制系统。DVC可以统一对代码、数据、配置文件做版本控制，可以帮助我们实现科学版控，快速复现历史实验。

DVC官网 https://dvc.org/doc/user-guide/what-is-dvc

追剧链接：

注：【夕小瑶的卖萌屋】后台回复 DL3获取本期PPT

往期内容回顾

全栈深度学习第1期：如何启动一个机器学习项目？
全栈深度学习第2期: 开发套件与工具篇

后台回复关键词【入群】

加入卖萌屋NLP/IR/Rec与求职讨论群

后台回复关键词【顶会】

获取ACL、CIKM等各大顶会论文集！

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

夕小瑶

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

参与评论您还未登录，请先登录后发表或查看评论

博客

最强小模型又易主！Mistral发布小部长Ministral 3B、8B，登基边缘计算之王！

10-17

177

研究团队发了下面忍者神龟的meme，说Mistral 7B发布才一年，但是就在今天，哪怕是最小的模型（小部长3B）就已经大多数基准上的性能已经超过了它：岁月不饶人啊，。。。不过，3B小部长的成功也揭示着，随着技术的进步，AI的"小而美"时代正在到来～

博客

OpenAI多智能体框架Swarm，被曝剽窃！20岁创始人指控OpenAI抄袭

10-14

448

业内人士指出Swarm框架的整体设计与其他开源多代理系统（Rasa 、Hugging Face Transformers）大致一样，没有自己创新的整体结构，其中部分代码的结构设计和实现方式与已开源的代码都有高度重合，框架从整体上看原创系不高。Swarms创始人Kye Gomez指控OpenAI不仅模仿起了名字，而且“借鉴”了代码和方法，从智能体结构的语法到群体类对象都是模仿的痕迹，但是OpenAI在官方博客中没有任何的引用。没错，你没有看错，名字非常的相似，OpenAI的是Swarm，这个是Swarms。

博客

马斯克又牛了！一双机械臂，夹住火箭！实现无限回收火箭

10-14

453

SpaceX称，对这个超重的助推火箭，已经实现了半厘米的控制精度——所以，助推火箭的回收尝试是时候提上日程了。所以，SpaceX设计了“筷子”机械臂系统Mechazilla，在火箭降落时，利用机械臂将其抓住，这样可以减少助推火箭落地时产生的压力。在接近发射塔时，火箭会启动3个发动机降速，并通过对火箭的控制，这个助推火箭虽然只高71米，但是它上面配备了多达33个猛禽发动机，能产生数千吨的推力，本身重量重的要命。昨天晚上，SpaceX的火星移民星舰，终于迎来了难得的第5次试飞，这次试飞最大胆的部分，就是。

博客

马斯克的Cybercab首秀！没有方向盘和踏板，26年量产，特斯拉这次又玩大的了

10-11

708

今年是特斯拉成立的第10周年，回顾10年前的2014年10月9日，搭载Mobileye EyeQ3的初代特斯拉Autopilot首次问世，开启了特斯拉时代。作为特斯拉成立10周年之际的发布会，虽然远远谈不上说失望，但是相较于之前马斯克给行业的惊喜，这次发布会公开的成果只能算是中规中矩吧～奶茶原本还以为能看到像变形金刚那样的车机器人呢！尽管如此，无人出租车的正式亮相还是相当振奋人心。让我想起了马斯克曾经提到的愿景：“让车辆在闲置时，通过共享为你赚钱。

博客

唯一答对“strawberry中有几个r”的开源项目，被我找到了！

10-10

1040

随着Open O1项目的进展，继续突破大语言模型的界限，不仅能实现类似OpenAI o1的CoT的性能，还能在测试时间扩展方面处于领先地位，使所有人都能使用先进的AI功能，最终，将Open O1变成人工智能进步的灯塔，造福所有人。该团队通过整理了OpenAI o1模型的CoT（思维链）数据，对Llama3.1-8b和Qwen2.5-7b模型进行训练，赋予了这两个小体量模型更强的长期推理和解决问题的能力。而且，只有7B和8B的参数，还是个小模型，基于LLama-8B和Qwen-7B进行的微调。

博客

哈佛大学俩学生开发出一种 AI 眼镜，看你一眼就能扒光所有个人信息

10-09

784

哈佛大学的两位学生开发的I-XRAY的项目，仿佛把科幻电影中的场景变成了现实！虽然这两位学生并未直接制造出风险，但他们的发明却无意中揭露了一个问题：在如今技术高度发达的时代，个人信息的获取变得异常便捷，同时也暴露了隐私保护的脆弱性。这样轻而易举就能创造出“一镜到底”的眼镜，那我们个人信息在互联网上暴露的程度到底是什么样啊。。。。。。

博客

活久见！2024年诺贝尔物理学奖颁给了AI大佬Hinton 和 Hopfield

10-08

495

在这样的时代背景下，Geoffrey Hinton 和 John Joseph Hopfield 获得诺贝尔奖的消息，不仅是对 Hinton 和 Hopfield 个人研究生涯的极大肯定，更是对整个人工智能领域研究价值的国际认可！从理论的深入到真实的日常应用的拓展、普及的过程，我们见证了科技发展的前所未有的崭新轨迹。霍普菲尔德提出的 Hopfield 网络引入了精确的二值神经元和能量函数的概念，描述了大脑中的神经元如何互动以形成记忆，是人类对大脑计算过程研究的开山之作！

博客

OpenAI 开发者大会！实时语音功能有API了，GPT-4o支持多模态微调，上下文cache功能上线

10-03

836

在车道计数的准确性上Grab实现了20%的提升，在限速标志的定位上提高了13%，这些成绩均超过了原始的GPT-4o模型。OpenAI还提出了一种用前沿、高级的模型的输出微调GPT-4o mini的模式，例如用o1-preview 和 GPT-4o 等高级模型的输出，微调GPT-4o mini这类的小模型，从而实现更高效模型的性能。在开发者大会上，OpenAI还宣布了要开放实时API的公测版，允许所有开发者在自己的应用程序中实现使用GPT的实时、低延时、多模态的功能。

博客

被Karpathy誉为“蕴藏着类似ChatGPT的机会的AI产品Notebook LM”，它到底做对了什么？

09-30

875

该平台重新定义了与LLM（大语言模型）的交互方式，用户现在可以轻松上传多种格式的资料，包括YouTube链接、音频文件、PDF文档、Google Docs、幻灯片以及网页等，并将这些内容直接集成到笔记本中。此外，用户还可以针对AI生成的内容提出问题，以获得更多详细信息。这种交互不仅要求对语言和意图有更深入的理解，包括对语境、情感和隐含意义的精准把握，还需要拓展到多模态交互，支持声音、图像乃至视频等多种输入和输出方式。，使用户能够直接聆听内容的总结，还可以将生成的播客分享给他人，增强信息的传播和交流。

博客

今天不止是A股疯，这家国产大模型也疯了！AI人：1亿小目标已实现

09-30

923

尤其是GLM-4-Plus的推理能力，实测非常强，你把它当做一个“入门版的o1”去用的话，不仅不会觉得拉胯，甚至会觉得。众所周知，o1在回答问题前的一顿思维链输出，对用户来说情绪价值是直接拉满了，像极了一个卖力干活的打工人。我测了下，果然这道题的难度非常大，我跑了下国内主流的ChatBot产品，发现大部分都翻车了。好家伙，就在别家把“入门款模型”朝着免费去卷的时候，智谱已经把自家的旗舰模型朝着免费开卷了。好家伙，这思维链也搞的太详细了，以至于思维链之后，好像没啥可讲的了。今天这篇文章不是讨论A股的。

博客

OpenAI员工流失的背后：地盘争夺、倦怠、薪酬要求

09-29

768

说实话，除了Jan Leike表现出了非常强大的怨念以外，其他人的离职长文都没有实质性可以扒出来的内幕，但是仔细咬文嚼字的话，倒是能发现一些盲点：很多人感觉在OpenAI工作很累，尤其是Greg Brockman和Bob McGrew，大家都想拥有一些自己的时间。但很明显，AI发展没有一条明确的主线，初期的参与者们也相对比较纯粹，多数OpenAI员工都把精力倾注在研发上，没有明确安全or进步的倾向，也没有宏大到拯救人类命运的理想和路线，Ilya如此果断的弹劾，反而给员工们传出了一个危险的信号。

博客

LLM 我们距离应用还差什么？

09-27

529

这固然有当前模型的基础能力尚没有那么强大的原因，但是我们要知道，任何一个破坏性创新的技术，其推出产品的时候，都不是那么完美的，都是靠着市场上真正的需求来完成自身的迭代，在市场上占据住自己的位置。实际上，理想态也应当是，大模型作为一切的中控，去决定每一步需要使用什么样的信息，辅助自己解决问题。的工作流程，其最直观的任务的确是数学题和逻辑推理，但真正的应用点显然不是这两个领域，甚至可以说，过于执着于这两个领域，可能会让模型能力走向一个非常奇怪的方向，甚至O1出现后，一些badcase，似乎也佐证了这一观点。

博客

o1的提示词：简单才是王道！

09-24

943

在早期o1模型上的实验验证，研究团队发现，在考验模型推理能力的最主要测试-数学中，o1已经开始显露大幅提升了效果！随着模型规模的增长，这种涌现的能力会自然出现，特别是当模型面对多样化的任务时。在过去，AGI的概念似乎是抽象的、遥不可及的，但是当亲眼见证大语言模型AI能够在过去人类做的好的事情上做的更好，研究团队们开始相信AGI是总有一天会到来的！研究团队谈到，当他们认识到自己想做一个具备推理能力的模型，首先想到的就是人类记录其思维推演的过程，所以，他们在这样的动机下，开始设计、训练模型。

博客

大模型的威力，远不只是聊天框

09-22

714

事实上，人和人交流的时候，应当是不会写那么“不是人话”的复杂指令的，或者那么一长串的prompt，因为人也听不懂，也记不住（短时记忆空间根本没法支撑那些信息量，肯定得反复澄清），更多的还是一步一步培训，让人形成习惯，为什么到了比人弱一些的大模型（确切说，大模型的确在文本的阅读能力和“短时记忆”能力上一定程度是超过人的，但是理解能力嘛……当然，前面笔者一直说聊天框是低效的，但它不是没有价值的，它是我们直接和大模型交互的媒介，就如同操作系统的终端，我们可以通过它直接让大模型去执行一些指令，去观察它的能力。

博客

读博对心理有持续负面影响？终于有论文证实了！确实是真的！

09-22

786

因此，研究团队收集了2006年至2017年间在瑞典入学的所有博士生，排除了无法进行时间长度的实验分析的未在瑞典接受大学教育的博士生，以及因其他愿意导致记录不完整的样例，最后符合实验样本要求的共计20,085名博士生。研究者们在图1展示了统计获得的描述性证据-博士生在开始博士学习前、后几年内获取精神病药物的比例，这份数据与同期未就读博的普通低学历人群（学士以下）和高学历人群（学士、硕士）的对照组进行了比较。博士生在入学的前几年内，使用精神病药物的比例与拥有相应硕士学位的对照组相似，低于普通人群的对照组。

博客

阿里发布史上最大规模开源全家桶！千问2.5系列发布

09-20

860

在预训练的层面，QwenMath和QwenCoder的训练思路很像，两个模型都采用了混合数据策略，将代码、数学和一般文本数据结合起来，以平衡模型在特定领域（如数学或编程）和通用语言理解方面的能力。此外，要知道，代码场景对context的长度要求是很高的，动辄丢个代码库进去，因此Qwen2.5-Coder 则通过 YARN 机制和 repo-level 预训练来增强了长文本处理能力。在通义APP的背后，就是这个模型。这个模型可以说是通义千问系列模型中旗舰模型，效果最好，当自然，最好的东西是最贵的。

博客

英伟达Jim Fan预测：未来2~3年机器人将迎来“GPT-3时刻”

09-20

768

所有移动的东西最终都将是自主的，对于机器人模型，我觉得我们还没有突破架构的极限。人类社会是围绕人类的化身、人类的外形因素构建的，我们所有的餐馆、工厂、医院以及所有设备和工具——它们都是为人类形态和人类双手设计的。GR00T 驱动的机器人，将能够理解自然语言，并通过观察人类行为来模仿动作，来快速学习人类身体的协调性、灵活性和其它技能，以适应现实世界并与之互动。另外，将快速、无意识的运动控制，与较慢、有意识的规划和推理过程，集成到同一个模型中，并让这个模型可以同时运动和推理，依然是机器人尚待突破的技术壁垒。

博客

AI美女屠版小红书火了，被当真人推流，颜值博主慌了

09-20

948

如果不出现文字元素，恐怕是很难发现的，为了追求美，本来大部分照片就是精心修过的，本身就没那么真，跟“追求真”的AI一比，反而显得真人不真，AI不假了。几个月之前，AI生图最大的弊端还是手，比如“四指、六指、手指畸形”，大家还可以抠细节，看看手指是否自然就能大致判断，但是现在已经不奏效了。这种情况的出现，可能还要归功于小红书的推荐逻辑，对美的、精修过的“真实”照片偏好，平台会给予很大的流量支持。而更可怕的是，如果你去小红书搜索“美女”，蹦出来的图片，你真的能分清哪些是真人，哪些是AI吗？

博客

09-09

975

我想先把这个“学校”的课程做成本科水平的课程，所以如果你是技术专业的本科生，你应该会很感兴趣。我做这些主要是因为我们现在的教育观念或许有些过时——在学校里上课、然后完成学业、然后就走向社会工作。我觉得随着AI的发展，这个观念会逐渐被淘汰。现在技术变革非常迅速，人们很快就会想“我要回学校学新的技术”，并且频率会越来越高。但我想说，任何年龄都应该学习，活到老学到老。这也是我做Eureka Labs的目的，只是我还需要时间去完善它，可能到年底或者明年年初就能做好第一堂课。

博客

还没产品，靠人才就吸金10亿美元！Ilya新公司仅10人团队估值50亿

09-06

804

昨晚，Ilya Sutskever新成立的人工智能安全公司SSI（Safe Superintelligence Inc.），宣布获得10亿美元的融资。参与本次投资的公司有：Andreessen Horowitz（a16z）、Sequoia Capital、DST Global、SV Angel和NFDG，这几家都是全球顶尖的风险投资机构，在科技行业有非常大的影响力。对于一家成立仅2个月的公司获得10亿美元融资，这在科技行业是极其罕见的。果然是人才就是吸金。