- 博客(63)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 啥是RLFH标注、SFT标注、RM标注？一篇文章让你系统了解大模型标注
在这个阶段的标注中，openai在训练chatGPT时，针对相同的query(在大模型背景下即是prompt)会生成4-9个不同的答案，任意抽取两个答案交由标注人员评估相对优劣，这样根据排列组合原理，相同query根据生成答案的数量，可以形成(6, 36)个不同的训练集。言归正传，在做大模型的过程中，也和很多小伙伴沟通了目前已有的大模型标注项目类型，包括我在内的很多小伙伴对自己做的项目都有点一知半解，只是在不断的跟着需求在做数据。与之前NLP阶段的标注需求相比较大模型的标注需求基本都是基于语义理解的标注。
2024-08-01 14:41:51
1345
原创 世界人工智能大会中“数据+标注”相关的关键词浅析
首先还是跟小伙伴们汇报一下最近相关工作的重点内容，主要做了三方面的事情，第一方面是组建了一个可以做大模型标注项目的项目组，第二方面积极在与高校沟通，推进数据标注实训平台进入高校，第三方面在做"数据+标注+AIGC实战教程"的课程。这部分所指的成本高，不同于之前的数据标注，更多制约在标注工具上，而大模型使我们在处理数据时不再局限在细节的处理了，例如在NLP阶段，我们更多处理的是分词、关系等，而大模型通过自注意力机制等算法可以解决很多基础部分的工作。与数据标注行业2024年上半年的寒冷形成了鲜明的对比。
2024-07-07 15:40:17
809
原创 浅析国家级数据标注基地建设任务城市背景下的“数据+标注”
前几年什么最火、需求量最大，一定是CV相关的。数据标注作为数据加工的一个重要环节，最终的展现形式一定是服务，而作为一个服务环节，对于国家级的数据标注基地的价值，则是要产生合规、合法、安全、可控的数据。很多公司的算法和标注业务的负责人，或许依然没有意识到这个问题，所谓的标注业务负责人更多的职责依然是传统标注所做的工作，上传下达，监督供应商完成工作，找到更便宜的供应商而已。一部分政府数据加工，很多政府数据会涉密，但是数据是最全的同时也是最大的市场，更多的可以尝试现有的数据进行脱敏脱密做成可用的数据集。
2024-06-09 09:53:44
915
原创 数据标注行业在《人工智能法案》批准后的机遇与发展
透明度的提升将增强行业的可信度，并帮助数据标注公司赢得客户的信任。通过披露生成式AI训练数据的版权信息，数据标注公司能够展示其数据来源的合法性和可靠性，增强用户对公司的信任，从而赢得更多客户和项目。随着行业整体的提升，数据标注服务的质量和可信度也将得到提升，进一步推动行业的发展。专业化的数据标注公司能够提供更专业、高质量的数据标注服务，满足不同行业和应用领域的需求，赢得客户的青睐。《人工智能法案》要求数据标注公司披露生成式AI训练数据的版权信息，这将对数据标注行业的透明度和可信度产生积极影响。
2023-06-19 09:30:00
287
原创 IT行业的发展与前景：选择适合自己的IT专业小贴士
亲爱的高考毕业生们，你们都是IT行业的“萌新”，对未来的职业发展可能感到困惑。作为一位在IT行业从事JAVA开发工作已有10年的技术管理者，我将为你们介绍当前IT行业的发展和前景，并给出一些建议，帮助你们选择适合自己的IT专业。
2023-06-18 16:57:35
785
原创 如何对待工作中的失误？
在日复一日的工作中，我们免不了会产生一些失误，会因此感到沮丧和失望。但如何正确地对待和处理这些失误才是最重要的，它直接影响到我们的工作表现和个人成长。一起来谈谈作为职场人的你时如何处理工作中的失误的吧！
2023-06-18 16:39:50
281
原创 ChatGPT时代：数据标注会成为一种人机交互“语言”么？
首先可以肯定的是想要ChatGPT解决很实时的具体问题时候，一定是需要给ChatGPT“投喂”一些相关的数据信息的，那么这一个过程其实就是一次数据标注的过程，但是否对于ChatGPT是有效的，我们是无法确定的。或许是否定的，单从自动驾驶标注业务来看，实际客户源是很有限的，国内能做的起自动驾驶的公司和主车厂是非常有限的，而愿意实打实花大资金重投的或许是更有限的。最近又和一些小伙伴交流，也请教了一些大咖，关注一些行业的信息，也有了一些思考，决定还是回归数据视角看AI的本质，去写一些内容和大家分享交流。
2023-05-31 11:35:27
346
原创 从业3年45万年薪的AI训练师是如何养成的？
标注猿的第60篇原创 一个用数据视角看AI世界的标注猿 2022年的上半年对于行业来说是艰难的半年，疫情再次冲击我们的生活，我也已经居家1个多月了，最近由于同一栋楼的邻居是密接，导致我们整栋楼再次被要求居家，不知道什么时间才能结束。好久没有更新了，还是先跟小伙伴汇报一下最近的工作进展，最近有在做类似的事情的小伙伴可以随时交流。 参与编写人工智能训练师中级的教材。 确定两个校企合作的事宜，疫情一过就可以开展 参与协会的人工智能训练师职业技能等级证书考...
2022-05-28 17:56:31
1049
原创 数据标注的未来：吴恩达“未来十年AI会以数据为中心”
标注猿的第59篇原创 一个用数据视角看AI世界的标注猿 最近看到了一篇报道是IEEE Spectrum对吴恩达采访的报道，真是收获颇丰，也解决了之前针对AI基础数据处理发展方向的一些疑惑。所以专门一篇文章分享给大家我的收获。还记得在之前的几篇文章中，我提到了三个我非常关心的问题。 一个是在低价中标环境下的数据标注溢价从何谈起？中提到的数据价值的问题，得到的结论是AI不缺数据，缺的是高价值数据。 另一个是在一个“Scale AI”，让整个国内数据标注...
2022-03-26 14:11:25
1836
原创 自动驾驶采标系列七：复杂场景语义理解-可行驶区域检测
标注猿的第58篇原创 一个用数据视角看AI世界的标注猿 本篇文章我们继续学习自动驾驶采标系列的算法基础理论，关于复杂场景语义理解中的可行驶区域检测部分。车辆可行驶区域包括结构化路面、半结构化路面和非结构化路面。 结构化路面：往往有道理边缘线，且路面结构单一，如城市主干道、高速、国道、省道等。 半结构化路面：指一般的非标准化的路面，路面的颜色和材质差异较大，如停车场、广场等，还有一些分支道理。 对于自动驾驶汽车来说，可行驶区域检测是后续路径路径规划中不...
2022-03-18 09:26:46
2346
原创 自动驾驶采标系列六：复杂场景语义理解-交通识别检测技术
标注猿的第57篇原创 一个用数据视角看AI世界的标注猿 前几篇文章从两种数据的角度去学习了基于图片和激光雷达数据的算法，较为通俗的说明了其算法的逻辑，从而为理解其标注数据在使用算法应用时的理论基础。其实大家会发现一个问题，作为标注员其实在一点都不理解算法的情况，我们依然可以做好数据标注工作，原因很简单，目前人工智能是从结果推方法。我们人本身就是智能体，现在想用另一种方法模拟人这个智能体。那我们如何更好的做好标注这个事情呢？我认为的问题所在就是应该刚好的理解这个方法的底...
2022-03-15 14:49:25
4648
原创 自动驾驶采标系列五：图像与激光雷达联合目标检测方法
标注猿的第56篇原创 一个用数据视角看AI世界的标注猿 前几篇文章分别介绍了基于图像的目标检测方法和基于激光雷达的检测方法，对图片和激光雷达各自的检测方案有了一定了解，但是我们在标注过程中也会发现，这两年在自动驾驶领域单独的标注需求还是比较少的，点云的联合标注和融合标注等是比较常见的。那么我们就用本篇文章的篇幅来学习图像与激光雷达联合的目标检测方法，来从算法理论的角度来尝试理解，点云联合标注和融合标注等多传感器联合应用的逻辑。图像与激光雷达联合目标检测方法目前主要...
2022-03-09 14:45:45
4299
2
原创 自动驾驶采标系列四：基于激光雷达的目标检测方法
标注猿的第55篇原创 一个用数据视角看AI世界的标注猿 上一篇文章我们讲了基于图像的目标检测技术，但对于标注人员来说这部分内容就相对比较难一些，只是作为一个了解就可以，但是如果想向人工智能训练师或者更高职位的发展就一定要了解。从目前的标注需求来看自动驾驶的标注需要一定是占据了标注行业的半壁江山的而从数据需求来看有是足够持续的，毕竟做自动驾驶的“金主爸爸们”都是非常富足的。本文就继续就基于激光雷达的目标检测方法做学习。基于激光雷达的目标检测方法...
2022-02-28 10:15:19
3472
原创 自动驾驶采标系列三：基于图像的目标检测技术
标注猿的第54篇原创 一个用数据视角看AI世界的标注猿 上一篇文章我们从“环境感知”数据的采集设备上进行了详细说明，已经了解了相应设备采集的数据及采集前中要对设备进行的标定工作。感兴趣的小伙伴可以查看一下上一篇文章。自动驾驶采标系列二：车载感知与车载传感器标定（内附标注猿专属定制新年礼品）本文会从基于图像的目标检测技术和相关的标注方法上进行讲解。 基于2D图像的目标检测 基于3D图像的目标检测 基于2D图像的标注方法 一....
2022-02-21 17:52:47
1778
原创 自动驾驶采标系列二：车载感知与车载传感器标定
上一篇文章对自动驾驶采标问题中的一系列法律问题进行了浅析，接下来自动驾驶采标系列里面会对自动驾驶相关技术和知识点进行进一步梳理，来帮助小伙伴深入的了解自动驾驶的架构逻辑与数据采标工作的关系。上文中提到了很关键的一点就是“环境感知”技术所采集到的“环境感知”数据到底是否属于“测绘法”所管辖的范围，那么“环境感知”技术到底包含了哪些内容呢？本文就从一下两个方面进行分享：车载感知传感器 车载传感器标定一.车载感知传感器自动驾驶汽车对于外界和自身的感知依赖于传感器，目前应用于自动驾驶汽车的传感器主要
2021-12-23 14:52:15
3734
原创 自动驾驶采标系列一：自动驾驶数据采集资质及采集数据出境的调研分析
注猿的第52篇原创 一个用数据视角看AI世界的标注猿 各位小伙伴小猿又回来啦，最近由于工作的原因拖更了两个月的时间，很多小伙伴后台留言没有及时回复还请海涵，为了表达诚意小猿同学还是在文章最下面给大家准备了超大福利，看完文章记得参与啊。首先还是给各位小伙伴汇报一下，这两个月的主要工作内容，方便后面有做类似工作或者即将准备做类似工作的小伙伴进行交流。 配合当地资源方落地了京数云数据标注基地，分别是在沈阳和葫芦岛。欢迎有需要服务的甲方小伙伴们或者同行小伙伴...
2021-11-17 15:24:40
2973
1
原创 面向ML的数据标注原理-2.确定目标和选择数据的基本逻辑
这是AI数据标注猿的第51篇原创 一个用数据视角看AI世界的标注猿 标注小课堂会陆续推出系列文章主要是深入讲解面向ML的数据标注原理、系统的项目管理、数据预处理等。主要适用人群是目前数据标注行业内的小伙伴、AI公司负责数据标注相关项目的小伙伴、即将从事AI应用场景数据相关的项目经理产品经理运营经理标注员等。欢迎小伙伴持续关注。另外征集数据标注平台方或者可以提供AI场景解决方案的商务合作伙伴，最好有自动辅助标注功能或者可以提供算法服务的平台方主要联合输出面向AI公司场景化...
2021-09-02 16:08:18
390
原创 面向ML的数据标注原理-1.MATTER标注开发过程
这是AI数据标注猿的第50篇原创 一个用数据视角看AI世界的标注猿 标注小课堂会陆续推出系列文章主要是深入讲解面向ML的数据标注原理、系统的项目管理、数据预处理等。主要适用人群是目前数据标注行业内的小伙伴、AI公司负责数据标注相关项目的小伙伴、即将从事AI应用场景数据相关的项目经理产品经理运营经理标注员等。欢迎小伙伴持续关注。另外征集数据标注平台方或者可以提供AI场景解决方案的商务合作伙伴，最好有自动辅助标注功能或者可以提供算法服务的平台方。主要联合输出...
2021-08-31 14:55:16
470
原创 低价中标环境下的数据标注溢价从何谈起？
这是AI数据标注猿的第49篇原创 一个用数据视角看AI世界的标注猿 本文重点讨论在行业内低价中标的大环境下，行业内存在哪些问题及数据标注在产业链中哪些核心痛点，从而引申讨论数据标注下的数据质量体系到数据价值体系。《人民日报》今年曾两次发文诟病“最低价中标”，给很多传统制造业的从业者们敲响警钟“最低价中标”原则一天不变，行业就很难有什么工匠精神，更不要说什么中国品牌！”通读全篇之后发现，对于传统行业的确有很大的警醒作用，对于数据标注行业好像完全不适用，数据标注行业的虽然绝大...
2021-08-25 10:53:21
344
原创 从数据标注角度看自动驾驶，到底是谁在误导消费者？
写本文初衷主要是从自动驾驶数据原理的角度让作为普通消费的小伙伴们能理解自动驾驶目前的发展现状，并警示喜欢有自动驾驶功能汽车的小伙伴在实际生活中一定要慎重使用。自动驾驶最近几年一直特别火，公交、大货、家庭汽车等等很多场景都多多少少植入了自动驾驶的概念和技术。特别是各大互联网造车的厂商，自动驾驶那就是标配。但随之而来的负面问题也特别多，在不管是媒体的宣传还是厂商的宣传上都让我们误以为自动驾驶已经来临，只是不那么智能而已。年初的时候，我的一个好哥们新提的进口Model3到了，就一起体验了一次，可以
2021-08-20 14:27:23
1380
原创 新生代农民工：本是皆民工，相煎何太急？
这两天在知乎和朋友圈看到了两件非常有意思的事情，和小伙伴们聊聊以及对这两件事情引发的关于相关岗位通道的思考： 知乎热问：国家何时整治程序员的高薪现象？ 人社部发布《2020年北京市外来新生代农民工检测报告发布》 岗位机遇也是一种通道 一.知乎热问：国家何时整治程序员的高薪现象？题主主要想表达的是：同样的应届毕业生，程序员相关职位的工资通常要高于其他工作岗位，并且社会上普遍的有程序员高新认知。刚考到这个问题的时候真是哭笑不得，能提出这个问题的也真的，.
2021-08-18 16:10:46
419
2
原创 一个“Scale AI”，让整个国内数据标注行业都酸了！
23岁、美籍华裔、E轮融资3.25亿美元、估值达到73亿美元、AI创业公司（数据标注方向）。上面是目前美国硅谷的一家名为“Scale AI”的以数据标注为核心业务的创业公司5年所取得的成绩。无疑是对国内还在数据标注行业苦苦挣扎的小伙伴们是一剂强心剂，但也却感觉非常尴尬。强心剂的原因是，国内的大部分标注公司不管是头部的还是下游的供应商的境遇都还是非常挣扎的，被所谓的”劳动密集型“等行业问题所困扰，无法破圈。而非常尴尬来说，国内的数据标注规模化发展是早于国外的，在经过几年的野蛮生长之后，对行业期
2021-08-13 14:06:00
12626
原创 干货！你们要的客户都在了......
持续有小伙伴给我留言问我关于客户和行业的问题，其实在之前的文章也大概说了一下思路，小白以及想了解客户和行业的小伙伴都可以用做竞品分析的方式快速了解行业，并且定期做分析，就可以获取很多有效信息。而留言的小伙伴里面最让我意外的是还不知道自己的客户有哪些，就开始投入资源干这个事儿了。这个在写上一篇文章《交了3万加盟费之后......》做调研的时候，真是深有体会。很多小伙伴们等到意识到有问题的时候，已经来不及了。所以今天这篇文章就跟小伙伴们一起梳理一下你的客户们究竟有哪些？本文我们重点是来看国内的市场，我们
2021-06-24 11:16:27
885
原创 什么是数字经济？数据标注及数据处理在数字经济的战略地位浅析（内附《数字经济分类2021》）
“数字经济”至从2016年首次被列入到G20峰会的议题以来，得到广泛的关注。2017年政府报告中也首次提出了数字经济，指要推动“互联网+”深入发展、促进数字经济快速成长。但至从提出以来各个行业对数字经济的理解依然非常宽泛。在实际的政策落实、行业划分、统计等等都遇到了麻烦。而《数字经济及其核心产业统计分类（2021）》（以下简称“数字经济分类”）的发布对社会在数据经济的发展有非常重要的指导意义。所以本文就分两部分跟大家交流一下。 数据标注及数据处理在数据经济产业链的定位 《数字经济及其核心产业
2021-06-11 19:43:18
1434
原创 数据标注“内卷”加剧，加速逃离北上广深？
在年初的时候写过一篇文章“2020年数据标注行业回顾及2021年展望”，大体展望了一下今年数据标注行业的竞争及形式，“内卷”加剧。当然这可能也不是数据标注行业个例的问题，是在产能过剩及内循环的背景下必然的阵痛过程，或许很多行业都是一样的。所以利用周末的时间抓取整理了一些数据，和小伙伴们一起看一下行业目前的情况。“内卷”这个词最近是非常的火，而个人认为数据标注行业的情况也非常适合。我们先来看看“内卷”的定义：本意是指人类社会在一个发展阶段达到某种确定的形式后，停滞不前或无法转化为另一种高级模式的现象.
2021-06-03 20:39:02
923
原创 数据标注员需要专业系统的学习么？
又是忙碌的4月份，好多小伙伴留言催更了，先给小伙伴们汇报一下最近在处理的一些事情的进展，然后针对最近跟小伙伴交流的一些问题跟大家在做一个分享。 在山西吕梁联合当地政府做了第一期人工智能训练师培训。 保定基地推进基本达成合作意向。有需要在保定设立公司或者开展业务合作的小伙伴可以随时交流。 产业学院推进基本顺利，与当地政府及学校达成了共识，推动先试先行落地方案。 以上就是最近主要推进落实的工作，有在做相关项目的小伙伴可以随时交流合作哈。言归正传，因为最近一个月一直在做培训.
2021-05-14 12:56:37
2975
原创 “大数据杀熟”中的结构化与非结构化
“大数据杀熟”这件事不管是从人的劣根性角度，还是从平台的商业逻辑角度都存在着不可避免的必然性，只是各家有各家的说法而已。但作为必然是消费者的每个人来讲反抗是必须的，而且要经常给予相关平台进行必要的鞭策和警示。本篇文章我们就两个点来讨论分析一下“大数据杀熟”中的结构化与非结构化。 两篇关于“大数据杀熟”的基本事件概要及讨论 “大数据杀熟”事件引发的思考 一.两篇关于“大数据杀熟”的基本事件概要及讨论 《复旦大学孙教授花费近5万打车800次，石锤大数据杀熟》的文章以及相..
2021-03-17 10:02:51
955
6
原创 免费AI标注工具-音频查重工具
好久没有分享好用的标注工具了，今年针对公众号也想主要想从4个方面和小伙伴进行分享，主要是行业信息、相关工具、行业知识和其他，其他的话就是我个人的一些经历和学习感悟，如果有好的想法也可以留言和我交流。言归正传，小伙伴们在音频处理工作过程中是否遇到了如下问题呢？ 采集的音频数据由于数量过多或者工作人员操作不慎导致数据混合又不好区分，需要大量的精力来重新处理？ 在分发音频或回收音频时导致多人音频数据有重复现象呢？ 由于部分员工不小心或者偷懒把工作数据复制修改文件名，看似总数对但.
2021-03-08 18:02:28
1013
原创 【标注小课堂】数据标注的价值不是数据标注
各位小伙伴们开工大吉，假期总是飞快，第一个没有炮竹的新年总觉得差了点意思，不过绝对不影响对2021年的期待。个人认为2021年绝对是伟大的机遇年，所以祝愿小伙伴们今年都可以跟随国家发展的伟大契机快速发展、实现个人价值。言归正传，因为在研究基于泛标注的个人信息资产化的方向，所以利用春节假期读了中国政法大学朱老师、黄老师写的关于大数据时代的个人信息保护与价值实现的书，非常受启发。所以就想写一篇关于基于数据标注的数据标注价值话题的文章，跟小伙伴们深入交流一下数据标注这件事的价值有哪些？“基于数..
2021-02-20 11:26:14
919
1
原创 2020年数据标注行业回顾及2021年展望
2020年虽说是艰难的一年，对于我个人来说是很有收获的一年，所以本篇文章也是想和小伙伴们一起分享回顾一下2020年，再一同展望一下2021年行业的发展，给更多的小伙伴提供更多的参考机会。所以本文从三个方面和大家交流一下。 个人的回顾 2020年数据标注行业回顾总结 2021年数据行业的展望与机遇 一.个人的回顾之所以要把个人的角度也放到一块内容来聊，有两个想法，第一在做公众号的将近一年的过程中，了解到很多小伙伴的有一些迷茫，希望我的一些总结可以给小伙伴一点参考和启发。.
2021-02-03 11:11:00
3898
1
原创 【标注猿杂谈】泛标注和场景化标注的讨论及个人信息数据资产化的设想
小伙伴们年终福利送书啦！！！重点：免邮、有签名首先跟小伙伴们汇报一下最近的情况，因为参与的几个项目最近几周比较忙所以一直没有更新，小伙伴们也有很多留言没有来得及回复，还请谅解。最近主要在忙三个方面的项目，目前进行比较顺利，如果有小伙伴也在做类似的项目欢迎交流合作： 基础数据人才培养在几个地市推进落地。 产学院的推进，已经和多家公司（包含一家世界500强公司）及学校达成合作意向。 基础数据处理结合行业（农业供应链金融），参与到央企项目的落地。 言归正传，最近看..
2020-12-18 16:08:10
292
1
原创 【标注小课堂】关于数据标注平台设计的几点思考
最近好多小伙伴留言问关于如果开发数据标注平台怎么做？需要注意哪些问题？有没有相关资料？但是目前开源的相关资料几乎没有，刚好之前工作也设计过几款数据平台以及数据处理平台的设计、研发、测试的工作，所以就想单独写一篇文章来做概要的介绍，给大家提供一个参考。 为什么要做数据标注平台？ 基于解决“效率”问题的讨论 一.为什么要做数据标注平台？首先目前行业是以服务为主，产品为辅的状态，也就是说大部分客户更关心的是服务质量、数据结果质量、结果格式等，至于过程使用什么工具处理不会太过要求，当然.
2020-11-09 13:00:43
1480
原创 【标注猿杂谈】人人可是标注猿的“成才之路”
最近有两个事情的给我的感触还是挺深的，所以今天利用点时间也想跟大家聊聊：1.有小伙伴留言在数据标注的工作道路上越来越迷茫，也有小伙伴表示每次看到公众号文章仿佛又看到了希望，可不知道未来如何发展。 2.看到钛媒体的一篇文章《击碎数据标注五大误解，这门生意真不是你想象的“富士康”》，文章的切入点非常好也很有看点，但整体文章又感觉到反驳的有些无力和对话中的无奈。在我看来这两件事不无关系，从上到下反映出来行业内存在的困境以及深处行业当中每个人所面对的问题。任何一个行业都会存在类似的问题，这部...
2020-10-27 13:46:18
382
非常简单易用图片压缩工具
2022-10-01
人工智能音频数据标注工具-源码.rar
2019-10-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人