- 博客(38)
- 收藏
- 关注
RSS订阅原创 我的超迷你大模型会讲故事啦｜从零手搓中文大模型｜Day05
虽然有些逻辑性的问题，但是整体来说，生成文本的连贯性是越来越好的。而且几乎没有任何明显的语法错误，这一点是非常厉害的。也算是验证了一下微软的里关于小模型（SLM）也能生成连贯文本的结论。
2024-09-02 17:33:09
723
1
原创 从零手搓中文大模型｜Day04｜模型参数和训练启动｜我的micro大模型预训练成功跑起来啦
配置得到一个44M(0.044B)的超micro大模型，已经成功开始燃烧🔥GPU，后面会更新一下训练情况。
2024-08-27 18:06:28
825
原创 从0手撸大模型计划
自己动手👨💻完成一个大模型训练的完整流程无疑能大大巩固对技术细节的理解。其实若是以流程学习为目的，数据集和硬件资源的限制都可以通过缩减模型尺寸来规避.所以关于模型训练的很多技术可能都只是停留在对一些开源模型的技术报告的阅读中。在这里立个flag⛳️，希望每天行动一点点🤏，欢迎大家都来监督、催更、讨论。但一直以来训练大模型都是数据和硬件资源齐全的大厂、研究院才玩儿得起的.大多普通的从业者能接触到的更多是下游应用，更别提苦逼的学生党🤷♂️。这次算是逼自己一把，
2024-08-16 09:02:23
314
原创 用大白话讲清楚，大模型里的Next Token Prediction究竟是什么？
首先，由于没有了下文和候选项的约束，预测结果的多样性会大大提高，哪怕是同一个上文也可以有多种 next token 的结果，有点像单选变多选的感觉。而再回过头来看NTP任务的设定，其特殊就在于填空时我们总是只能看到「左边的上文」，也就是前面说了什么，而没有任何「下文」的约束。如果让我们来判断下一个token最适合填什么，比较常见的选择可能会是：「歌（手）」，「演（员）」，「艺（人）」等等。巨量的「题库」是大模型生成能力习得的关键之一，另一个关键是模型的参数量（大家不妨简单地类比为脑神经元的数量）。
2024-08-15 08:55:30
1408
原创 还弄不懂机器学习里的正则化？2分钟生动图解带你一次搞清
正则化（Regularization）是一种防止机器学习Model过拟合的技术；它通过在模型的损失函数中添加一个惩罚项的方式来约束模型的负载度。这个惩罚项一般而言是模型参数的某种范数（Norm），例如L1和L2范数。
2024-08-13 09:21:47
427
原创 5分钟带你了解「机器学习」的前世今生
人工智能（AI）作为一个领域的历史与机器学习的历史交织在一起，因为支持机器学习的算法和计算能力的进步推动了AI的发展。记住，虽然这些领域作为不同研究领域在 20 世纪 50 年代才开始具体化，但重要的要早于和重叠了这个时代。事实上，人们一直在思考这些问题：本文讨论了“思维机器”这一概念的历史知识基础。
2024-08-08 10:47:43
1764
原创 2分钟搞懂什么是「机器学习」
术语“机器学习”是当今最流行和最常用的术语之一。如果你对科技有某种程度的熟悉，那么很可能你至少听说过这个术语一次，无论你在哪个领域工作。然而，机器学习的机制对大多数人来说是一个谜。对于机器学习初学者来说，这个主题有时会让人感到不知所措。因此，了解机器学习的实质是什么，并通过实例一步一步地了解机器学习是很重要的。机器学习趋势曲线谷歌趋势显示了“机器学习”一词最近的“趋势曲线”我们生活在一个充满迷人奥秘的宇宙中。
2024-08-08 10:22:46
357
原创 小白入门机器学习被劝退的4大原因，你中了哪一个？
喵老师自己也曾经靠自学入门机器学习，大家遇到的困难和踩过的坑，一个不落都体验过。新手在运行的时候寸步难行，即使撞了大运跑通了一部分，也不知道自己到底跑了个啥，和理论的知识点完全没法建立联系。👉尽量给自己找一些靠谱的中文入门教程，如果实在没有发现合适的，就在学习英文教程的时候好好利用翻译工具以及做好重要概念的笔记注释。机器学习中的概念复杂且丰富，加上一门非母语的转换，就好比在本就不清晰的东西上又蒙了一层纱。都知道学机器学习最好的方式之一，是跟着实际的应用项目跑通流程，从而帮助理解那些晦涩难懂的概念和理论。
2024-08-06 23:00:49
346
原创 工作9年，1次转行，4次跳槽：拒绝被「稳定性」绑架
打工人在求职方面向来是弱势的一方。企业部门状况，职位详细信息，上级领导秉性，所有这些指望通过几轮加起来不到半天的面试，几乎是不可能的。这巨大的信息差带来的是高昂的机会成本。这点上找工作很像投资股票，我们穷尽所能选中一只标的并买入。当你发现它的表现并不如你预期的那样时，该割肉就得果断下手。你说我是「价值投资」者，要长期主义，那前提也得是你长期坚守的对象真的有「价值」不是。所以很多因素真的远比「稳定性」要重要得多，其中就包括前面提到的诸多情况下的及时止损。
2024-07-16 11:45:46
627
原创 哪有什么「历史的垃圾时间」，有的只是你对自己的不诚实
时间不会服从任何人的管理，它只会自顾自地流逝。— 李笑来《把时间当作朋友》hi，欢迎来到我的杂货铺。最近有个概念火了，叫做「看了下相关的文章，大概是在宣扬奥地利派经济学家米赛斯关于历史的一段论述：当某段历史违背了经济规律，而个体又难以扭转局面，整体趋势看似注定失败的垃圾时刻。这样的描述，让你很难不和经济下行压力的当下联系起来。值得玩味的是，有人翻遍了这位经济学家的著作，也没发现他正式地提出过「历史的垃圾时间」这一概念。我没有能力分析大趋势大环境，只想单纯地聊聊个人和时间的话题。
2024-07-10 09:05:54
890
原创 更高级的教育，往往不是通过语言，考验的也不仅仅是孩子
孩子们从不善于听从长辈的教海，但是他们从不会错过模仿长辈的行为。— James Baldwin
2024-07-08 09:26:39
398
原创 一生追求稳妥的中国人，为何总是逃不掉平庸的结局
大多数人追求的所谓「稳妥」，不过是给「逃避」找的新说辞。hi，欢迎来到我的杂货铺。一年一度的高考盛事终于迎来了志愿填报的「最后一考」。这集合了整个家庭的认知所做出的决策，如同一个定时器，将在若干年后拨动全新的命运齿轮。中国人，尤其是绝大多数普通家庭的普通人，有一个共同的默契，那就是任何人生决策面前，都要始终秉承着名为「」的原则。专业要选就业面最广的，工作要找最稳定的。什么梦想、兴趣，在这两个字面前通通都得靠边站。这个原则刻在了中国人的基因里，默默地传承着。
2024-07-03 11:51:12
633
原创 职场里不争C位的老实人，最后可能连冷板凳也没得坐
职场里只会埋头干活的「老实人」，终会把自己逼得走投无路。hi，欢迎来到我的杂货铺。我的头份工作在一家法企，领导是个阅历丰富的法国老头。。水平有限，我始终没能找到一个中文或者英文的类似精妙表达。Google 给出的翻译是「虽然没了法语的短小精悍，但大意没有丢。「Know how」这件事儿上，你我投入的精力向来足够多。刷题、应试、做 PPT、写文档，你一路打怪升级都是为了拓展自己的技能树。可在职场里浸泡了几年之后，你发现技能过硬、埋头苦干的自己，手里的事儿是越做越多，离升职加薪却并没有更近。
2024-06-25 10:55:18
452
原创 别让那个缺口的木桶，困住了你的人生
木桶理论」本身没有错，错的是大多数人在错误的阶段还遵循着不合时宜的准则。hi ，欢迎光临一一爸爸的杂货铺。「木桶理论」几乎人人都听过，即使没有，上学的时候你也总会被老师有意无意地熏陶。「最弱的那门学科决定了你成绩总分数的上限」。这句话引导着你走过了九年义务教育，甚至帮你越过了高考的大坎。当你参加了工作，迈入了社会，还老老实实地四处寻找自己的「短板」，竭力地补充、平衡。却发现身边和你同样起点的，甚至「总分数」不如你的人，已经在自己擅长的方向上如鱼得水，一骑绝尘。
2024-06-19 09:32:30
1074
原创 连AI自己都预测到高考作文要考人工智能了，可是他们知道吗？
今年的高考一如既往地在万众瞩目之下拉开了序幕，又伴随着端午假期的过半而落下帷幕。毫无悬念地，这个每年都牵动着无数人的心的话题，几天之内都霸榜着各大平台的热搜。不知道大家是否留意到，热榜比较靠后的地方有一条名为「」的话题。我大致对比了下，要说「」或许有那么点儿夸张了，但主题的关联度确实非常之高。AI 能预测到这个地步，说实话我倒并不是特别意外。让我有所感触的，反而是全国卷一的「互联网/人工智能」这个选题，为什么这么说呢？
2024-06-11 09:18:52
453
原创 如果回到18岁的那个夏天，你会重选高考志愿吗？
碎碎念地写了这么些，最开始我问自己的问题也有了答案。这个夏天，又将有一批年轻、鲜活、意气风发的生命个体，踏上之属于自己的追寻答案的旅程。我不愿说祝你们一路顺风，只希望你们看遍想看的风景，经年之后回想起18岁的那个夏天之时，心中少一分遗憾，多一份骄傲。
2024-06-04 09:23:19
1109
原创 《蛤蟆先生去看心理医生》：「不是发自内心的东西，就不能带来真正的改变」
蛤蟆先生去看心理医生》，听名字如果认为这是一部童书可就大错特错了。这其实是英国剑桥大学心理学家写给成人的一本心理学著作。作者通过讲述蛤蟆先生和苍鹭医师之间进行的10次对话，阐释了如何在心理上实现真正的自我成长。在心理压力逐渐成为普遍社会问题的当下，这本短小精悍的小册子值得我们反复阅读。今天分享一下其中让我最有感触的收获。
2024-06-02 15:16:35
308
原创 AI当道，幽默竟是人类最后的尊严？
2022年11月的最后一天，ChatGPT 的横空出世毫无征兆地掀起了新一波的人工智能热潮。「大模型」三个字如同被打在了「世界公屏」上让任何人都无法视而不见。随后的两年里，Meta 引领的开源社区开枝散叶、百花齐放，国内各大厂和创业公司「百模大战」如火如荼。，基于大模型的下游应用也如同雨后春笋般涌现。不仅一举摘掉了「人工智障」的帽子，还摇身一变成了名副其实的六边圆形战士🤖。当然，与热潮一同袭来的，还有深深的焦虑：「我们大部分人是不是马上就要被 AI 取代了？很遗憾这个问题的答案我暂时也没法给出。
2024-05-23 11:26:51
1055
原创 他如何从清洁工变成数学天才？揭秘背后的心灵觉醒！
如果问你爱情，你会引述十四行诗，但你从没有因为看见一个女人而变得脆弱，知道有一个人能以双眼击倒你，她是上帝为你安排的天使，她能从地狱救出你，你不理解当她的天使的滋味，拥有对她的爱，直到永远。在人生的头二十多年里，我们的生活、我们接受的教育，占用了我们大部分的时间精力来拿着放大镜在这巨幅的二维投影上观察和学习，上面几乎有全方位的信息，文字、图片甚至声音，唯一缺少的是那份触手可及的真实。对，没错，仅仅是一段习得的经验而已，我并非否认这段经验的意义，但经验的效用只能用体验的深度来衡量，就如同预习和实践。
2024-05-20 13:10:19
520
原创 内卷时代：逃离囚徒困境
前阵子的五一假期的第一天，和媳妇儿一起带着小崽子去逛了趟宜家，不为置办家具，只是纯粹把那儿当成游乐场，顺带打卡一下「买家具的里头饭做的最好的餐厅」。回到现实中小朋友教育的例子上，无论是为了给孩子提供更好的成长环境，还是为了维护他们的自尊和自信，或者哪怕就是为了满足自己炫耀的虚荣心，我们这些父母们尽管站在不同的出发点上，但也都进行着。我们去的这个宜家的门外空地有一片小的免费儿童游乐区，主要是一些小朋友的娱乐设施，以及一个质地很不错的沙池，后者对于热衷挖土玩沙的儿子来说诱惑简直不要太大。
2024-05-16 08:51:33
928
原创 动机转移：驾驭心灵的「三马之车」
给家里刚两岁半的小崽子刷牙，一直是令我和队友无比头疼的一项「每日挑战」。好不容易威逼加利诱地骗上了水池前的小板凳，小家伙还能给你作出新的「妖」来：要么紧闭嘴巴不肯张开，要么用牙咬住牙刷头不松口，有时候还把本来就不多的牙膏直接「一吸溜」给吃了。自认属于情绪相当稳定的一类人，即便如此，面对人类幼崽这种毫无道理可讲的生物有时也免不了火冒三丈，却又于事无补。而就在最近一阵子，我似乎发现了让小崽子配合刷牙的「大秘技」。
2024-05-09 08:47:59
589
1
原创 闲话人工智能（二）——养娃带给我的人工智能思考
由于个人目前在从事 AGI（通用人工智能）相关的工作，不可避免地对认知、记忆、学习等智能行为能力的研究有越来越多的涉猎，也自然会经常将「人造智能体」和真实的人进行对比，尝试从后者的运转机制中寻找灵感和方向，尤其是这些能力的早期形成过程有着十分大的参考价值。而作为一个两岁半熊孩子的老爸，我身边绝佳的「参考样本」不言而喻。在平时的陪伴过程中，儿子的一些或常见或意外的言语行为，总能引起我的很多感叹和思考。这里面除了一个老父亲「亲子滤镜」下的自嗨😅，更多的是工作专业方面的一些启发，以及对小朋友教育的一些反思。
2024-04-24 08:59:52
1083
原创 走出舒适区，我们该去往哪里？
「舒适区」这个词可能大家都经常听到，我们总是被提醒要避免长期待在舒适区里，它的安全和稳定会限制我们的成长和发展。因此我们总是听到要走出舒适区的口号，却很少有人告诉我们走出去之后该去哪里。
2024-04-16 14:21:40
941
原创 《认知觉醒》读书笔记（三）——元认知
效仿孔老夫子的「吾日三省吾身」，我们可以给自己设定固定进行主动「元认知」的时间频率，例如以小时为单位（定时任务）对过去的一小时内自己的状态、行为、思维过程进行思考和评估，反思其中的问题，加以纠正并以此指导下一个小时内的决策。动漫里的男主已经给了我们最好的演示，那就是虚拟出来一个「自己」，高高在上地俯视下面发生的一切，此时站在这个新「自己」的视角上，原本的自己以及他所处的环境都是外部性的，可以被一览无遗地进行观察分析。」的概念，为此我打算先给大家介绍一部日漫，是的你没有看错，一部日本动漫，惊不惊喜意不意外？
2024-04-01 07:30:00
2110
原创 《认知觉醒》读书笔记（一）——关于阅读
认知觉醒》这本书详细的简介，感兴趣的朋友可以去豆瓣之类的平台搜搜书名来查看。用我自己的话来简单概括一下，作者梳理和记录了自己在主动进行自我认知能力提升的过程中的积累，包括自己从中理解提炼出的各种知识点，以及经过自身实践总结的一些方法。里面包含了许多令我产生共鸣甚至醍醐灌顶的阐述，觉得很有亲身实践的必要。
2024-03-11 09:11:37
653
斯坦福cs229课程笔记小抄
2024-08-06
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人