苹果据称正在与Google进行讨论,准备将Google的Gemini模型接入到iPhone
目录:
1、用Excel 学习 ChatGPT 工作原理
2、LLM Pricing、定价与速度测试
3、学习OpenCv、深度学习和人工智能
4、2024 年最受欢迎 Mac 开源应用程序
5、苹果发布了自己的大语言模型 MM1
6、xAI 的 Grok-1 开源
7、黄仁勋集齐 Transformer 论文七大作者
8、Homebrew GUl 一键安装免费开源app
9、微软 AI 程序员 AutoDev 登场
10、苹果与Google大声密谋
11、一个优雅的短链服务:Dub
12、推荐两篇文章:养老金是如何计算?程序员学习CPU及计算机组成原理
1、用Excel 学习 ChatGPT 工作原理
网址:https://spreadsheets-are-all-you-need.ai
用一个Excel 表格来学习 ChatGPT 的工作原理,不用写任何代码,配有三个Youtube 视频,非常形象。
最让人震惊的是它用 Excel 实现了一个简易的 GPT2,可以下载:不过特别大,有 1.25 个G,大家如果感兴趣可以试试看。
Excel 太强大了,干啥都行。
![e271bac72fe19663f8cb798512fe7788.png](https://i-blog.csdnimg.cn/blog_migrate/70e734e2b9b0c9497d8d32b18a88e332.png)
2、LLM Pricing、定价与速度测试
一个监控常用大模型API价格的网站(PS:这个网站使用Claude 3 Sonnet辅助编程完成的)
网址:https://llm-price.com/
![5916fb552c91705f3cd7c7c4e87c2739.png](https://i-blog.csdnimg.cn/blog_migrate/835d78f1b0af279cefeb50ff8ffd642f.png)
有网友测试了各LLM 定价与速度 💰 ,用文本生成实验来比较推理成本与速度
实验设置:• 每个模型 10 次运行 • 最大输出令牌1000个 • 计算每次运行的成本 • 计算每秒的令牌数
主要要点:• groq 在成本+速度方面明显获胜 • 集群速度接近 75-150tps,约 0.10 美元
![075e19a366fd5e4b75404785f6aff2bc.png](https://i-blog.csdnimg.cn/blog_migrate/608596b0c0d5fb012231678e3536f319.png)
3、学习OpenCV、深度学习和人工智能
🔗 https://github.com/spmallick/learnopencv
👉 该存储库包含计算机视觉、深度学习和人工智能文章的代码。
4、2024 年最受欢迎 Mac 开源应用程序
快来看看有木有你喜欢的 网址:https://indiegoodies.com/awesome-open-source-mac-apps
5、苹果发布了自己的大语言模型 MM1
论文地址:https://arxiv.org/pdf/2403.09611.pdf
苹果加入战场,发布了自己的大语言模型 MM1,这是一个最高有 30B 规模的多模态 LLM 。
论文关键信息:
图像分辨率、图像编码器的预训练数据和模型大小对性能有显著影响。
视觉-语言连接器的设计相比之下影响较小。
预训练数据的混合比例对于少样本和零样本(zero-shot)性能至关重要。
通过预训练和SFT,MM1模型在多个基准测试中取得了SOTA性能。
MM1模型展现了一些吸引人的特性,如上下文内预测、多图像推理和少样本学习能力。
模型实现方案:
架构组件和数据选择的消融实验:
图像编码器:研究了不同预训练图像编码器的影响,以及图像分辨率和图像标记数量的重要性。
视觉-语言连接器:
探讨了不同类型的视觉-语言连接器(如平均池化、注意力池化和C-Abstractor)对模型性能的影响。预训练数据:使用了图像标题、交错的图像-文本和纯文本数据,研究了这些数据类型及其混合比例对模型性能的影响。
模型构建和预训练:
通过扩大模型规模(从3B到30B参数),包括密集模型和混合专家(mixture-of-experts,简称MoE)变体,构建了一系列性能优越的多模态模型。
在预训练过程中,使用了大规模的多模态数据集,并通过特定的数据混合比例来训练模型。
性能评估和结果:
评估了预训练模型在多个基准测试中的性能,包括图像标题和视觉问答(VQA)任务。通过监督式微调(Supervised Fine-Tuning,简称SFT),在一系列多模态基准测试中取得了有竞争力的性能。
6、xAI 的 Grok-1 开源
马斯克开放了Grok的架构和权重数据,共 318.24GB ,这个尺寸肯定没法在本地玩了。
🌐page: https://x.ai/blog/grok-os 🧬code: https://github.com/xai-org/grok-1 📦model: https://academictorrents.com/details/5f96d43576e3d386c9ba65b883210a393b68210e
为了 Understand the Universe 理念,团队特意把参数设定成了圆周率 314B,这是目前规模最大的开源模型。
Tesla 开放的技术与供应链推动了全球特别是中国 EV 进步,现在 xAI 应该能继续推工国产大模型的创新了。
![85dee29242ca5817cca29db18051ea99.png](https://i-blog.csdnimg.cn/blog_migrate/6d1f1685338a9b5b5439ebb26a29d388.png)
7、黄仁勋集齐 Transformer 论文七大作者
全文对话一小时,干货满满:https://mp.weixin.qq.com/s/Vxmlgh_ldJNa5RNwFSHmUA
Transformer模型的出现极大提升了计算机处理语言的能力,对机器翻译、语音识别和文本摘要等任务带来了显著的改进。
这项成果是由八位曾在Google工作的AI科学家共同完成的,他们的初衷是改进谷歌的机器翻译服务。
他们是:
Ashish Vaswani:2016年加入谷歌大脑团队。2022年4月,与Niki Parmar共同创办了Adept AI,同年12月离开该公司,并共同创立了另一家人工智能初创公司Essential AI。
Niki Parmar:在谷歌大脑工作了四年,之后与Ashish Vaswani共同创立了Adept AI和Essential AI。
Jakob Uszkoreit:2008年至2021年在谷歌工作。2021年离开谷歌,并与他人共同创立Inceptive,该公司主营业务为人工智能生命科学,致力于使用神经网络和高通量实验来设计下一代RNA分子。
Illia Polosukhin:2014年加入谷歌,是八人团队中最早离开的人之一,于2017年同他人共同创立了区块链公司NEAR Protocol。
Noam Shazeer:曾于2000年至2009年间和2012年至2021年期间就职于谷歌。2021年,Shazeer离开谷歌并与前谷歌工程师Daniel De Freitas共同创立http://Character.AI。
Llion Jones:曾工作于Delcam、YouTube。2012年加入谷歌,担任软件工程师。后来离开谷歌,创办人工智能初创企业http://sakana.ai。
Lukasz Kaiser:曾任法国国家科学研究中心研究员。2013年加入谷歌。2021年,他离开谷歌,成为OpenAI的研究员。
Aidan Gomez:毕业于加拿大多伦多大学,Transformer论文发表时,他还是谷歌大脑团队的实习生。他是八人团队中第二个离开谷歌的人。2019年,他与他人共同创立了Cohere。
对话过程中,与会者关于Transformer模型的讨论集中在以下几个方面:
1、Transformer的独特价值和创新点:讨论强调了Transformer模型的核心创新——自注意力机制,这一机制使得模型能够高效处理长距离依赖问题,相比传统的RNN和CNN架构,在序列数据处理上更加高效和精确。Transformer的编码器-解码器结构和多头注意力机制在人工智能领域引发了重大变革。
2、模型的实际应用与影响:Transformer模型的应用已经远远超出了最初的预期,它不仅被应用于自然语言处理任务,如文本生成、情感分析和语言翻译,还扩展到了计算机视觉、音频处理等多个领域。这种跨领域的应用证明了Transformer架构的强大和灵活性。
3、对于未来发展的展望:与会者表达了对当前Transformer模型及其变种的局限性的认识,以及对未来发展的期待。他们讨论了需要超越Transformer的新技术,以实现更高效的计算和更强的AI能力。特别是对于规模定律的讨论,即模型性能随着规模的扩大而提升,但同时需要更多的计算资源。
4、计算资源的考量:讨论提到了随着Transformer模型规模的扩大,对计算资源的需求也随之增加。这引发了对于如何更经济高效地使用计算资源的讨论,包括未来可能需要的自适应计算技术,以便在特定问题上合理分配计算资源。
5、对AI和计算未来的哲学思考:对话中还包含了一些关于AI技术和加速计算未来方向的深层次思考,包括计算机技术的发展趋势、AI模型的经济性和规模以及如何通过技术进步解决社会问题。
![9fec1a65b48b87836f4ecff1f1d81103.png](https://i-blog.csdnimg.cn/blog_migrate/4bdeab1c7a3ae7590e289ee36f59dc66.png)
8、Homebrew GUI
🎉终于有人为 Homebrew 做 GUI 了。
网址:https://github.com/milanvarady/Applite
Applite 免费开源的 mac 程序,旨在简化 Homebrew 安装和管理第三方应用,为非技术用户带来 Homebrew casks 的便利。🔸一键安装、更新及卸载应用 🔹简洁用户界面(UI) 🔹免费开源 🔹精心挑选的高质量应用合集 🔹兼容现有 Brew 安装环境
![2bf5a1645510ba7fe43efc92a568f9d9.jpeg](https://i-blog.csdnimg.cn/blog_migrate/7aff754dc2d3c47528547d4aa20d4af3.jpeg)
9、微软 AI 程序员 AutoDev 登场
微软推出的 Autodev 自动化 AI 驱动开发领域实现了重大创新(号称自主生成代码性能超GPT-4 30%),通过允许用户为 A| 设定复杂目标并在 Docker 容器中实现代码编写、测试等开发活动。
该框架在 Human Evil 数据集上展现了超过 90% 的代码与测试生成成功率。网友热议其对软件开发效率的潜在提升和专业技能保持的挑战,同时对通用人工智能的实际应用、控制和道德问题以及广泛自动化可能带来的社会影响表示深切关注
![b231956932176995eca4d946f0163b0b.jpeg](https://i-blog.csdnimg.cn/blog_migrate/87e2a64145085adc61fb9cf525c367a7.jpeg)
10、苹果与Google大声密谋
据消息人士称,苹果据称正在与Google进行讨论,准备将Google的Gemini模型接入到iPhone,为iPhone 提供人工智能的技术支持!
两家公司正在积极谈判,以便让苹果获得Google生成式人工智能模型 Gemini 的授权。
![c71e509c78ef2517d158cbd73654e4ff.jpeg](https://i-blog.csdnimg.cn/blog_migrate/1f2db25294173cc7197a21a329246d82.jpeg)
11、一个优雅的短链服务:Dub
https://github.com/dubinc/dub
开源免费
支持数据分析
设计和使用体验上都非常极简
Next.js – framework
TypeScript – language
Tailwind – CSS
Upstash – redis
Tinybird – analytics
PlanetScale – database
NextAuth.js – auth
BoxyHQ – SSO/SAML
Turborepo – monorepo
Stripe – payments
Postmark – emails
Vercel – deployments
![c02ad56abdbf82d3977f1f1ad2bcf1c0.jpeg](https://i-blog.csdnimg.cn/blog_migrate/49f06bb9033c550a14ccdab1f60906a0.jpeg)
12、推荐两篇文章:
养老金是如何计算的?
https://fookwood.com/posts/pension-calculation/
程序员学习了解CPU及计算机组成原理必看文章
https://plantegg.github.io/2021/06/01/CPU%E7%9A%84%E5%88%B6%E9%80%A0%E5%92%8C%E6%A6%82%E5%BF%B5/
往期精彩回顾
适合初学者入门人工智能的路线及资料下载(图文+视频)机器学习入门系列下载机器学习及深度学习笔记等资料打印《统计学习方法》的代码复现专辑
交流群
欢迎加入机器学习爱好者微信群一起和同行交流,目前有机器学习交流群、博士群、博士申报交流、CV、NLP等微信群,请扫描下面的微信号加群,备注:”昵称-学校/公司-研究方向“,例如:”张小明-浙大-CV“。请按照格式备注,否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告,否则会请出群,谢谢理解~(也可以加入机器学习交流qq群772479961)