- 博客(10)
- 收藏
- 关注
RSS订阅原创 二零二二年终总结
写于2022年12月13日不知不觉，年终总结坚持写了6年了，这几年每年都在12.13发布，因为这天生日。还记得2017年第一次写的时候才大三，现在竟然都已经工作两年多了。回顾这一年的经历，挺魔幻的。封城两个月今年上半年几乎是在封城中度过的。清楚地记得3.8妇女节这天，公司楼里出了第一个密接，所有人被召回在公司过了两夜。我们少数人作为顽固分子当晚执意不回去，最后第二天还是没办法回去隔离了，现在想想这...
2022-12-20 12:51:21
140
原创 只需三分钟，让大家都能体验到AI写文章的乐趣！
之前写过一个教程，教大家如何自己训练出一个文本生成的模型，然后用LightSeq来加速推理：用了这个技术，我让模型训练和推理快了好几倍这篇文章是我用AI生成出来的但是，训练好模型之后，别人如果没有显卡的话，就没法体验到快乐了呀！有一个办法，那就是把模型部署在GPU服务器上，然后别人直接发送请求进行访问就行了。更进一步，还可以做成网页，更方便互动！这里分享一下我本地搭建的网页地址（72小时有效）：h...
2022-10-21 03:16:53
303
1
原创 用了这个技术，我让模型训练和推理快了好几倍
什么技术呢？就是量化，别激动，不是量化交易，这里是指模型精度上的int8量化。Transformer系列模型都在用吧？Hugging Face都在用吧？Fairseq都在用吧？那你们训练和推理的时候没有觉得很慢吗？之前教过你们怎么用LightSeq来加速：429 Too Many Requests安全验证今天教你们一个更快的方法，用int8量化来进一步加速！还是用一个有趣的GPT2文本生成模型来做...
2022-09-07 08:47:36
238
原创 字节跳动2023秋招开始了，你想知道的都在这里了...
字节跳动2023届秋招正式批开始啦！这里为大家整理了一些关键问题，文章最后还给大家提供了一些简历和面试建议~有任何问题都可以在评论区提问！投递时间8.10 - 10.31，只能投递2次！岗位类型研发、产品、运营、销售、职能、设计、市场、游戏策划等等。笔试和面试时间8月中下旬开始。如何投递？投递链接：https://jobs.toutiao.com/s/j2sRD8R记住我的内推码：A7FSJMK如...
2022-08-11 13:09:10
237
原创 字节秋招提前批开始了，作为面试官，给大家一些实用建议
字节跳动2023届校招研发提前批开始啦！这里为大家整理了一些关键问题，文章最后还给大家提供了一些简历和面试建议~投递时间7.7 - 7.31，只能投递一次！岗位类型只有研发岗位！非研发岗位将在8月开启。提前批优势部分岗位只在提前批开启，错过了就没有了。免笔试，直接进入面试。多一次投递机会，不影响正式秋招。拿offer速度更快，比正式批快一周左右。如何投递？记得打开下面链接后，招聘项目要勾选2023...
2022-07-07 22:26:56
88
原创 历时一年，论文终于被国际顶会接收了
就在昨天，超算领域的国际顶会SC22放榜了，我们组的论文也被接收了，得分44332（4分制）： 论文地址：https://arxiv.org/abs/2110.05722SC会议是什么？可能很多同学都没听过SC是什么会议，SC会议全称“高性能计算、网络、存储和分析国际会议”（The International Conference for High Performance Computing, N...
2022-06-16 15:27:33
157
原创 这波啊，是王心凌技术男孩
最近王姐特别火，勾起了无数80、90男孩的青春回忆。虽然已经过去14年了，但我仍记得小学毕业留言册上有个女生写的，最喜欢的电视剧是“微笑pasta”，最爱的男演员是张栋梁。正好之前写过几个有趣的小工具，这次拿来都试一下。分别是字符视频生成、图片拼接、歌词爬虫和B站弹幕爬虫，代码都开源在github了，下面有链接。字符视频生成效果演示：这就是最近爆火的王心凌浪姐视频啦，我用字符生成了一下，还是一样的...
2022-05-30 20:37:35
70
原创 手推公式之“交叉熵”梯度
交叉熵（CrossEntropy）是常见的损失函数，本文详细推导一下它的梯度，面试大厂或者工程实践中都可能会用到。前向传播假设分类任务类别数是VVV，隐层输出是VVV维向量h\mathbf{h}\mathbf{h}，标准的one-hot向量是y\mathbf{y}\mathbf{y}，正确的类别是kkk。那么交叉熵损失可以定义为：L(p,q)=−∑ipilog(qi)\mathcal{L}(\m...
2022-05-23 03:38:12
133
原创 手推公式之“层归一化”梯度
昨天推导了一下交叉熵的反向传播梯度，今天再来推导一下层归一化（LayerNorm），这是一种常见的归一化方法。前向传播假设待归一化的mmm维向量为xxx，均值和标准差分别是μ(x)\mu{(x)}\mu{(x)}和σ(x)\sigma{(x)}\sigma{(x)}，LayerNorm的参数是www和bbb，那么层归一化后的输出为：y=w⊙x−μσ2+ϵ+by = w \odot \frac{x ...
2022-05-23 02:58:24
99
原创 封城第14日，囤了一波好货
封城第14天了，今天去小区里小卖部买了一箱啤酒和30个鸡蛋，一共花了110，这下明天开始可以吃菜喝酒了，夜宵也可以荷包蛋自由了。京东上看了一下大概价格在90左右，看来这个小卖部还是挺良心的，现在外面团购最起码得两倍价格。小卖部里东西还挺全的，米面粮油、速冻、调味料、蔬菜水果、冰淇淋饮料啥的基本都有。即使封小区了，老板也天天进货，让我们不需要团购也可以买到东西，不至于饿死。此外给猫买的猫粮和猫砂也到...
2022-04-14 20:07:43
69
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人