- 博客(925)
- 资源 (9)
- 收藏
- 关注
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 眼底出血术后需注意事项//每天必看
1.每天都要滴眼药水2.控制血糖,要吃低血糖的饮食(网上买低血糖食物),每天都要查一道血糖3.一周复检一次别忘了4.趴着睡(在网上买个趴枕)
2022-06-29 15:40:41
584
原创 Multi-Head Mixture-of-Experts笔记
每个TOKENQ其实都通过了所有专家,这样每个token都有个对于专家的权重,最后再找对于的专家去做乘法对吗?这篇文章(还是校友),也是和dot product本身没什么关系。个人感觉这个图画得不够直观,看论文得公式更直观一些。
2024-08-01 09:43:59
153
原创 关于MoE的简约挖掘点笔记
MH-MoE 的训练目标是最小化两个损失:针对具体任务的损失和辅助性的负载平衡损失。更合理的分配token到expert,以及Gate更合理的Combine结果。MoE指标除了任务精准度还有,提升专家激活率。#可以参考这篇文章搞实验指标。
2024-07-31 16:40:17
146
原创 Mixture of Experts with Attention论文解读
注意这篇论文没有代码,文章所谓的注意力是加性注意力,找scaled dot-product的伙计可以避坑了,但还是有值得学习的地方。
2024-07-31 16:07:13
364
原创 mlp与attention的计算时间复杂度分别为多少?PAtchtst为啥patch后为啥attention计算量降低?
并且要注意只是说attn的计算量降低了,或者整体的降低了,但是引入了mlp的计算,不过这种计算是牺牲小挽救大局。
2024-07-29 16:18:20
249
原创 Union工作的图的解释
传统范式的局限性多个单独模型复杂且难以管理,每个任务需要独立训练。难以适应多样化的数据和应用场景。统一范式的优势“Union”模型作为基础模型,通过一次性预训练和适应性微调,能够处理多种时序任务。简化了模型的架构,提高了效率和适应性。
2024-07-28 16:03:25
380
原创 UniTS代码解读
总结来说,UniTS模型中不同类型的token的embedding方式都是通过线性层实现的,具体实现细节在。在预训练过程中用于生成掩码序列,并在模型训练时帮助模型学习如何预测被掩码的位置。
2024-07-26 08:44:17
359
原创 申博的回答记录(方便查看)
写的SCI可以尽量早点投出去,就是在投状态,清北里面不同课题组之间的要求也是方差比较大,有的要求很高(比如顶会或者顶刊),有的比如我我申请的未来人居学院(专业是建筑学,只不过我的老师是老外,我还是继续搞AI和机器人应用在上面)(其实里面很多申请的同学也没有什么论文)我觉得你的成果还是可以的,研究方向也不错。就是发邮件套磁,根据你感兴趣老师的研究方向,内容提出对彼此有价值的东西,体现出来,最好用PPT表达一下你做的事情,你感兴趣,你对他的也感兴趣,觉得能做什么事情。#联系老师越早越好,主动!
2024-07-16 15:34:15
290
2
原创 MoE结合TopK-router简单代码示例
请注意,这个示例是为了说明 MoE 模型的基本结构和工作原理,实际应用中可能需要更复杂的网络结构和训练策略。在这个例子中,我们使用 PyTorch 框架来定义模型。下面是一个简化的 MoE 模型的代码示例,其中包括一个。
2024-06-29 10:52:32
336
原创 以正合,以奇胜,守正出奇,稳健
不管是搞科研还是做生意,稳健,在所里的时候,有一个稳定的收入和住所,4k+非常方便的住所+舒服且高效的办公室环境+导师的理解和给出的自由+所里可交流的环境+所里背景的背书,这些是正合,周围有优秀的人一起交流。在我们的生活和工作中,我们应该始终坚守正道,打好基础,同时也要勇于创新,敢于突破。3. 体育竞技:在篮球比赛中,一支球队可能通过常规的进攻战术来得分,但为了打破对手的防守,教练可能会设计一些出其不意的战术,比如突然的长传快攻或者精心策划的挡拆配合,这些战术往往能够在关键时刻取得得分。
2024-06-24 14:04:19
535
原创 朋友们的生意模式
王老师,自己开创公司,做网安(服务器、路由器)成套服务,业务覆盖学校、机构、政府(偏人脉资源型)。风险:政府或者甲方钱没有拨下来的时候,需要自己搭钱进去(主要是给工人发工资可能还包括一些设备、固定成本,否则就是停工风险。赵老师和黄老师,传统教培行业,小学生和高中生的辅导。利润和流水都很可观。老赵一年15~20个。貌似只补周末,寒暑假不上。黄老师是比较卷,比较肯干,月流水6~7w。董老师,民宿自己运营,6个房子目前每个月净利润1.5W左右。很好的模式,目前在看往酒店扩展。
2024-06-21 15:53:39
113
原创 论文创新点和贡献点该如何挖掘?
2>窗口、token、频率、一些其他特征、embedding。7> 训练方式但解决了什么问题,过拟合还是回到1,3小点。8> 解决了什么关键场景业务问题(故事和实际)3>时间复杂度、训练推理速度、内存开销啥的。4>时序和通道 局部-全局(不同特征视角)贡献点是怎么去挖掘,去写,去找方向。5>多任务、数据(任务视角)6> 通用性、即插即用。
2024-06-17 16:11:12
379
原创 Tower在深度学习中的概念,tower没有确切定义
tower这个概念貌似在REC(recommendation)推荐系统中使用较多。在论文UniTS中,来自Havard的工作。tower更像是针对一个task的组件。
2024-05-25 17:31:32
200
原创 flask中的路由是什么意思
在Flask框架中,路由(Routing)是指将Web请求映射到处理这些请求的Python函数的过程。每个路由由一个URL规则和一个与之关联的视图函数组成。当用户访问一个特定的URL时,Flask会根据这个URL找到对应的视图函数,并执行该函数来生成响应。这个装饰器将一个URL规则绑定到一个函数上。在Flask中,路由是通过装饰器。
2024-05-24 13:08:29
551
原创 java和flask怎么结合呢,我做一个java的客户端,然后把深度学习模型用flask进行部署,想要用java做的客户端使用按钮上传请求到flask,然后flask再返回信息,java再接受呈现结果
请注意,这只是一个示例,你需要根据自己的需求调整代码,包括处理 JSON 数据、异常处理、GUI 创建等。此外,确保 Java 客户端和 Flask 服务器能够进行正确的通信,包括处理网络延迟、错误响应等问题。
2024-05-23 21:09:35
379
原创 做事做生意的思维模式||重要,持续更新
**资源导向**:适用于资源有限、需要快速响应市场的情况。3. **灵活调整**:在执行过程中,根据实际情况灵活调整策略,既要充分利用现有资源,也要为实现长期目标留出空间。4. **风险管理**:对于目标导向的策略,要有明确的风险管理计划,确保在追求目标的过程中不会因资源不足而失败。1. **平衡资源与目标**:在制定计划时,同时考虑现有资源和长远目标,寻找二者之间的平衡点。5. **资源整合**:积极寻找合作伙伴和外部资源,以弥补自身资源的不足。- 发展瓶颈:现有资源的局限可能成为发展的天花板。
2024-05-04 14:00:24
277
1
原创 无人棋牌室软硬件方案
难点本身不在小程序,应该还是在选址,客流量,自己如何运维的问题。小程序方案很多,我觉得不着急找人做,有很多现成的方案,不妨先了解了解调研一下。软件这一套确实是做一套下来,可以无限复制卖出,这个雀氏是一本万利的买卖。做这个东西难度不高,我感觉,主要是看用户体验和需求是否达到预期。现在肯定是有成套的方案,值不值得重做?我的定位,学习者,方案提供者,部分问题解决者。不着急的话应该多调研一下,多了解了解。微信公众号里文章和小视频也很多。csdn里面各种解决方案也不少。b站很多更多从商业视角。
2024-04-16 17:00:05
287
原创 格局在尘埃之间与宇宙之外。
见天地、见众生、见自己。所里待了两年半,感叹时光飞逝,无疑在所这段时间,对我的成长是巨大的支持。德国前总理默克尔和所长于海斌,前所长于院士非常的和蔼可亲,就在A楼的8楼,每次狭小的电梯见面,都会关心的和学生问候。王院士非常的和蔼可亲,有时候电梯没电了,走楼梯会碰见王院士,不过7楼爬楼梯对80多岁高龄的老人来说还是有点小挑战,王院士平时应该挺注重锻炼的,身子骨很硬朗。封院士主要在R楼,平时少有见,最近经常看见两位老院士在食堂一起吃饭。
2024-04-16 15:39:56
229
原创 PixWrite-Σ
一起做事儿,一起成长,我拿的钱是当老师,当技术顾问,技术合伙人,做想尝试的开源项目,去探索,不一定有什么结果,生活还有其他主线需要我,所以,没有什么必须做的事情,这个事情很有价值,希望能一起做下去,哪怕没有,也会收获很多,文档内容自动填充是一个新周期可以上市的项目。不管结果如何,总归是对有价值的事情做付出,做贡献。现在就是需要耐心的等,要么等到kimi开源,要么等到有别的开源产品赶上来,要么就是我们第一个难点攻关了,你有价值别人也愿意找你合作了。长期主义,价值导向,慢慢来,认真做。
2024-04-16 11:57:46
367
2
原创 对钱的认知篇-一个人有三个钱包
年薪3万的人说,如果有4万就好了,年薪4万的人说,如果有8万就好了,年薪100万的人说,如果有200万就好了。总体来说,钱还是赚出来的,不是靠省出来的。一个人很难用10元去办成20元的事,有省钱的这功夫,还不如花点心思去赚钱。总之,不仅要有赚钱的技能,还要学会用现有的钱为自己服务,让自己享受生活,挣来的钱如果不用,上帝有一天会收回去的。钱和任何东西,都是为了让你生活得更好,而不是给你带来麻烦。既然钱不够花,有两个解决方法:要么多赚些,要么少花些。钱是上帝存在你那里的,不是给你的,回头你要还给他。
2024-04-06 19:23:30
411
1
原创 个人信息方便后续使用
本作品以纪实资料混剪的方式,按照时间顺序,依次呈现了顾方舟的成长历程、脊髓灰质炎在中国的爆发和顾方舟在中国实现无脊髓灰质炎国家过程中所做的努力。本作品较为完整的讲述了顾方舟的科学家故事, 能够很好的传播科学家精神。3.保证报名表内所填写的各项内容和提供的资料真实无误,参赛作品是本人的原创作品,不存在版权纠纷或争议,一切关于参赛作品的版权纠纷产生的所有责任由本人承担。顾方舟对脊髓灰质炎的预防及控制的研究长达42年,是中国组织培养口服活疫苗开拓者之一,被称为“中国脊髓灰质炎疫苗”之父。研究所学生管理部门意见。
2024-03-14 20:20:01
399
原创 GetData复刻图片数据【详细】
使用心得:如果自动描点不太好用,手动描点其实也不费劲,毕竟能复现原图才是重点,然后拿出来的数据可以用excel来画,还有坐标问题建议就把excel画出来的图通过ppt来修。Getedata2.25:链接: https://pan.baidu.com/s/1ohfmuvZ8Y_WfCd8S56v-rg 提取码: p3dk。听说这个下载版本没激活,有空我再上传破解版本,或者自己网上找找,应该挺好弄的。【实用工具Getdata,从图片曲线中提取数据-哔哩哔哩】教学视频几分钟是干货看就完事儿了。
2024-03-11 08:56:45
524
原创 PCA等、Compression is Intelligence.
ChatGPT是如何产生心智的?|神经元|神经网络_网易订阅 (163.com)Compression For AGI:压缩即智慧,LLM是最好的无损压缩器 - 知乎 (zhihu.com)
2024-02-03 16:09:33
410
原创 资产负债表#通俗易懂
(the Balance Sheet)亦称财务状况表,表示企业在一定日期(通常为各会计期末)的财务状况(即资产、负债和业主权益的状况)的主要会计报表。
2024-01-17 09:40:00
460
原创 PromptCast-时间序列预测的好文推荐
这是关于大语言模型和时间序列预测结合的好文推荐,发现这篇文章,不仅idea不错和代码开源维护的不错,论文也比较详细(可能是顶刊而不是顶会,篇幅大,容易写清楚),并且关于它的Broader Impact与Limitation and Future Work也很值得学习!是个很不错的引导方向。目前时序预测的SOTA模型大多基于Transformer架构,以数值序列为输入,如下图的上半部分所示,通过多重编码融合历史数据信息,预测未来一定窗口内的序列数值。
2024-01-16 15:20:53
611
1
原创 时空序列问题的本质和底层逻辑
外国小哥讲解,也很值得借鉴,用Graph来做,也有方便理解的信息,需要用图网络做时空任务的朋友可以看看,很容易理解。底层逻辑:Still need to polish this.See you pretty soon.#这个专栏也很齐全,不知道为什么更新到2020年就没更新了,奇怪,祝好。本质:Still need to polish this.#这个说得很好, 简单明了。
2024-01-10 15:11:48
466
3
原创 开源项目解读 —— Self-Operating Computer Framework # 长期主义 # 价值
开源项目解读 —— Self-Operating Computer Framework # 长期主义 # 价值希望帮助大家理解IPA工作原理,国内没有好的开源项目,我就来翻译分析解读,给大家抛砖引玉。
2023-12-25 03:43:10
1230
2
labuladong的算法小抄
2021-01-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人