- 博客(94)
- 资源 (11)
- 收藏
- 关注
RSS订阅转载 LLM面面观之MoE
一句话足矣~本文主要针对大语言模型的MoE，包括原理及部分源码。此外，建议大家可以针对源码进行运行，关于源码，欢迎大家一块交流。
2024-04-29 09:27:35
17
转载 BiLSTM算法（二）
github代码链接点击此原作者给出了好几种模型此次仅针对BiLSTM模型分析。PYTHON 复制 全屏：定义了一个继承自nn.Module的模型类Model。：定义了类的初始化方法，接受一个配置参数config，用于初始化模型的各种参数。：调用父类nn.Module的初始化方法。：判断是否提供了预训练的词向量。如果提供了预训练的词向量，则使用方法初始化词嵌入层，并将参数freeze设置为False，表示不冻结词向量参数。如果没有提供预训练的词向量，则使用。
2024-04-29 09:25:46
23
转载 graspnet复现保姆级教程
显卡驱动：Driver Version：470.239.06CUDA版本（作者使用的是10.0.221）根据CUDA版本确定cudnn（）版本根据CUDA和cudnn版本下载对应的pytorch版本python==3.7.16（必须大于等于3.6）pytorch==1.7.0（需求文档里的pytorch是1.6.0版本，两个版本都可以使用，这里我用的1.7.0）GPU名称：NVIDIA GeForce MX150当前显卡的CUDA算力：61。
2024-04-29 09:23:55
258
转载 解密prompt系列27. LLM对齐经验之如何降低通用能力损失
那能否把下游任务的Task Format先行注入到额外的参数中，之后把这部分信息喂给模型，让大模型微调直接学习Semantic Relation，这样在稳定注入新的Format的前提下，尽可能不影响其他input的推理格式。论文提出了两阶段微调，第一阶段也使用了谷歌提出的Prompt Tuning用来学习Format，第二阶段再进行全量微调。如下。
2024-04-29 09:22:11
25
转载 大模型+电力预测？
自ChatGPT问世以后，大模型非常的火，不出意外的话，电力系统方向又打算搞事情了。大模型+电力任重道远。最近听说了一些关于大模型+风光功率预测、负荷预测、电价预测的想法，初步分析下，很遗憾的是，个人得出结论是不可行。简单来说，如果强行使用大模型来做电力预测，本质上可能只是一厢情愿的希望大模型去预测一个噪声罢了。
2024-04-29 09:20:42
24
转载 欢迎 Llama 3：Meta 的新一代开源大语言模型
Meta 公司的 Llama 3 是开放获取的 Llama 系列的最新版本，现已在 Hugging Face 平台发布。看到 Meta 持续致力于开放 AI 领域的发展令人振奋，我们也非常高兴地全力支持此次发布，并实现了与 Hugging Face 生态系统的深度集成。Llama 3 提供两个版本：8B 版本适合在消费级 GPU 上高效部署和开发；70B 版本则专为大规模 AI 应用设计。每个版本都包括基础和指令调优两种形式。
2024-04-29 09:16:47
18
转载 VS studio上查看标准cout输出
顾名思义，这个方法是在生成结束后，使用命令行执行生成的exe程序，暂且不说因运行环境问题程序能不能运行起来的问题，对于GUI程序或者使用debug来调试是不适用的！在生成事件->生成后事件->命令行（Build Events->Post-Build Event->Command) Line）中增加。可见当文本的编码不是UNICODE时，还会报错，那么此时可以直接调用。在解决方案管理器中，单击选中项目后，点击菜单【视图】->【属性页】直接使用qDebug()输出即可，输出窗口设置如下。
2024-04-23 09:01:13
73
转载 Linux systemd 定时任务
哈喽大家好，我是咸鱼。说到 Linux 定时任务，大家用得最多的就是 crond 服务，但其实 systemd 也有类似的功能。我们不但可以通过 systemd 来管理服务，还能设置定时任务，那就是 systemd timer。举个例子，假设我们要通过 crond 配置多个大文件的远程备份（使用 scp、rsync 或 ftp 的方式），但由于大文件的网络传输时间不确定，因此下一个文件的备份任务开始时间几乎都是按照经验估计的。
2024-04-23 08:58:21
36
转载 Python中pathlib 模块的用法
本文给大家介绍了 Python 的 pathlib 模块，为 Python 工程师对该模块的使用提供了支撑，让大家了解如何使用 pathlib 模块读写文件、操纵文件路径和基础文件系统，统计目录下的文件类型以及查找匹配目录下某一类型文件等。
2024-04-22 08:46:42
22
转载 Python中容易被忽略的内置类型
Python中的内置类型是我们开发中最常见的，很多人都能熟练的使用它们。然而有一些内置类型确实不那么常见的，或者说往往会被我们忽略，所以这次的主题就是带领大家重新认识这些“不同寻常”的内置类型。
2024-04-22 08:44:55
7
转载 一个神奇的 Python 库
我并不是这些文章的目标读者，老读者应该能从我过往发布的文章以及每期周刊的选材，看出我的阅读偏好完全不同。有一个作者另辟蹊径，用词就比较有文采了：“妙手回春的”、“让你健步如飞的”、“三界通吃的”、“决胜千里的”、“让你为所欲为的”……标题中的形容词还可能是“超强的”、“超有用的”、“超神奇的”、“化腐朽为神奇的”，等等等，总之用词大多简短而夸张，传达出强烈的情感色彩。其中，“xxx”可能是很知名的库，也可能是比较小众，总之取材范围很广。这些文章取标题的套路方式当然是值得批判的，相互的借鉴行为也不值得推崇。
2024-04-22 08:40:44
7
转载 Python环境和PyCharm搭建教程
2、以Windows为例，我们选择一个稳定的版本进行安装，这里需要注意选择和自己操作系统类型一致的安装包，64 位操作系统选择 64-bit/32 位操作系统选择 32-bit，x86表示是 32 位机子/x86-64表示 64 位机子的。python可以使用IDE：PyCharm 是由 JetBrains 打造的一款 Python IDE，支持 macOS、 Windows、 Linux 系统。设置成功以后，在cmd命令行，输入命令"python"，有安装版本提示即已经安装配置成功。
2024-04-22 08:37:23
12
原创 网盘搜索引擎：点亮知识星空，畅享数字宝藏！
通过搜索引擎，我们可以轻松地发现新的作品、新的想法，拓宽我们的视野，丰富我们的知识储备。现在，我们急需网络流量，希望能够得到更多网络用户的关注和使用，一起来看看它对科技发展、人类文明传承和知识传播的重要贡献吧！它不仅节省了我们的时间和精力，更让我们享受到了知识传播的乐趣。无论是追逐最新的电影大片，还是阅读经典的文学作品，亦或是探索世界各地的纪录片，网盘搜索引擎都能满足你的需求。过去，获取一部电影或一本书籍可能需要奔波劳碌，但如今有了云盘和网络资源共享，我们只需轻轻一点，就能打开知识的宝库，畅游数字世界！
2023-10-03 13:19:31
193
2
原创 【推荐几款实用的网盘资源搜索引擎】
云盘资源，浩如烟海，但缺乏搜索工具，让无数网友苦不堪言。幸运的是，现在有了强大的网盘搜索引擎，一切问题迎刃而解。轻松找到您需要的文件，快速下载，节省时间。享受便捷的云盘体验，释放您的创造力。无论是工作文档还是娱乐资源，网盘搜索引擎助您轻松搞定。解放您的搜索困扰，开启全新的云盘世界！
2023-09-12 15:55:23
1856
原创 分享几个方便好用的网盘搜索引擎
云盘资源，浩如烟海，但缺乏搜索工具，让无数网友苦不堪言。幸运的是，现在有了强大的网盘搜索引擎，一切问题迎刃而解。轻松找到您需要的文件，快速下载，节省时间。享受便捷的云盘体验，释放您的创造力。无论是工作文档还是娱乐资源，网盘搜索引擎助您轻松搞定。解放您的搜索困扰，开启全新的云盘世界！
2023-09-12 12:24:35
4136
原创 环邦行--旅事纪要
3-10 乘高铁（长沙南-衡山西）前往南岳衡山-入宿凤彩华庭-得老板接送-即日登上南岳衡山-至南天门 3-11 乘高铁（衡山西-桂林站）前往广西桂林，入住智诚精品酒店，即日游象山、双塔、七星等景区，12日于桂林客运南站，乘巴士至漓江，乘竹筏至九马画山、兴平古镇；13日遇“哈咯”助力骑行桂林景区 3-14 乘硬卧（桂林北-昆明）前往昆明，15日至入住布丁酒店，即日游滇池、云大等地；尝云南小吃-米...
2019-03-19 08:44:31
324
1
原创 连锁加盟2-3事~实录
受“富爸爸”理财思想影响，我开始接触资产、创业相关的事情；鉴于风险控制的缘故，和妻子商榷之后，选择了连锁加盟这种方式~原因大致有以下几个：1、与已存商业品牌，互补余缺，可充分利用其品牌影响力；2、风险可控，有成功的生产及管理系统；受眼界所限，最初我们目光锁定在奶茶饮品行业，粗略调研了一下市场，得到的奶茶品牌，包括：快乐柠檬、Coco等，均属于大品牌~适合进行连锁加盟，深入分析后，Coco加盟成本较...
2019-02-19 18:20:05
210
原创 记多年后返深有感~
2018年开年就和媳妇商量好~今年国庆要去香港一趟~然后顺道去趟深圳-我职业生涯的伊甸园~，盼星星盼月亮~终于盼到10.1的到来~坐上火车的那一刻，我们的心情的别样的；虽然今年我们已经返乡多次，但是此次旅程是最值得纪念的~不知一次想要拥有逃离京都的感觉~也许是工作压力使然，又或许是思乡心切~每次看到火车离开京都火车站，就会有梦回故里~穿越时空的思乡之情用上心头~逼近离开深圳已经近10...
2018-10-15 20:39:59
400
原创 高中三年奋斗史
其实我的高中生活，和其他人比起来，或许并没有太多不同！每天除了不断学习、就是吃饭睡觉了.认识了一帮给力且头脑发达的哥们；记得刚到学校的时候，涟源五中就组织的学前培训班，对进入实验班的同学进行集体培训，目的是为了在三年后的高考中，再次取得不错的成绩.貌似听招生老师说：这个学校以前出过一个“省级文科状元”，不过自此之后，很多年都没有再出现过好的成绩，至于原因不明，不过对于我这样的出身；能到这样的学校，
2017-11-21 21:30:04
713
原创 初中迷途录
-----初一、初二校园生活话说历经千辛....（哈，有点夸张），我终于迎来了我初中生活，第一位班主任老师叫彭华，据说是小学某个班主任的同学,真心是“冤家路窄啊！”，为何有此一说，请听我慢慢道来;我所上的初中名为“快溪中学”，可能因为我们以前处于快溪乡，所以因此得名...，离家里较远，但坐车较近，儿时学生坐车只需5毛钱，即可从家做到学校，但话说我们平时吃饭也就1块多，所以可能的路途成本太高，也...
2017-10-27 19:06:59
340
原创 关于儿时的记忆
一直都想写点东西，关于家乡、家人和故土，总之什么都好....我的家乡坐落在一个相对北上广而言，不那么发达的小村落里，在儿时的记忆里，那里只有连绵不绝的大山环绕，有享受不尽的绿色植被，也有呼吸不完新鲜空气，那是一个不受城市喧嚣打扰的地方；------------孩提篇：记得儿时第一次有记忆，那时我差不多3岁，我的记忆中开始是没有母亲的，只有父亲、奶奶和爷爷！人生的第一缕记忆，是跟着奶奶一...
2017-10-18 18:01:44
529
原创 王垠：我和Google的故事---读后引用
我就是这样度过在 Google 的每一天，以至于后来我都不怎么在饭桌上吃饭了。自己把饭端到靠墙的吧台去吃，或者坐在“冰激凌吧”跟里面的厨师聊天，省得遇到一些高谈阔论的人无语。我发现自己跟打扫卫生的大妈小妹们也谈得来，她们也喜欢跟我说话。后来我发现有这种感觉的不只是我，另外两个比较厉害的博士生也懒的在那边吃饭了。其中一个说他一个星期就把自己的项目做完了，然后假装仍然在做，免得又被增加任务。这就是所谓
2017-06-07 11:28:20
1739
原创 记多年回归.....
前不久趁回长沙办事，特地回了一趟母校，变化挺大.....昔日人影在，只是红颜改!说心里话，和2011年返校的感觉完全不一样，就像从没来过这里一样，变化太大了。电子街上很多熟悉的门店，多数都已改头换面...多年前逛过的书店，彻底消失了！以前常去的电子游戏厅，曾今我最喜欢的街机游戏都诞生在这里，像我的发小“西游记”，高中时结实的拳皇以及后来爱上的三国战记,但如今这些也没有了踪影。唯一给我家一...
2017-04-26 02:10:17
432
原创 几经周转--尘埃落定(国美入职记)
离开软通动力之后，我再次投放求职潮水当中，各种情节，我已是久经杀场...三天弄个到2天之内弄到3-4个Offer不在话下.....值得一提的是，此次重新求职，让我下定决定从事大数据行业，不应为别的就想让自己活得更轻松一些，不想让自己沦为传说中的码农一族.... 如果简历投递阶段，我基本锁定在大数据行业，App断然放弃....sayonara!!! 也许是机缘巧合之下，或许是同事的悄...
2017-04-24 18:35:09
1880
原创 短暂的停留---（软通记）
离开长城软件之后，虽说没有做过多的停留，也没有太多的不舍；但善后方面的事情，着实让我累得够呛，在长城软件是我首次拿到上万的薪资，那感觉说实话，别提有多带劲，也让我着实感觉到自己身上的担子有多重，拿人钱财，替人消灾！！！一直刚正不阿，以原则为己任的我！自认还是对得起那份工资的，当然也积累不少的住房公积金，由于长城是国企，所交的公积金不在市级别管辖之内，因此还真不是一般的麻烦,以至于到了 新公...
2017-03-30 18:45:43
911
原创 新的方向，新的尝试.....（长软记）
话说作别亚信科技之后，自我感觉那份久违的自信终于回归了；我好想说：“兄弟，你终于回来了！哥等的你好苦啊”，一路走来，方知不易；自信的回归更多了一份成熟；褪去了年少轻狂的不可一世,退去年少时的骄傲不逊.回归的是那份稳重和谦虚但又不乏底气的成熟. 以上都是发自内心的废话，不过是锻炼下文笔，其实叙述生活琐事不需要多有文笔，只不过是一种生活的态度；就像学习是一种习惯罢了.... ...
2017-03-15 19:16:24
655
原创 毕业生自传----一次大胆的尝试,作别亚信
终于还是回到了朝九晚五的重复是工作劳动中，正如某人说的那样，用每天的重复性劳动诠释着平庸。。。好吧，这只是悲观的狭隘论点，对于当时的自己，没有任何理由讨价还价，我应该抓住任何机会拼命向前冲刺；最近，部门老大郭总，说最近部门有个大项目，属于大数据的，希望我可以带几个一起参与进去，给部门揽点活回来，当然领导没有这么说，但是大概就是这个意思，当然不能有辱使命，二话不说，带了几个小兵便杀了过去;当时应该是
2016-12-19 18:29:33
1888
原创 毕业生自传----终成正果
大正月，一路奔波赶回京都，来不及回味家乡犹存的片片温情，我已回到繁忙的工作中，也许这就是生活，你不但要为了生活的柴米油盐而奔波，还要为诗和远方而奋斗，我一方面要应付公司领导的"摧残",私底下还要挤时间把北大的论文赶紧写完，因为当时已经是3月中旬，而北大的论文答辩时间定在了4月初，留给我的时间已然不是太多，顾不上什么力不从心的借口说辞....幸好过年7天没有白过，总算是把毕业设计给做完了，余下的时间
2016-12-19 17:40:45
562
原创 毕业生自传---披荆斩棘
话说眼近年边，亚信在贵都的同事也都认得差不多了，虽说是孤身一人吧，但还好有这么多年轻的小伙伴相伴，这是一个大约20人左右的开发团队，整体来讲较为年轻，郭总，善伟算是年龄较大的，工作10年左右吧，我算是屈居第二吧！后来又来吴欢;其他也有少数几个2-3年工作经验的（孔圆圆，雷祖光，张亮，张维维）； 大部分都是刚从学校毕业（孟建，曹凯）；刚开始半个多月，大伙还是相处的相当不错的，快到年边大伙手里也没有啥
2016-12-08 19:02:20
597
原创 毕业生自传---(蝶变亚信)
几经波折，我于2014年10月入职亚信---香山根据地---西山赢府中心，第一天上班，是汤司令过来领的我，开始还以为这就是亚信分中心的基地，后来以了解才知道，原来这只是中国电信的办事处，我们只是才这里驻场办公；不过没关系，人家管吃管住的，有什么关系呢！还给你提供各种工位等等！不过貌似福利其实也没那么好，大伙包括分中心经理，都在电信的一个不到20平米的会议室里面办公，还是不知道给了领导多少面子才争取
2016-11-18 18:41:35
773
原创 毕业生自传-----（亚信---信者行天下）
离开了久违的航天理想,接下便只有一件事情最重要------find job,其实在离开航天之前，我便开始着手工作的事情，由于当时当时胆子稍小；不太敢有大动作，还特意麻烦了下---崔志伟先生!这段有些不愉快，还是忘掉他吧，谁叫自己那么猥琐呢......然后便是进行海投简历，一个晚上几乎有上100的简历出去吧，结果很意外，不投不知道，一投结果把一个星期的面试全部都给约满了，其中有一家叫做亚信科技的公司
2016-11-10 18:30:44
1392
原创 毕业生自传-----(返京)
日子一天天过，掐指一算，我来海南居然都快三个月了,眼见都快到2014年8月份了;由于期间太过思念女友，想公司领导申请返京未果的我，脾气变得越来越差！不时便和身边的同事发脾气，离谱到只要有人谈到阻止我回去的意思，我便会和他翻脸！当时唯昌，建峰都已经回到了北京，也重新开始了工作，没晚我都会和女友视频，她非常体谅我，知道我在这边也是非常的不容易，好不容易找到心仪的工作，结果是干.net的，好不容易换了工
2016-11-01 18:30:39
383
原创 毕业生自传----（威马逊之夜）
话说海南台风说来就来，威马逊到来之时，刚巧在海南出差的正值下班；一时冲动，与威马逊一路拼杀，不幸被杀的片甲不留，还丢失了我的宝贝眼镜，说时迟那时快，脑袋刚冒出风口，狂风过后，我的小眼镜不翼而飞；陪威马逊去了！然后便是超市多余，与超市老板及躲雨行人共存亡，此感只可意会不可言传。待风小至10级左右，见夜已深，再等无期，只可告别超市，大恩不谢！在狂风中摸索，直逼住所而去。一路如履薄冰，小区一片漆黑没有半
2016-10-31 18:49:26
536
原创 毕业生自传--（宝岛海南“三月游”）
上次说到，在久违的飞机上整整待了两个钟头之后，小飞机终于要在宝岛--海南海口美兰机场如期降落了........记得小飞机降落的一瞬间，我看到窗外这一辈子都难忘记的景色，天空轻搂着白云，海水照相辉映着.....宝岛海南就像是世外桃源，坐落在大海的怀抱中间，简直美得一发不可收拾.....当时就一想法，此生无悔矣......小飞机由于机场朝向的缘故，在空中盘旋了近10分钟，让人浮想联翩....那一刻我仿
2016-10-17 18:51:59
666
原创 人生中的很多个第一次(转战航天理想)
有事一年春去也，天上人间！经历了人生的太多曲折，我慢慢开始变得成熟....就这样，在我生命中的第28个年头，怀着满腔热血来到了；我来到了久违的航天理想，一生中改变我最多，也是最有感触的一家公司，人生中有很多的第一次发生在这家公司！到公司的第一天，我并没有碰到我的直属leader（应该是个大忙人吧），借助上班的空闲时间，我借机复习了一下，达内的大部分课程，并用学校的框架把项目做了一遍又一遍，
2016-10-08 17:46:17
615
原创 毕业生自传(南柯一梦)
话说当时拿到中科九度Offer之后，心中惊喜简直无法言喻，一番庆祝之后，当然便是准备各种入职的手续了，记得当时最麻烦的就是前公司的离职证明了，因为以前公司是一家非IT类公司（中视购物），但在进行简历编写时，受班主任老师的指导，将简历中的职位进行了润色，这些都不是问题，关键是人家中视购物也太负责人，简直对我们这般离职人员完全不太负责.....居然把在该公司工作的时间，岗位说的是一清二楚啊，我的妈呀.
2016-09-07 18:13:03
400
原创 毕业生自传（冲锋陷阵）
感觉这一天比想象中来的更早，不过我已经做好了充分的准备....不管到来的是狂风还是暴雨，我都会迎难而上...；记得那天的第一场招聘会在中午召开，其实心里话，当时心里挺没底的，毕竟这么多年，真正意义的技术面试，对我而言，经验来的实在太少了，其实当时班上很多同学无论是出身黑教育背景条件，都有算得上极佳德尔，很多来自背景的重点大学应届生，直接就被学院或老师推荐到了各大名企去实习了，虽然工资可能不会太高，
2016-09-05 18:54:20
410
swish 1.52工具 swish 1.52工具 swish 1.52工具
2010-05-13
Flash制作工具 Flash制作工具 动画制作工具 动画制作软件
2010-05-13
RAID模拟器 RAID虚拟机
2010-05-13
bios虚拟机 bios虚拟机 bios学习工具
2010-05-13
一键GHOST硬盘版一键GHOST硬盘版一键GHOST硬盘版
2010-02-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人