有意思科技-CSDN博客

大型语言模型的发展包括预训练、监督微调（SFT）和基于人类反馈的强化学习（RLHF）等主要阶段。过去关于LLM的技术报告很少关注预训练数据的处理。InternLM2详细描述了如何为预训练准备文本、代码和长文本数据。如何有效地延长LLM的上下文长度目前是研究的热点，因为许多下游应用，如检索增强生成（RAG）和代理模型，依赖于长上下文。本次技术报告就详细的阐述关于数据处理，预训练以及微调模型的技术细节

2024-03-30 11:26:23 893

原创 InternLM 全链路开源体系

书生浦语全链路开发体系：从数据到最后的应用，都有相应开源工具，其中模型，和数据集都有很好的开源支持。

2024-03-30 10:45:29 271

原创 STM 32 HAL库内部FLash读写调试的问题

分析：首先确认，先写入其他参数，再写入版本号，读取Flash，版本号完整无误，写入版本号后，再写入其他参数，版本呢号最后几位丢失；所以，怀疑是写其他参数的时候有问题。我的参数写入流程是：先读取Flash中所有参数值到内存，再修改对应位置参数值，再全部写入随后，我将写操作屏蔽，仅在确认了版本号无误后，读取，发现，版本号最后几位丢失，检查读取代码，发现读取时的长度不对，没有将版本号最后几位读取到内存中，导致写入的时候，不是Flash中原来的值。解决：修改读取所有参数时的长度。

2024-03-08 14:46:27 620

原创 STM 32 HAL库 UART 调试的问题

分析： Debug发现，最终没有进入串口中断函数。于是，检查Stm32CubeMX 的工程配置两个串口的全局中断没有使能。解决：勾选上图中红框部分，查看生成的stm32g0xx_it.h ，已经有对应中断函数的定义了还要在stm32g0xx_it.c 中屏蔽生成的中断函数实现，并在自己的代码里实现中断函数。

2024-03-05 13:06:46 433

原创 STM 32 SPI 调试的问题

最终发现，我使用正点原子的 sysytick 延时函数delay_us, 与这里用于计算超时的sysytick有冲突如，具体冲突原因，未知。最后去掉delay_us函数，延时改为使用timer 去做，发现HAL_SPI_Receive能够正常返回。刚开始HAL_SPI_Receive，执行到这句时，一直卡在这里不在往下执行。但是函数能返回，却一直报超时，于是使用逻辑分析仪采集SPI的数据，发现CLK仅有一个脉冲。检查SPI代码，发现SPI使用的是2分频，怀疑是否是波特率过快，导致CLK有问题。

2024-01-25 10:10:30 559

原创 AIGC - 环境搭建

1. 超微7048主板，最多可搭载4块GPU2. 2个Intel的 Xen至强 14核 CPU3. 目前安装了一块Nvidia 的P40 GPU，后续根据需要还最多可以扩展3块GPU4. 4T机械 + 2T Nvme固态，5. 4条64G DDR4内存条，共 196G内存。

2023-12-14 16:53:04 527

原创 IAR - STM32工程，使用代码编译优化带来的风险

由于STM32Flash资源有限，为减少程序大小，使用了Hig等级的编码优化，生成的程序确实减少了4K左右。经过一系列排查，最终发现，是代码编译优化带来的问题，将编译优化等级降低为medium，发现结果正常了。但是在后续的调试时，却发现之前运行的好好的DS1B20温度采集，一直采集不到值，结果一直为0。具体是那一条优化选项出现了问题，还在排查中。原来是能够采集到实时温度数据的。

2023-11-06 09:00:00 326

原创 AIGC - Qwen大模型：Qwen-7B模型推理部署

作为AIGC方面的小白来说，我抱着非常天真的想法，想让它在我的工作笔记本上用i5的CPU去跑，至于为什么这么想，当然是因为我没有GPU，身边也没有其他的带显卡电脑恰好，在腾讯云看到了GN7的显示优惠活动，60块钱15天，Nvidia T4的AI卡，直接斥巨资购买了15天；不过这段时间准备搭一台自己用的服务器，初步计划是可以插4块GPU，内存上到200G，还是用DeepSpeed做下全量训练啥的。

2023-10-31 21:01:48 2667

原创 EasyFlash移植使用- 关于单片机 BootLoader和APP均使用的情况

但是完成移植后，却出现了不可预料的错误，在获取ENV的Flash结尾地址是，一直出错，调试答应出来的结尾地址为0xfffffff00，明显是个不正常的值。目前，我的STM32单片机，需要在BootLoader和APP均移植使用EasyFlash，用于参数管理和IAP升级使用。BootLoader中移植EasyFlash使用旧版本，因为4.0以前版本，Flash占用少，RAM占用多。所以将BootLoader和APP保持相同的版本，BootLoader跳转到APP就正常了，一切都很美好的执行了下去。

2023-10-30 19:58:50 603

原创 EasyFlash移植关于RAM和Flash占用

因为需要升级和存取参数到片内Flash中，将EasyFlashy 4.0版本移植到STM32F103的裸机程序中，但我的RAM只有20K，Flash也只有64K，最后编译出来的代码有30K左右，没法做APP 备份了。于是着手检查，哪里占用了如此多的Flash，最终发现EasyFlash的ef_env.c 居然占用了8k左右的Flash，我顿时惊了，我一共才那么点Flash。但同时它也提供旧版本的适配，即ef_env_legacy.c ，和 ef_env_legacy_wl.c(启用磨损平衡）

2023-10-27 13:32:17 296

原创 IAR - STM32工程，生成的可执行文件的疑惑

工程的配置中，link生成的是.out文件，但是其大小太大了，总共我的flash才64k，但文件大小有300多k，但在IAR能烧录成功，并成功跑起来，一切正常，有点搞不懂了，然后仔细研究了下。后来发现，是由于.out文件其中包含了debug的信息，所以非常大，最初IAR生成的文件应该是.sim格式的文件。还有在生成目录，有一个hex文件，其大小也比较大，最后在输出文件转换目录中，将其最后转换为bin文件，大小与.sim保持一致。修改之后，生成的文件如下。

2023-10-24 17:13:13 579

原创 AIGC - 大模型训练（一）- en_to_zh：基于原生transformer训练英译中模型

基于原生transformer实现，在一块T4 GPU上训练，预计时间是5天完成10个epoch的训练一. 模型原理架构此模型的实现，主要基于pytorch实现的原生transformer，使用AI Challenger Translation 2017数据集中的train.en和train.zh 来训练。

2023-10-21 23:29:43 278

原创 AIGC - ChatGLM大模型：ChatGLM2-6B模型推理部署

作为AIGC方面的小白来说，我抱着非常天真的想法，想让它在我的工作笔记本上用i5的CPU去跑，至于为什么这么想，当然是因为我没有GPU，身边也没有其他的带显卡电脑恰好，在腾讯云看到了GN7的显示优惠活动，60块钱15天，Nvidia T4的AI卡，直接斥巨资购买了15天并且为了方便访问模型资源，我这里选择了新加坡的节点。

2023-10-09 10:56:50 540

原创 AIGC - 大模型：InternLM 模型部署

作为AIGC方面的小白来说，我抱着非常天真的想法，想让它在我的工作笔记本上用i5的CPU去跑，至于为什么这么想，当然是因为我没有GPU，身边也没有其他的带显卡电脑恰好，在腾讯云看到了GN7的显示优惠活动，60块钱15天，Nvidia T4的AI卡，直接斥巨资购买了15天并且为了方便访问模型资源，我这里选择了新加坡的节点。

2023-09-28 15:08:37 494

原创一个小白如何学习AIGC，并产出自己的应用

去年的Chat GPT着实掀起了通用模型人工智能的浪潮，以至于今天国内无数厂商跟进，各种大模型开始疯狂内卷，虽然技术还有各种的缺陷，但是从第一性原理出发去看待这个事情，最终无论AIGC以何种形势发展，但是最终能更好的提高人的工作，生产效率的东西，一定是最终的方向。这一切的一切，让一名不太优秀的嵌入式工程师，萌生了踏入AIGC领域的想法。第一步计划，熟悉所有目前的开源模型，DEMO跑通。废话不多说，在写这篇博客的时候，其实已经开干了。人如果没有梦想，和咸鱼有什么区别呢。

2023-09-27 23:36:27 250