开发
lcomecon
这个作者很懒,什么都没留下…
展开
-
动态学习函数和优化器保存方式
保存类或者模型时,个人比较懒,不太喜欢那种save model.state_dict, load_state_dict 的方式,尤其对于后续不太会修改的类和模型时,就喜欢野蛮粗暴的torch.save(model or class, fw), torch.load(model or class),现在需要在保存模型的时候,把step,优化器状态和学习率的状态都保存下来,代码如下: if args.local_rank == args.calc_rank: ### 测试是否可以保存原创 2022-04-26 20:29:31 · 263 阅读 · 0 评论 -
etree获取html中相关数据
这段时间做了一些通过网络搜索获取相关信息的事情,实质就是通过搜索词语、短语,获得包含这些词语短语的句子,将句子用于模型的增量学习;目前使用的搜索网页是bing(因为百度搜索结果很多是百家号,然后程序访问百家号网页会要求人工验证),搜索出来的网页使用etree进行构建,并搜索;目前获取到的用法有: 1. 构建etree from lxml import etree page = etree.HTML(text) text: 也可以为其中的某个元素对应的str,并不一定完整需要html 2. 查找数据 #原创 2022-01-11 19:41:30 · 2731 阅读 · 0 评论