- 博客(5)
- 收藏
- 关注
RSS订阅原创 【无标题】
token词表llama3是128k，llama2是32k，增加编码效率（token语义含量）eg:本来是q对应各自的kv，但这里让两个q共用一组kv，把两组kv平均（或者随机取一个）训llama3之前，先用llama2半自动生成一些数据，然后用打分器打分，再训llama3。RL算法提升模型得分：模型生成内容再评分器尽可能高分，但不能太偏离原来的模型。DPO：通过推导把评分器消掉了，正样本高分负样本低分的同时不偏离标准模型太远。依然是transfomer结构，70b最强模型，最大亮点：考虑推理成本。
2024-07-02 19:54:48
143
原创 Python编程从入门到实践_错误记录_day3
Python编程从入门到实践_错误记录_day3外星人只显示一行，不是一群class Alien(Sprite): def __init__(self,ai_settings,screen): """初始化外星人并设置其起始位置""" super(Alien,self).__init__() self.screen=screen self.ai_settings=ai_settings #加载外星人图像 设置rec
2021-04-16 00:57:00
153
原创 Python编程从入门到实践_错误记录_day2
Python编程从入门到实践_错误记录_day2【1】pygame.error: video system not initialized在代码前加入pygame.init()【2】 pygame.display.flip() pygame.error: Display mode not set
2021-04-13 23:51:44
1028
1
原创 Python编程从入门到实践_错误记录_day1
Python编程从入门到实践_错误记录_day1磕磕绊绊查来查去…【1】name ‘question’ is not definedclass annoymoussurvey(): def __init__(self,question): self.question=question self.responses=[] def show_question(self): print(question) def store_respo
2021-04-12 01:37:27
341
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人