突破大模型极限！GLM-4-long百万长文本模型上线bigmodel.cn

最近业务上多了长文本的需求，因为要在prompt里面塞进比较多的rag内容，以供决策，且这些召回的内容，都有可能用到。这非常考验大模型的长文本能力，技术选型上都要着重考察这部分。

正巧，上次清影试用后，约了跟智谱的哥们吃饭聊天，吐槽说：“超长文本，有可能还要微调，这可咋办啊？”

“你还别说，我还真搞过。”

说完，甩给我一个链接。

“链接对应的地址是bigmodel模型中心的GLM-4-long。支持支持高达1M (约150-200万字) 的上下文长度，大约相当于2本红楼梦或者125篇论文。”

然后跟我说，你先试试，我再跟你讲讲其中的几个技术关键点，说不定能用到你的场景呢。

“你先别吹牛，我用我的究极大模型长文测试方法看看”。

我准备的这个测试要比大海捞针更难。

大海捞针，比较出名了，也是一个被大家已经刷爆了的指标。就是在长文本里按设定的策略，分散插入一些语言片段来推理，考察大模型的能力。

但大海捞针有两个问题：

一、很多测试题目只需要聚焦在一句话上就能得到答案，不需要考虑全部的插入文本。

二、很多题目在训练阶段都见过了，不管你说多长的文本，什么内容，其实也都能答出来。

这也是为啥现在的大海捞针测试，长文本大模型基本都是满分了，这个测试已经没有区分度了。

大家看到也都是上面这张全绿的图，其实我们只要稍微改下。

一、推理需要考虑到每个地方插入的地方，不能遗漏任何一个。

二、是大模型没有学过的信息。

那这个中国队拿了几枚金牌的测试太合适了。

我用红楼梦的原文，把中国队伦敦奥运会拿金牌的信息分散插入，让模型把这些信息找出来，并整理给我。

这就算是个进阶版本的大海捞针测试了。

我试了下市面上的大模型，别说答对了，到1M上下文的都屈指可数。

测试脚本如下：

def read_txt(file_path):
    with open(file_path, 'r', encoding='utf-8') as file:
        content = file.read()
    return content

def write_txt(file_path, content):
    with open(file_path, 'w', encoding='utf-8') as file:
        file.write(content)

def generate_insert_positions(content_length, num_inserts):
    """
    生成插入位置，使得句子均匀分布在文本中。
    """
    step = content_length // (num_inserts + 1)
    positions = [(i + 1) * step for i in range(num_inserts)]
    return positions

def main(file_path, gold_list, silver_list, bronze_list):
    # Read the content of the original file
    original_content = read_txt(file_path)[:1024*(1024-2)]
    
    # Generate the sentence list
    sentences = []
    max_length = max(len(gold_list), len(silver_list), len(bronze_list))
    
    for i in range(max_length):
        if i < len(gold_list):
            sentences.append(f"中国队获得了 金牌 {gold_list[i]} 枚。")
        if i < len(silver_list):
            sentences.append(f"中国队获得了 银牌 {silver_list[i]} 枚。")
        if i < len(bronze_list):
            sentences.append(f"中国队获得了 铜牌 {bronze_list[i]} 枚。")
    
    # Calculate the insert positions
    num_inserts = len(sentences)
    positions = generate_insert_positions(len(original_content), num_inserts)
    
    # Insert sentences into the original content at calculated positions
    updated_content_parts = []
    last_position = 0
    
    for i, pos in enumerate(positions):
        updated_content_parts.append(original_content[last_position:pos])
        updated_content_parts.append("\n" + sentences[i] + "\n")
        last_position = pos
    
    updated_content_parts.append(original_content[last_position:])
    updated_content = "".join(updated_content_parts)
    
    # Write the combined content back to the file
    return updated_content

if __name__ == "__main__":
    file_path = "The_Story_of_the_Stone.txt"  # 文件路径
    gold_list =   [3, 2, 1]        # 金牌数
    silver_list = [2, 8, 9]         # 银牌数
    bronze_list = [7, 10, 13]         # 铜牌数
    prompt = "请你根据如下文本，整理中国队获得的金银铜牌数。格式： {\"金牌数\":[x,x,x,...],\"银牌数\":[x,x,x,...],\"铜牌数\":[x,x,x,...]}[x,x,x,...]中对应的奖牌数，仅以JSON格式输出结果，不需要输出任何解释。下面是文本:\n"
    
    counting = main(file_path, gold_list, silver_list, bronze_list)
    print(len(counting))

    from zhipuai import ZhipuAI

    client = ZhipuAI(api_key="XXX") # 请填写您自己的APIKey
    response = client.chat.completions.create(
        model="glm-4-long",  # 填写需要调用的模型名称
        messages=[
            {
                "role": "user",
                "content": prompt + counting
            }
        ],
    )
      print(response.choices[0].message.content)

红楼梦整本长度为887276个字符，88万汉字，对应的token其实还不够1M，不得不说，GLM-4-long的1M有点恐怖了，吃两本半红楼梦的书，可谓是「一目十K行」了。

那我们用这个脚本就测一下这个GLM4-long，输出结果为：

{"金牌数":[3,2,1],"银牌数":[2,8,9],"铜牌数":[7,10,13]}

完全答对了。

感兴趣的同学可以试试，并且可以拓展下测试的插入颗粒度，长度和对应的效果，画一个对应类似大海捞针的二维可视化效果图。

另外，我准备了一稍微复杂的长文本推理场景，具体任务是输入苹果公司的Q3的财报进行问答。具体的方法为把苹果公司财报pdf使用mathpix转为大模型处理的文本格式，然后设计QA对进行问答。

以这页的信息为例，使用的prompt和得到的答案分别为:

prompt：你是一个专业的财报分析助手，请根据以下财报内容 {finance_content} ，回答问题{question}。请直接说出答案，不需要解释。

问题一：苹果公司2024年Q3的研发成本有多少？

content:xxx
question：苹果公司2024年Q3的研发成本有多少？
answer：80亿美元。

问题二：苹果公司2024年Q3的销售额比2023年Q3的销售额增长多少美元？

content:xxx
question：苹果公司2024年Q3的销售额比2023年Q3的销售额增长多少？
answer：39.8亿美元。

问题三：苹果公司2024年Q3的销售额比2023年Q3的销售额增长多少美元？

content:xxx
question：苹果公司2024年Q3的销售额比2023年Q3的毛利增长百分之多少？
answer：8.97%。

我也就好奇了，效果不错的长文本模型，到底是咋弄出来的呢？

哥们跟我说了四个字，「拾级而上」。

“你在这谜语人呢。”

“我们都知道，rope中的base参数能调整大模型上下文感知的分辨率，很多技术报告里都提到了这个。但具体怎么训练好调整后分辨率的模型，闭口不谈。”

其实只要让大模型一步一步适应不同的上下文长度就可以了，比如先训4096，再训8k，逐步扩展到128k，1M。

当然这个过程里面还有一些细节的技巧，比如长文本要是packing的话，太浪费资源了，怎么提高训练的吞吐量。特别长的指令数据怎么弄。

“怎么弄？”

“第一个，就是你之前bert时候打比赛中常用的，batch sort方法，让一个batch中的样本尽量对齐，这样需要packing的空间就很少了，提高资源利用率。

第二个，用一个小模型，针对不同的片断，做一些指令合成数据合成。然后用来训大模型。

另外，还需要很强的infra大佬做基建的保障，不过你们微调的话，可能这方面也还好。

对了，我刚刚给你说的那些，之前开源的技术报告里都有。你回去对着使劲儿琢磨琢磨吧，就算是垂直模型自己训练的话，问题应该问题不大

我们有个9b版本的权重开源了。”

https://huggingface.co/THUDM/glm-4-9b-chat-1m

智谱果然是国产大模型开源事业的排头兵，如果把国产化大模型看成一个整体的话，开源确实会继续整个群体的智力水平和互相交流不断进步，把整个行业的蛋糕越做越大，最终使整个群体收益。

降低入行的门槛，吸引更多潜在的人才加入这个游戏。

从而提高整个社会的运转效率。这个过程往往没有制造内卷，反而制造了大量全新的工作岗位。

不说了，赶紧去试试哥们传授的大模型长文本实践。