大模型的token与权重解决不了价值性问题

所有的大模型都是由Token组成的，但Token本身并不能直接解决价值问题，虽然可以通过多种方式为价值的创造和传递提供支持和解决方案，依然存在不少基因性的缺陷。

一、Token 的局限性

1、语义理解的局限：Token 是大模型处理文本的基本单位，但其本身并不直接蕴含价值判断。例如，“钱”这个 token 在不同的语境中可能代表财富、诱惑或目标等不同的含义，模型仅凭 token 无法判断其具体的价值指向。

2、文化和社会背景的缺失：Token 的含义受到文化、社会背景等因素的影响，而这些因素在模型中难以完全体现。比如，在一些文化中，“孝顺”被视为重要的价值观，但在另一些文化中可能并非如此，模型无法仅通过 token 来理解这种差异。

3、无法处理模糊和抽象的价值概念：一些价值概念如“公平”“正义”等具有模糊性和抽象性，难以用具体的 token 来准确表达。模型在处理这些概念时容易出现偏差，无法准确把握其价值内涵。

二、权重的局限性

1、无法直接反映价值偏好：权重主要用于调整模型中不同参数的重要性，以优化模型的性能。然而，权重本身并不直接对应于特定的价值观或价值偏好。例如，在一个文本生成任务中，模型可能会根据权重生成更流畅或更符合语法的文本，但这并不意味着生成的文本具有更高的价值。

2、难以处理价值冲突：在现实生活中，不同的价值观之间可能存在冲突，如个人利益与社会利益、短期利益与长期利益等。模型的权重调整无法直接解决这些价值冲突，因为权重的设置通常基于数据和任务目标，而不是基于价值判断。

3、缺乏对价值变化的适应性：随着社会的发展和人们价值观的变化，模型的权重需要不断调整以适应新的价值需求。然而，这种调整往往需要大量的数据和计算资源，且难以保证调整后的权重能够准确反映新的价值观。

三、解决价值性问题的其他方法

1）价值对齐：通过将模型的行为与人类的价值观进行对齐，使模型能够更好地理解和尊重人类的价值判断。例如，北邮人机交互与认知工程实验室提出的“人机环境系统智能”思路，从交叉学科角度切入，将人、机器（AI各种模型、硬件）与人类学、社会学、伦理学等领域中所奠定的人类内在价值维度进行对齐。

2）人类反馈：利用人类的反馈来指导模型的训练和优化，使模型能够更好地满足人类的价值需求。例如，基于人类反馈的强化学习方法，通过人类对模型输出的评价来调整模型的策略，从而提高模型的价值相关性。

3）多模态融合：结合文本、图像、音频等多种模态的信息，使模型能够更全面地理解和判断价值。例如，在处理一个新闻事件时，模型可以通过分析文本内容、图像场景和音频情感等多模态信息，更准确地判断事件的价值和意义。

综上所述，大模型的 token 和权重在解决价值性问题上存在较大的局限性，需要结合其他方法（如人机环境系统智能）来更好地处理价值相关的问题，进而实现人类价值的创造、传递、衡量。