GLM4-Chat-1M（号称可以输入200万字）的长文本测试结果（推理时间，推理效果）

GLM4-Chat-1M（号称可以输入200万字）的长文本测试结果（推理时间，推理效果）

测试方法

使用如下prompt，让模型提取小说（测试数据）中出现的人物名，数字表示用到的内容章节数目：

test_f=['3-这游戏也太真实了.txt','6-这游戏也太真实了.txt','9-这游戏也太真实了.txt','20-这游戏也太真实了.txt','50-这游戏也太真实了.txt','100-这游戏也太真实了.txt']
with open(test_f,'r', encoding='utf-8') as f:
    content=f.read()
query = '列出下面小说中出现过的所有人物名字：\n\n'+content

测试结果

总的来说： vllm框架比普通的generate生成结果更快挺多的，设备受限，目前测试最大的长度为1064549万个字符，大约53万个token，确实是能跑的，大概需要224.252秒，从结果来看是可以接受的。但是模型的输出看起来时好时坏，不稳定。

测试方法	长度(字符个数，不是token)	推理时间
model.generate()	11113	6.598 秒
model.generate()	22402	10.016 秒
model.generate()	31771	12.065 秒
model.generate()	75829	29.91 秒
vllm	11113	3.564 秒
vllm	22402	4.452 秒
vllm	31771	9.565秒
vllm	75829	24.187秒
vllm	179676	20.810秒
vllm	455731	80.355秒
vllm	1064549	224.252秒

model.generate() test_f : 3-这游戏也太真实了.txt

content_length : 11113

小说中出现的人物名字有：

1. 叶炜
2. 少女公敌夜十次（昵称夜十）
3. 光
4. 八级大狂风（管理员）
5. 来日方长（管理员）
6. 白驹过隙（群主）
7. 少女公敌夜十次（管理员）
8. 楚光
9. 小柒（机器人）
10. 戒烟
11. 白驹过隙
12. 来日方长
13. 少女公敌夜十次
14. 叶炜
15. 刘哥
16. 叶炜

model.generate() test_f : 6-这游戏也太真实了.txt

content_length : 22402

根据您提供的小说内容，以下是出现的人物名字：

1. 叶炜
2. 少女公敌夜十次（昵称夜十）
3. 光
4. 八级大狂风（管理员）
5. 来日方长（管理员）
6. 白驹过隙（群主）
7. 戒烟
8. 楚光
9. 小柒（机器人）
10. 老沃特
11. 查理
12. 余小鱼
13. 白驹过隙（昵称老白）
14. 八级大狂风（昵称狂风）
15. 来日方长（昵称方长）
16. 少女公敌夜十次（昵称夜十）
17. 曙光（楚光在游戏中的代号）

以上是小说中出现的主要人物名字。

model.generate() test_f : 9-这游戏也太真实了.txt

content_length : 31771

根据您提供的小说内容，以下是出现的人物名字：

1. 叶炜
2. 少女公敌夜十次（昵称夜十）
3. 光
4. 八级大狂风（管理员）
5. 来日方长（管理员）
6. 白驹过隙（群主）
7. 戒烟
8. 楚光
9. 小柒（机器人）
10. 老沃特
11. 查理
12. 余小鱼
13. 白驹过隙（昵称老白）
14. 八级大狂风（昵称狂风）
15. 来日方长（昵称方长）
16. 少女公敌夜十次（昵称夜十）

以上是小说中出现的人物名字。

model.generate() test_f : 20-这游戏也太真实了.txt

content_length : 75829

根据您提供的小说内容，以下是出现的人物名字：

1. 叶炜
2. 楚光
3. 小柒
4. 白驹过隙
5. 八级大狂风
6. 来日方长
7. 少女公敌夜十次
8. 戒烟
9. 光
10. 沃特
11. 查理
12. 余小鱼
13. 余虎
14. 王德福
15. 李斯特
16. 老白
17. 方长
18. 狂风
19. 夜十
20. 汪海洋
21. 岩风
22. WC真有蚊子

以上是小说中出现的主要人物名字，可能还有其他一些次要人物，但根据您提供的文本内容，以上人物名字是主要的。

vllm test_f : 3-这游戏也太真实了.txt

content_length : 11113

1. 叶炜
2. 小柒
3. 楚光
4. 光
5. 白驹过隙
6. 八级大狂风
7. 来日方长
8. 少女公敌夜十次
9. 戒烟

vllm test_f :6-这游戏也太真实了.txt

content_length : 22402

1. 叶炜
2. 夜十次
3. 光
4. 八级大狂风
5. 来日方长
6. 白驹过隙
7. 戒烟
8. 楚光
9. 小七
10. 老沃特
11. 查理
12. 余小鱼

vllm test_f : 9-这游戏也太真实了.txt

content_length : 31771


在第一章、第二章和第五章中，出现了以下人物名字：

1. 叶炜
2. 光

在第三章中，出现了以下人物名字：

1. 楚光
2. 小柒 (别名废纸篓)
3. 老沃特
4. 查理

在第四章中，出现了以下人物名字：

1. 余小鱼

在第五章中，出现了以下人物名字：

1. 查理
2. 小鸟

在第七章中，出现了以下人物名字：

1. 狂风
2. 方长
3. 夜十

在第八章中，出现了以下人物名字：

1. 狂风
2. 方长
3. 夜十

在第九章中，出现了以下人物名字：

1. 楚光
2. 小柒
3. 方长

以上是所有出现的名字。

vllm test_f : 9-这游戏也太真实了.txt

content_length : 75829

根据您提供的文本，以下列出小说中出现过的所有人物名字：

1. **叶炜**：学生，因一场意外被送到平行世界的废土世界，并成为了避难所的管理者。

2. **楚光**：原本是地球上的一个普通大学生，因为一场意外穿越到了废土世界，成为了避难所的管理者和最终的游戏策划。 

3. **小柒**：一个废纸篓型的机器人，楚光的助手，可以隐藏、移动，还能接收任务。

4. **女公敌夜十次**：游戏的玩家，叶炜在现实世界中的朋友。

5. **光**：叶炜在群里的昵称，是楚光的同班同学，也是穿越到废土世界的人。

6. **八级大狂风**：游戏的玩家，叶炜在群里的朋友，也是楚光的同班同学。

7. **来日方长**：游戏的玩家，叶炜在群里的朋友，同时也是楚光的同班同学。

8. **白驹过隙**：叶炜在群里的朋友，同时也是群主。

9. **戒烟**：叶炜在群里的朋友。

10. **老沃特**：贝特街的幸存者，从事猎杀变异生物的工作。

11. **查理**：贝特街的废品回收站老板。

12. **余小鱼**：余家的女儿。

13. **王德福**：王家的儿子。

14. **余家三儿子**：余虎，是余小鱼的哥哥。

15. **李斯特**：巨石城的商队队长。

16. **WC真有蚊子**：加入游戏的玩家，对木头有深入了解。

17. **夜十/叶十**：游戏中的玩家，是感知系的，基因序列的开发进度一开始是0，但通过砍树逐渐提升。

18. **老白**：游戏中的玩家，被任命为建筑队长，是力量系的。

19. **方长**：游戏中的玩家，是智力系的，主动实现水泥制造，幸福度提升。

20. **狂风**：游戏中的玩家，是力量系的。

**请注意**:以上列表并不包括全文中出现过的所有配角，只列出了主要的角色。

vllm test_f : 50-这游戏也太真实了.txt

content_length : 179676

1. 叶炜（少女公敌夜十次）
2. 来日方长（管理员，群主）
3. 刘正月（幸存者首领）
4. 王德福（王家三子）
5. 余小鱼（王家女儿）
6. 陈扬（艾兵）
7. 夏盐（佣兵，后成为武器商人）

vllm test_f : 100-这游戏也太真实了.txt

content_length : 455731

根据小说内容，以下是小说中出现的人物名字：

1. 叶炜：主角，少女公敌夜十次的网友。
2. 楚光：男主角，404号避难所的管理者和管理者系统的使用者。
3. 少女公敌夜十次：游戏群成员，昵称夜十，游戏群的博士，后成为查理的助理。
4. 八级大狂风：游戏群成员。
5. 来日方长：游戏群成员，后成为群主和创始人。
6. 戒烟：游戏群成员。
7. 白驹过隙：游戏群成员，后成为群主。
8. 楚光、小鱼：余小鱼是拾荒者余家的女儿，向男主角楚光提供食物，并希望他成为余家女婿。
9. 张三：某机构工作人员。
10. 陈扬：夏盐的小队队友，被夜十和方长在北门附近抓捕，后来被 squirtfired 。
11. 刘正月：布朗农庄的居民，后成为商队领袖。
12. 余虎、余熊：余家兄弟，和楚光有不错的交情。
13. 夏盐：巨石城佣兵，后被楚光救下。
14. 海恩：红河镇商人，后被楚光接纳为避难所的商人伙伴。
15. 伦娜：海恩的保镖，后成为避难所的佣兵。
16. 温：海恩的保镖，后成为避难所的佣兵。
17. 西红柿炒蛋：玩家。

以上就是小说中出现的主要人物名字。

vllm test_f : 200-这游戏也太真实了.txt

content_length : 1064549

根据您提供的文本，小说中出现的人物名字如下：

**主要人物：**

* 楚光/曙光：封测服Alpha0.5版本更新公告中称自己喜欢的被称为“管理者”，游戏角色名为“曙光”，拥有管理者权限（疑似AI），被众人称呼为“光哥”、“老细”、“大佬”、“主角博士”、“ knowingly 就像 forecasting “、“通天阁老大"、"策划大大" 等。
* 夏盐：武器店老板娘，拜 Unternehmer a 策划所救救命之恩，决心为他做事。
* 小鱼：NPC，贝特街的幸存者，余虎的妹妹，性格天真可爱，会制作面包、烤肉等食物。
* 卢卡：仓库管理员，曾经是农奴，勤劳善良，被楚光所救。
* 老查理：杂货铺老板，原本是避难所居民，并成为镇长，后被楚光收买。
* 王家哥哥：王彪，王家三兄弟中的哥哥，性格凶残，台账长之子。
* 王家弟弟：王彪，王家三兄弟中的弟弟，性格暴躁，台账长之子。
* 王家老爹：台账长的父亲，据说总害怕战争。
* 王家老妈：台账长的母亲，塔台长的妻子。
* 老沃特：镇长的警卫队长。
* 李斯特：来自红河镇的商人，为楚光带来新式武器，并与他进行贸易。
* 刘正月：布朗农庄的农奴，后被楚光收买。

**其他人物：**

* 余虎：王家三兄弟中的兄长，性格豪爽，平时与楚光关系不错。
* 余熊：王家三兄弟中的哥哥，也是余虎的弟弟，性格坚韧，后被楚光所救。
* 余虎：王家三兄弟中的弟弟，也被楚光所救。
* 赵鼠：在贝特街，在从血手氏族地牢中逃脱后前来投奔楚光。
* 杨二狗：从血手氏族地牢中逃脱后前来投奔楚光。
* 断腿的凯：炒股人员，与桑尼玩耍。
* 狗头军师之比赛：预测天气的人。
* 精灵王富贵：喜欢摆摊卖蘑菇的玩家。
* 伊蕾娜：喜欢和锯千刀玩的玩家。
* 猛人侠：喜欢摆摊的玩家。
* 商人：交易疫苗和烟的男人。
* 兽人：男人。
* 蟹肉：三尺腥重的男人。

**注意事项：**

* 以上名单可能不完整，如有遗漏，欢迎补充。
* 部分人物名字可能存在多种写法，如“殷方”和“殷方”等。
* 部分人物身份可能存在争议，如夏盐的身份和目的等。

**希望以上信息对您有所帮助。如有其他问题，请随时提问。**