Python语言之Len（）函数底层原理实现探究

原创 于 2025-12-17 22:36:53 发布 · 452 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #开发语言

len() 函数的底层原理并不是简单计数，而是通过不同对象的 __len__() 方法来实现的。
对于不同的数据类型，底层实现机制完全不同。

1. len() 的通用原理

# len() 实际调用的是对象的 __len__() 方法
s = "hello"
print(len(s))  # 等价于 s.__len__()

lst = [1, 2, 3]
print(len(lst))  # 等价于 lst.__len__()

# 验证
print(len("hello") == "hello".__len__())  # True

2. 字符串字数的底层原理

# Python 3 字符串：Unicode 码点序列
text = "Hello 你好 🎉"
print(len(text))  # 10

# 底层实现（概念性）
class PyUnicodeObject:
    """Python 字符串对象的简化表示"""
    def __init__(self, value):
        self.length = self._count_code_points(value)
        self.data = value
    
    def _count_code_points(self, s):
        """计算 Unicode 码点数量"""
        count = 0
        for ch in s:
            count += 1
        return count
    
    def __len__(self):
        return self.length

# 实际在 CPython 中的实现
"""
typedef struct {
    PyObject_HEAD
    Py_ssize_t length;          // 字符串长度（码点数量）
    Py_hash_t hash;             // 哈希值
    struct {
        unsigned int interned:2;
        unsigned int kind:3;    // 存储类型（1字节/2字节/4字节）
        unsigned int compact:1;
        unsigned int ascii:1;
        unsigned int ready:1;
    } state;
    wchar_t *wstr;              // 宽字符指针
} PyUnicodeObject;

Py_ssize_t PyUnicode_GetLength(PyObject *unicode) {
    return ((PyUnicodeObject*)unicode)->length;
}
"""

不同类型字符的统计

# Python 3 统计的是 Unicode 码点，不是字节
s1 = "a"     # 1个字符，1个码点
s2 = "好"    # 1个字符，1个码点  
s3 = "🎉"    # 1个字符，1个码点（但占用2个UTF-16代码单元）
s4 = "🇨🇳"   # 1个字符（但由多个码点组成）
s5 = "café"  # 4个字符，"é"是一个码点

print(len(s1), len(s2), len(s3), len(s5))  # 1 1 1 4

# 注意：组合字符的情况
s6 = "caf\u0065\u0301"  # "cafe" + 重音符号
print(s6)          # "café"（显示为一个字符）
print(len(s6))     # 5（实际上是5个码点）
print(list(s6))    # ['c', 'a', 'f', 'e', '\u0301']

3. 文本行数的底层原理

对于字符串中的行数

# 统计字符串中的行数
text = "line1\nline2\nline3"
lines = text.splitlines()  # ['line1', 'line2', 'line3']
line_count = len(lines)    # 3

# 底层：splitlines() 识别多种换行符
print("A\nB\r\nC\rD".splitlines())  # ['A', 'B', 'C', 'D']

对于文件的行数

# 方法1：使用 readlines()
with open('file.txt', 'r') as f:
    lines = f.readlines()  # 读取所有行到列表
    line_count = len(lines)  # 调用列表的 __len__()

# 底层：readlines() 内部实现（简化版）
class TextIOWrapper:
    def readlines(self, hint=-1):
        lines = []
        while True:
            line = self.readline()
            if not line:
                break
            lines.append(line)
        return lines

高效统计大文件行数

# 方法2：逐行计数（内存友好）
def count_lines(filename):
    count = 0
    with open(filename, 'r', buffering=1024*1024) as f:  # 1MB缓冲
        # 使用迭代器，不存储所有行
        for _ in f:
            count += 1
    return count

# 方法3：使用缓冲区（最快的方法之一）
def fast_line_count(filename):
    """最快的行数统计方法之一"""
    count = 0
    buffer_size = 1024 * 1024  # 1MB
    
    with open(filename, 'rb') as f:  # 二进制模式更快
        buffer = f.read(buffer_size)
        while buffer:
            count += buffer.count(b'\n')  # 统计换行符
            buffer = f.read(buffer_size)
    
    return count

# 测试性能
import timeit
filename = 'large_file.txt'

print("方法1时间:", timeit.timeit(lambda: len(open(filename).readlines()), number=10))
print("方法2时间:", timeit.timeit(lambda: sum(1 for _ in open(filename)), number=10))
print("方法3时间:", timeit.timeit(lambda: fast_line_count(filename), number=10))

4. 不同数据类型的 __len__() 实现

# 1. 列表：记录元素个数
class List:
    def __init__(self):
        self.ob_item = []  # 元素数组
        self.allocated = 0  # 已分配空间
        self.size = 0       # 实际元素数量
    
    def append(self, item):
        # 添加元素逻辑...
        self.size += 1
    
    def __len__(self):
        return self.size  # 直接返回计数器

# 2. 字典：存储键值对数量
class Dict:
    def __init__(self):
        self.ma_used = 0  # 已使用的条目数
        # ... 其他字典结构
    
    def __len__(self):
        return self.ma_used

# 3. 集合：类似字典
class Set:
    def __len__(self):
        return self.used_count

5. Python 源码中的实际实现

/* CPython 中 len() 的实际实现 (Objects/abstract.c) */
static PyObject *
builtin_len(PyObject *module, PyObject *obj)
{
    Py_ssize_t res;
    
    res = PyObject_Size(obj);  // 获取对象大小
    if (res < 0) {
        if (PyErr_Occurred()) {
            return NULL;  // 出错
        }
        /* 如果对象没有 __len__，抛出 TypeError */
        PyErr_SetString(PyExc_TypeError,
                        "object of type '%.200s' has no len()",
                        Py_TYPE(obj)->tp_name);
        return NULL;
    }
    return PyLong_FromSsize_t(res);  // 转换为 Python 整数
}

/* PyObject_Size 的实现 */
Py_ssize_t
PyObject_Size(PyObject *o)
{
    PySequenceMethods *m;
    
    if (o == NULL) {
        return -1;
    }
    
    m = Py_TYPE(o)->tp_as_sequence;
    if (m && m->sq_length) {
        return m->sq_length(o);  // 调用序列的 sq_length
    }
    
    // 尝试调用对象的 __len__ 方法
    return PyObject_Length(o);
}

6. 自定义类的 __len__() 实现

class TextDocument:
    """自定义文本文档类"""
    def __init__(self, content):
        self.content = content
        self._line_count = None
        self._char_count = None
    
    def _count_chars(self):
        """统计字符数"""
        count = 0
        for char in self.content:
            count += 1
        self._char_count = count
        return count
    
    def _count_lines(self):
        """统计行数"""
        if not self.content:
            self._line_count = 0
        else:
            # 统计换行符，考虑最后一行可能没有换行符
            self._line_count = self.content.count('\n')
            if not self.content.endswith('\n'):
                self._line_count += 1
        return self._line_count
    
    def __len__(self):
        """返回字符数（类似字符串）"""
        if self._char_count is None:
            self._count_chars()
        return self._char_count
    
    def line_count(self):
        """返回行数"""
        if self._line_count is None:
            self._count_lines()
        return self._line_count
    
    def word_count(self):
        """统计单词数"""
        import re
        words = re.findall(r'\b\w+\b', self.content)
        return len(words)

# 使用示例
doc = TextDocument("Hello world!\nThis is a test.\nPython is awesome.")
print(f"字符数: {len(doc)}")       # 调用 __len__()，返回 55
print(f"行数: {doc.line_count()}")  # 3
print(f"单词数: {doc.word_count()}") # 9

7. 性能对比和注意事项

import sys

# 1. 不同字符串长度的内存占用
short = "a"
long_str = "a" * 1000

print(f"短字符串长度: {len(short)}")  # 1
print(f"长字符串长度: {len(long_str)}")  # 1000
print(f"短字符串内存: {sys.getsizeof(short)} 字节")  # ~50字节
print(f"长字符串内存: {sys.getsizeof(long_str)} 字节")  # ~1049字节

# 2. 大数据量的性能考虑
class LazyTextAnalyzer:
    """惰性计算的文本分析器"""
    def __init__(self, filename):
        self.filename = filename
        self._line_count = None
        self._char_count = None
    
    @property
    def line_count(self):
        if self._line_count is None:
            # 惰性计算
            self._line_count = self._calculate_line_count()
        return self._line_count
    
    def _calculate_line_count(self):
        count = 0
        with open(self.filename, 'r') as f:
            for _ in f:
                count += 1
        return count
    
    @property  
    def char_count(self):
        if self._char_count is None:
            self._char_count = self._calculate_char_count()
        return self._char_count
    
    def _calculate_char_count(self):
        total = 0
        with open(self.filename, 'r') as f:
            for line in f:
                total += len(line)
        return total

# 使用惰性计算
analyzer = LazyTextAnalyzer('large_file.txt')
print(f"行数: {analyzer.line_count}")  # 第一次调用时才计算
print(f"字符数: {analyzer.char_count}") # 第一次调用时才计算

敲黑板！！@！！！（十一剑的CS_DN博客）

len() 的底层原理：

  1. 通用机制：调用对象的 __len__() 方法
  2. 时间复杂度：通常是 O(1)，因为长度被缓存
  3. 数据类型差异：
    • 字符串：统计 Unicode 码点数量
    • 列表/元组：返回元素个数
    • 字典/集合：返回键值对数量
    • 文件行数：实际是列表长度或计数循环

文本行数的真相：

  • 并没有直接 len(文件) 的方法
  • 需要先将文件内容转换为列表（如 readlines()）或迭代计数
  • 对于大文件，推荐使用迭代器方式避免内存问题

字符串字数的真相：

  • 统计的是 Unicode 码点，不是字节
  • 对于组合字符、表情符号等特殊字符需要特别注意
  • 如果需要字节数，使用 len(s.encode('utf-8'))
Python 领域 vllm 跨语言处理能力探究
Python编程之道的博客
07-05 416
本文旨在全面解析vLLM框架在Python环境下实现跨语言处理的技术原理和实践方法。我们将重点关注vLLM如何支持多种语言的并行处理，以及它在不同语言任务中的表现和优化策略。本文将从vLLM的基本概念入手，逐步深入到其跨语言处理的实现原理，最后通过实际案例展示其应用。我们将涵盖理论分析、算法实现和性能优化等多个维度。vLLM：一种基于向量化计算优化的大型语言模型推理框架跨语言处理：模型能够理解和生成多种语言的能力注意力机制：Transformer架构中的核心组件，用于捕捉序列中的长距离依赖关系。
python list 实现原理,彻底理解Python list切片原理
weixin_39710295的博客
03-25 180
关于list的insert函数list#insert(ind,value)在ind元素前面插入value首先对ind进行预处理：如果ind<0，则ind+=len(a)，这样一来ind就变成了正数下标预处理之后，当ind<0时，ind=0，相当于头部插入当ind>len(a)时，ind=len(a)，相当于尾部插入切片实例Python中的列表切片非常灵活，要根据表象来分析它的内在...
Python3.9的69个内置函数(内建函数)介绍,并附简单明了的示例代码
昊虹AI笔记
06-27 1685
Python 解释器内置(内建)了很多函数，这篇博文对它们进行逐一介绍，博主觉得有必要给出示例代码的会给出示例代码。声明：博主(昊虹图像算法)写这篇博文时，用的Python的版本号为3.9.10。官方文档：https://docs.python.org/zh-cn/3.9/library/functions.html#built-in-functions说明：官方文档里列出了14*5-1=59个内置函数，但博主认为classmethod、staticmethod、property这三个更像是定义类的三个关键
Python turtle库实现基本剖析
1_bit 的博客
05-23 5137
有关turtle的相关使用请参考《python图形绘制库turtle中文开发文档及示例大全》 本篇文为turtle库的实现剖析，但不涉及 python 的 TK库。 开始 入口探寻 在turtle中，直走是使用 forward 或者 fd 函数；在本机安装好了 turtle 库后，在以下的目录下找到了 turtle.py 文件： 我们打开 turtle 文件，按照一般形式的函数定义，查询 forward 函数的定义： 从注释中了解到，调用函数可以使用 forward | fd ，参数为传入一个距离；具体
Python编程语言体现出的设计模式
weixin_41099712的博客
04-05 413
我学过多门编程语言，却变得越来越迷惑。我们知道C语言，每个变量都需要声明变量类型，在函数调用的时候也必须保证参数类型一致。而python 的变量不需要声明类型，且甚至不许要提前声明，python极大的降低了程序开发的门槛（牺牲性能换来的）。本文借由第一个问题探究python语言设计的底层实现，借由第二个问题探究python语言设计时的高层设计模式思想。
【Python报错已解决】 TypeError: object of type ‘generator‘ has no len ()
鸽芷咕的博客
10-28 1376
在Python开发的复杂世界中，报错信息就像神秘的谜题，困扰着开发者和环境配置者。其中，TypeError: object of type 'generator' has no len()这个报错，常常在不经意间打乱我们的开发节奏。无论是处理大型数据集、实现复杂算法，还是构建高效的网络应用，这个报错都可能突然出现，让程序戛然而止。那么，这个报错到底是怎么产生的呢？又有哪些巧妙的方法可以让我们顺利解决它呢？让我们一起深入探究这个报错问题，为Python开发之路扫除障碍。
Python入门基础教程（非常详细）
2401_85855266的博客
07-12 865
当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。16.在子类中，Python到底是如何找到父类的属性和方法的？精益求精，处处斟酌；
89、Python模块导入与重载的深入探究
xray4的博客
07-05 70
本文深入探讨了Python中模块的导入与重载机制，包括使用importlib.import_module进行模块导入的新方法、模块传递式重载的问题及解决方案，并通过编写递归式模块重载器实现自动重载整个模块依赖链。同时介绍了不同重载方式的实现原理、测试方法、性能比较以及在实际项目中的应用场景，帮助开发者更高效地进行模块管理与调试。
2024最新版Python视频教程木棉
niwoxiangyu的博客
10-17 694
002-初识python-python介绍。005-初识python-mac软件安装。055-组合数据类型-列表的常用操作。057-组合数据类型-列表的常用方法。059-组合数据类型-元组的常用操作。003-初识python-软件安装。013-初识python-知识总结。012-初识python-流程图。014-初识python-练习题。054-组合数据类型-列表的创建。056-组合数据类型-列表的遍历。058-组合数据类型-元组的创建。060-组合数据类型-元组的遍历。
Python内置模块源码探究：深入理解builtins的实现原理
[Python内置模块源码探究：深入理解builtins的实现原理](https://d2vlcm61l7u1fs.cloudfront.net/media/03f/03f8445b-e4d3-4d82-8362-04795b0a417b/php7KkO1E.png) # 1. Python内置模块概述 Python作为一种高级编程...
Python代码精进：双指数函数的高效实现与调优技巧
接着，重点探讨了如何在Python中高效实现双指数函数，包括理论基础、代码实现、并行计算以及向量化操作。第三章深入讲解了编码和算法层面上的调优技巧，以及如何借助现代硬件加速与云计算资源来提升性能。最后，本文...
Python位操作探秘：揭示高效数据处理的底层原理
[Python位操作探秘：揭示高效数据处理的底层原理](https://blog.finxter.com/wp-content/uploads/2021/07/bitwise_shift-1024x576.jpg) # 1. 位操作基础与Python中的应用 位操作是计算机科学中的基石，涉及处理和...
卷积神经网络的Python实现,python卷积神经网络训练
m0_54846070的博客
08-27 799
对于想要自学Python的小伙伴，这里整理了一份系统全面的学习路线，按照这份大纲来安排学习可以少走弯路，事半功倍。第一阶段：专业核心基础阶段目标：1.熟练掌握Python的开发环境与编程核心知识2.熟练运用Python面向对象知识进行程序开发3.对Python的核心库和组件有深入理解4.熟练应用SQL语句进行数据库常用操作5.熟练运用Linux操作系统命令及环境配置6.熟练使用MySQL，掌握数据库高级操作7.能综合运用所学知识完成项目知识点：Python编程基础、Python面向对象、Python高级进阶
javascript 性能优化实战：异步和延迟加载
小伙伴们全都Lucky！
12-11 978
本文探讨JavaScript性能优化中的异步加载与延迟加载技术。异步加载通过async/defer属性或动态创建script元素避免阻塞渲染；延迟加载则利用IntersectionObserver API按需加载非关键资源。二者结合可显著提升性能：异步加载核心脚本确保交互流畅，延迟加载减少初始请求量。实践表明，该方案能降低DOMContentLoaded时间30%以上，减少初始加载量90%，但需注意async脚本的执行顺序问题和延迟加载的回退处理。文中提供了完整的代码实现示例。
df赋值和.copy的区别（SettingWithCopyWarning）
ranchor666的博客
12-10 773
copy()
[Python实战] 解决Outlook同步中的字符编码问题：表情符号也能正确处理了！
最新发布
每日出拳老爷子的博客
12-16 155
摘要：本文分享了在使用Python同步Outlook会议信息时遇到的GBK编码问题解决方案。当处理包含表情符号（如📧）的会议内容时，Flask返回JSON会报"'gbk' codec can't encode"错误。作者通过封装ensure_utf8函数对文本进行UTF-8编码处理，同时建议设置Flask响应头编码为UTF-8和调整控制台输出编码，有效解决了特殊字符导致的编码异常问题。文章提供了从问题分析到完整解决方案的实践过程，适用于处理Python中的Unicode编码问题。
《Python实战小课：爬虫工具场景——开启数据抓取之旅》导读
2501_93253814的博客
12-15 1198
本文介绍了Python爬虫技术在三大场景中的应用：行业资讯爬取、学术文献摘要获取和电商评价收集。针对行业资讯，详细解析了从网页请求到数据存储的全流程；在学术文献方面，重点阐述了如何构建搜索请求和提取关键信息；对于电商评价，则说明了数据定位和清洗方法。文章还探讨了爬虫优化策略及反爬机制应对方案，为数据获取工作提供了实用指南。通过系统学习这些技术，读者可以提升数据采集能力，为商业决策、学术研究和市场分析提供有力支持。
Python 语言编码规范
托塔天王的博客
12-11 997
通常， 不应该描述”怎么做”， 除非是一些复杂的算法，文档字符串应该提供足够的信息， 当别人编写代码调用该函数时，他不需要看一行代码，只要看文档字符串就可以了，对于复杂的代码，在代码旁边加注释会比使用文档字符串更有意义。但是，不要使用一个以上的空格，并且在二元运算符的两边使用相同数量的空格。当捕获异常时， 使用as而不要用逗号。3、 关于函数的几个方面应该在特定的小节中进行描述记录， 这几个方面如下文所述，每节应该以一个标题行开始，标题行以冒号结尾，除标题行外， 节的其他内容应被缩进2个空格。
Windows11系统安装Isaac Sim和Isaac Lab记录
weixin_65198494的博客
12-13 441
本文介绍了在Windows 11系统上安装IsaacSim和IsaacLab的完整流程。硬件配置为RTX4060显卡、32GB内存，软件环境包括NVIDIA驱动591.44、CUDA12.8、PyTorch2.7.0和Python3.11。安装IsaacSim5.1的主要步骤包括：更新GPU驱动、安装CUDA、创建conda虚拟环境、开启长路径支持、更新pip后安装IsaacSim pip包。IsaacLab安装则需要克隆GitHub仓库，通过安装脚本完成。最后通过运行验证脚本确认安装成功。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

十一剑的CS_DN博客

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值