问题描述
在解析文件的时候,需要将解析出来的数据字符串拼接成新的字符串。正常来说这个,过程是一个循环,不断拼接字符串。如果这个过程循环的次数不多的话,不同的方式拼接方式差别不大。如果循环次数超过10000次,你会发现明显的慢了。错误初始代码(简化版)如下:
class Processor(object):
def __init__(self):
self.outputStr=""
def __printContent(self):
for key,val in cmds.items():#10000个
self.outputStr=self.outputStr+val+" "*(self.__fieldWidthDict[key]-len(val))+"|"
拼接字符串的解决方式
直接通过(+)操作符拼接
>>> 'Hello' + ' ' + 'World' + '!'
'Hello World!'
使用这种方式进行字符串连接的操作效率低下,因为python中使用 + 拼接两个字符串时会生成一个新的字符串,生成新的字符串就需要重新申请内存,当拼接字符串较多时自然会影响效率。其他语言也是这样的,比如说golang。不要自己管理内存的,就要小心这样的操作
通过str.join()方法拼接
>>> strlist = ['Hello', ' ', 'World', '!']
>>> ''.join(strlist)
'Hello World!'
这种方式一般常使用在将集合转化为字符串,''.join()其中''可以是空字符,也可以是任意其他字符,当是任意其他字符时,集合中字符串会被该字符隔开。
通过str.format()方法拼接
>>> '{} {}!'.format('Hello', 'World')
'Hello World!'
通过这种方式拼接字符串需要注意的是字符串中{}的数量要和format方法参数数量一致,否则会报错。
通过(%)操作符拼接
>>> '%s %s!' % ('Hello', 'World')
'Hello World!'
这种方式与str.format()使用方式基本一致。
通过()多行拼接
>>> (
... 'Hello'
... ' '
... 'World'
... '!'
... )
'Hello World!'
python遇到未闭合的小括号,自动将多行拼接为一行。
通过string模块中的Template对象拼接
>>> from string import Template
>>> s = Template('${s1} ${s2}!')
>>> s.safe_substitute(s1='Hello',s2='World')
'Hello World!'
Template的实现方式是首先通过Template初始化一个字符串。这些字符串中包含了一个个key。通过调用substitute或safe_subsititute,将key值与方法中传递过来的参数对应上,从而实现在指定的位置导入字符串。这种方式的好处是不需要担心参数不一致引发异常,如:
>>> from string import Template
>>> s = Template('${s1} ${s2} ${s3}!')
>>> s.safe_substitute(s1='Hello',s2='World')
'Hello World ${s3}!'
通过F-strings拼接
在python3.6.2版本中,PEP 498 提出一种新型字符串格式化机制,被称为“字符串插值”或者更常见的一种称呼是F-strings,F-strings提供了一种明确且方便的方式将python表达式嵌入到字符串中来进行格式化:
>>> s1 = 'Hello'
>>> s2 = 'World'
>>> f'{s1} {s2}!'
'Hello World!'
在F-strings中我们也可以执行函数:
>>> def power(x):
... return x*x
...
>>> x = 5
>>> f'{x} * {x} = {power(x)}'
'5 * 5 = 25'
而且F-strings的运行速度很快,比%-string和str.format()这两种格式化方法都快得多
性能对比选择结论
字符串序列拼接,不论数据量大小,首选join()函数可读性要好一点;
格式化类处理中,%和format()拼接差别不大,但是format()函数可读性要好一点;
在数据量小于100000,字符串拼接中F-strings性能优于其它拼接方法(前提是Python版本必须大于3.6.2);
数据量少、对程序性能要求不高、程序猿用脑过度时,选用‘+’拼接;
当涉及对字符串格式进行处理时,首选format()函数和F-strings方法。
解决方案
对于这种场景,可以迂回解决,先存在数组中,然后再使用join,代码如下:
class Processor(object):
def __init__(self):
self.outputStr=""
def __printContent(self):
result=[]
for key,val in cmds.items():#10000个
tempStr=" "*(self.__fieldWidthDict[key]-len(val))
result.append(val,tempStr,"|")
self.outputStr=''.join(result)
参考文章