【利用Python进行数据分析】3-Python的数据结构、函数和文件

一、数据结构和序列

1.1、元组

1.1.1、定义元组

元组是一个固定长度，不可改变的Python序列对象，创建元组的最简单方式，是用逗号分隔一列值。当用复杂的表达式定义元组，最好将值放到圆括号内。

tup1 = 1,2,3 #(1,2,3)
tup2 = (1,2),(3,4,5),(6,7,8,9,10) #((1,2),(3,4,5),(6,7,8,9,10))

用tuple可以将任意序列或迭代器转换成元组，可以用方括号访问元组中的元素。序列是从0开始的。

tuple([1,2,3])
tuple('python') #('p','y','t','h','o','n')

元组中存储的对象可能是可变对象。一旦创建了元组，元组中的对象就不能修改了。
如果元组中的某个对象是可变的，比如列表，可以在原位进行修改。

tup = tuple(['foo', [1, 2], True])
tup[1] = [1,2,3] ######error!!
tup[1].append(3) #('foo', [1, 2,3], True)

可以用加号运算符将元组串联起来，元组乘以一个整数，像列表一样，会将几个元组的复制串联起来。对象本身并没有被复制，只是引用了它。

(4, None, 'foo') + (6, 0) + ('bar',) #(4, None, 'foo',6,0,'bar')
(4, None, 'foo') + (6, 0) + ('bar') ####error!!!! 
(4, None)*2 #(4, None,4, None)

1.1.2、拆分元组

如果你想将元组赋值给类似元组的变量，Python会试图拆分等号右边的值：

tup = 4, 5, (6, 7)
a,b,(c,d) = tup
c #6

#允许从元组的开头“摘取”几个元素。它使用了特殊的语法*rest，这也用在函数签名中以抓取任意长度列表的位置参数
values = 1, 2, 3, 4, 5
a1, b1, *rest = values
a1,b1 #(1,2) 类型tuple
rest #[3,4,5],!!!!!!类型是list
#rest的部分是想要舍弃的部分，rest的名字不重要。作为惯用写法，许多Python程序员会将不需要的变量使用下划线
a1, b2, *_ = values

变量拆分常用来迭代元组或列表序列.

1.1.3、tuple方法

因为元组的大小和内容不能修改，它的实例方法都很轻量。其中一个很有用的就是count（也适用于列表），它可以统计某个值得出现频率：

a = (1, 2, 2, 2, 3, 4, 2)
a.count(2) # 4

1.2、列表

1.2.1、定义列表

与元组对比，列表的长度可变、内容可以被修改。你可以用方括号定义，或用list函数：

a_list = [2, 3, 7, None]
tup = ('foo', 'bar', 'baz')
b_list = list(tup)
b_list[1] #3
b_list[2] = 'change_value1' #b_list = ['foo', 'bar', 'change_value1']

列表和元组的语义接近，在许多函数中可以交叉使用。
list函数常用来在数据处理中实体化迭代器或生成器：

gen = range(10)
gen #range(0, 10)
list(gen) # [0, 1, 2, 3, 4, 5, 6, 7, 8, 9]

1.2.2、添加和删除元素

可以用append在列表末尾添加元素，
insert可以在特定的位置插入元素,
insert的逆运算是pop，它移除并返回指定位置的元素.
用remove去除某个值，remove会先寻找第一个值并除去,
用in可以检查列表是否包含某个值,否定in可以再加一个not：
如果不考虑性能，使用append和remove，可以把Python的列表当做完美的“多重集”数据结构.

b_list.append('dwarf') #['foo', 'bar', 'change_value1','dwarf']
#插入的序号必须在0和列表长度之间。
b_list.insert(1, 'red') #['foo', 'red','bar', 'change_value1','dwarf']
b_list.pop(2) #返回值：'bar'，b_list = ['foo', 'red', 'change_value1','dwarf']
b_list.append('foo')
b_list #['foo', 'red','bar', 'change_value1','dwarf','foo']
b_list.remove('foo')
b_list  #['red','bar', 'change_value1','dwarf','foo']
'dwarf' in b_list #返回True

与append相比，insert耗费的计算量大，因为对后续元素的引用必须在内部迁移，以便为新元素提供空间。如果要在序列的头部和尾部插入元素，你可能需要使用collections.deque，一个双尾部队列

1.2.3、串联和组合列表

与元组类似，可以用加号将两个列表串联起来；
如果已经定义了一个列表，用extend方法可以追加多个元素；

[4, None, 'foo'] + [7, 8, (2, 3)] #[4, None, 'foo',7, 8, (2, 3)]
x = [4, None, 'foo']
x.extend([7, 8, (2, 3)])
x #[4, None, 'foo', 7, 8, (2, 3)]

通过加法将列表串联的计算量较大，因为要新建一个列表，并且要复制对象。用extend追加元素，尤其是到一个大列表中，更为可取。

#extend 追加元素优于 + 追加元素，更快
everything = []
for chunk in list_of_lists:
    everything.extend(chunk)

#备选
everything = []
for chunk in list_of_lists:
    everything += chunk

1.2.4、排序 lst.sort()

用sort函数将一个列表原地排序（不创建新的对象）；
sort有一些选项，二级排序key，可以用这个key进行排序。例如，我们可以按长度对字符串进行排序：

b = ['saw', 'small', 'He', 'foxes', 'six']
b.sort(key=len)
b #['He', 'saw', 'six', 'small', 'foxes']

1.2.5、二分搜索和维护已排序的列表 import bisect

bisect模块支持二分查找，和向已排序的列表插入值。bisect.bisect可以找到插入值后仍保证排序的位置，bisect.insort是向这个位置插入值：

import bisect
c = [1, 2, 2, 2, 3, 4, 7]
bisect.bisect(c, 2) #4,找到数值2的索引位置
bisect.bisect(c, 5) #6,找到数值5的索引位置

 bisect.insort(c, 6) #将6插入c
 c #[1, 2, 2, 2, 3, 4, 6, 7]

注意：bisect模块不会检查列表是否已排好序，进行检查的话会耗费大量计算。因此，对未排序的列表使用bisect不会产生错误，但结果不一定正确。

1.2.6、切片

用切边可以选取大多数序列类型的一部分，切片的基本形式是在方括号中使用start:stop。
切片的起始元素是包括的，不包含结束元素。因此，结果中包含的元素个数是stop - start
start或stop都可以被省略，省略之后，分别默认序列的开头和结尾；
负数表明从后向前切片；

seq = [7, 2, 3, 7, 5, 6, 0, 1]
seq[1:5]
#切片也可以被序列赋值
seq[3:4] = [6, 3] #[7, 2, 3, 6, 3, 5, 6, 0, 1]
seq[-4:] #[5, 6, 0, 1]
seq[-6:-2] #[6, 3, 5, 6]
#在第二个冒号后面使用step，可以隔一个取一个元素
#用-1，它可以将列表或元组颠倒过来
seq[::-1] #[1, 0, 6, 5, 3, 6, 3, 2, 7]

1.2.7、序列函数 enumerate函数

Python有一些有用的序列函数。

enumerate函数

迭代一个序列时，跟踪当前项的序号。enumerate函数，可以返回(i, value)元组序列。

some_list = ['foo', 'bar', 'baz']
mapping ={}
for i, v in enumerate(some_list):
	mapping[v] = i
mapping #{'bar': 1, 'baz': 2, 'foo': 0}

1.2.8、sorted函数

sorted函数可以从任意序列的元素返回一个新的排好序的列表：

 sorted([7, 1, 2, 6, 0, 3, 2]) #[0, 1, 2, 2, 3, 6, 7]
 sorted('horse race') #[' ', 'a', 'c', 'e', 'e', 'h', 'o', 'r', 'r', 's']

1.2.9、zip函数

zip可以将多个列表、元组或其它序列成对组合成一个元组列表：
zip可以处理任意多的序列，元素的个数取决于最短的序列：

seq1 = ['foo', 'bar', 'baz']
seq2 = ['one', 'two', 'three']
zipped = zip(seq1, seq2) #<zip object at 0x000002D1D92D1748>
list(zipped) #[('foo', 'one'), ('bar', 'two'), ('baz', 'three')]

seq3 = [False, True]
list(zip(seq1, seq2, seq3)) #[('foo', 'one', False), ('bar', 'two', True)]

zip的常见用法之一是同时迭代多个序列，可能结合enumerate使用

for i, (a, b) in enumerate(zip(seq1, seq2)):
	print('{0}:{1},{2}'.format(i,a,b))
'''
0: foo, one
1: bar, two
2: baz, three
'''

给出一个“被压缩的”序列，zip可以被用来解压序列，或者把行的列表转换为列的列表。

pitchers = [('Nolan', 'Ryan'), ('Roger', 'Clemens'),('Schilling', 'Curt')]
first_names, last_names = zip(*pitchers)
first_names #('Nolan', 'Roger', 'Schilling')
last_names #('Ryan', 'Clemens', 'Curt')

1.2.10、reversed函数

reversed可以从后向前迭代一个序列，要记住reversed是一个生成器，只有实体化（即列表或for循环）之后才能创建翻转的序列。

list(reversed(range(10)))

1.3、字典

1.3.1 、字典访问

字典可能是Python最为重要的数据结构。它更为常见的名字是哈希映射或关联数组。它是键值对的大小可变集合，键和值都是Python对象。创建字典的方法之一是使用尖括号，用冒号分隔键和值。
像访问列表或元组中的元素一样，访问、插入或设定字典中的元素。
用检查列表和元组是否包含某个值的方法，检查字典中是否包含某个键。
可以用del关键字或pop方法（返回值的同时删除键）删除值。

d1 = {'a' : 'some value', 'b' : [1, 2, 3, 4]}
d1[7] = 'an integer'
d1 #{'a' : 'some value', 'b' : [1, 2, 3, 4],7:'an integer'}
d1['b'] #[1, 2, 3, 4]
'b' in d1 #True
del d1[7]
d1 #{'a' : 'some value', 'b' : [1, 2, 3, 4]}
ret = d1.pop('a') #'some value'
d1 #{ 'b' : [1, 2, 3, 4]}

keys和values是字典的键和值的迭代器方法，这两个方法可以用相同的顺序输出键和值

d1 = {'a' : 'some value', 'b' : [1, 2, 3, 4]}
list(d1.keys())  #['a','b']
list(d1.values()) #['some value',[1, 2, 3, 4]]

用update方法可以将一个字典与另一个融合

d1 = {'a' : 'some value', 'b' : [1, 2, 3, 4]}
d1.update({'b' : 'foo', 'c' : 12})
print(d1)
d1.update({'d':(5,6,7)})
print(d1)

{‘a’: ‘some value’, ‘b’: ‘foo’, ‘c’: 12}
{‘a’: ‘some value’, ‘b’: ‘foo’, ‘c’: 12, ‘d’: (5, 6, 7)}

1.3.2、用序列创建字典 dic(zip(lst1,lst2))

通常创建方法，利用循环创建：

mapping = {}
for key, value in zip(key_list, value_list):
    mapping[key] = value

字典支持二元元祖创建：

mapping = dic(zip(range(5), reversed(range(5))))
mapping #{0: 4, 1: 3, 2: 2, 3: 1, 4: 0}

另一种创建字典方式：dict comprehensions

1.3.3、获取默认值 some.dic(key, default_value)

按照key查找字段中的values，没有返回默认值，通常做法：

if key in some_dict:
    value = some_dict[key]
else:
    value = default_value

dict的方法get和pop可以取默认值进行返回，get默认会返回None，如果不存在键，pop会抛出一个例外。上面的if-else语句可以简写成下面：

value = some_dict.get(key, default_value)

dic字段中的setdefault方法，可以通过首字母，将一个列表中的单词分类：

words = ['apple', 'bat', 'bar', 'atom', 'book']
by_letter = {}
for word in words:
    letter = word[0]
    by_letter.setdefault(letter, []).append(word)

{‘a’: [‘apple’, ‘atom’], ‘b’: [‘bat’, ‘bar’, ‘book’]}

上面的程序：等价于下面繁琐的for循环：

for word in words:
	letter = word[0]
	if letter not in by_letter:
		by_letter[letter] = [word]
	else:
		by_letter[letter].append(word)

collections模块有一个很有用的类，defaultdict，它可以进一步简化上面。传递类型或函数以生成每个位置的默认值：

from collections import defaultdict
by_letter = defaultdict(list)
for word in words:
    by_letter[word[0]].append(word)
print(by_letter)

defaultdict(<class ‘list’>, {‘a’: [‘apple’, ‘atom’], ‘b’: [‘bat’, ‘bar’, ‘book’]})

1.3.4、有效的键类型

字典的值可以是任意Python对象，而键通常是不可变的标量类型（整数、浮点型、字符串）或元组（元组中的对象必须是不可变的）。这被称为“可哈希性”。可以用hash函数检测一个对象是否是可哈希的（可被用作字典的键）

hash('string') #5023931463650008331

hash((1, 2, (2, 3))) #1097636502276347782

hash((1, 2, [2, 3])) # fails because lists are mutable

要用列表当做键，一种方法是将列表转化为元组，只要内部元素可以被哈希，它也就可以被哈希：

d = {}
d[tuple([1, 2, 3])] = 5
d #{(1,2,3),5}

1.4、集合

1.4.1、创建集合

集合是无序的不可重复的元素的集合。可以把集合当做字典，但是只有键没有值。可以用两种方式创建集合：通过set函数或使用尖括号set语句：

set([2, 2, 2, 1, 3, 3]) #{1,2,3}
{2, 2, 2, 1, 3, 3} #{1,2,3}

集合支持合并、交集、差分和对称差等数学集合运算:
合并是取两个集合中不重复的元素。可以用union方法，或者|运算符：
交集的元素包含在两个集合中。可以用intersection或&运算符：

#创建集合
a = {1, 2, 3, 4, 5}
b = {3, 4, 5, 6, 7, 8}
print(a.union(b)) #{1, 2, 3, 4, 5, 6, 7, 8}
print(a.intersection(b)) #{3, 4, 5}

所有逻辑集合操作都有另外的原地实现方法，可以直接用结果替代集合的内容。对于大的集合，这么做效率更高：

c = a.copy()
c |=b
c  #{1, 2, 3, 4, 5, 6, 7, 8}

与字典类似，集合中元素通常都是不可变的。要获得类似列表的元素，必须转换成元组，下面的例子中将一个列表转换成元组，作为集合中的一个元素：

#集合中的元素是不可变的
my_data = [1, 2, 3, 4]
my_set = {tuple(my_data)}
my_set #{{1,2,3,4}}

set_subdata1.issubset(set_date)检测一个集合1是否是另一个集合2的子集
set_data2.issuperset(set_subdate1)检测一个集合2是否是另一个集合1的父级

In [150]: a_set = {1, 2, 3, 4, 5}

In [151]: {1, 2, 3}.issubset(a_set)
Out[151]: True

In [152]: a_set.issuperset({1, 2, 3})
Out[152]: True

1.4.2、列表、集合和字典推导式

列表推导式是Python最受喜爱的特性之一。它允许用户方便的从一个集合过滤元素，形成列表，在传递参数的过程中还可以修改元素。形式如下：

[expr for val in collection if condition]

它等同于下面的for循环:

result = []
for val in collection:
    if condition:
        result.append(expr)

例如，给定一个字符串列表，我们可以过滤出长度在2及以下的字符串，并将其转换成大写:

strings = ['a', 'as', 'bat', 'car', 'dove', 'python']
[x.upper() for x in strings if len(x) > 2] #['BAT', 'CAR', 'DOVE', 'PYTHON']
[x for x in strings if len(x) == 3 ] #['bat', 'car']

用相似的方法，还可以推导集合和字典，如下所示：

#列表推导式
list_comp = [expr for val in collection if condition]
#字典推导式
dict_comp = {key-expr : value-expr for value in collection if condition}
#集合推导式
set_comp = {expr for value in collection if condition}

与列表推导式类似，集合与字典的推导也很方便，而且使代码的读写都很容易。来看前面的字符串列表。假如我们只想要字符串的长度，用集合推导式的方法非常方便：

unique_lengths = {len(x) for x in strings}
unique_lengths # {1, 2, 3, 4, 6}

map函数可以进一步简化：

unique_lengths = {map(len(x))} #error

unique_lengths = map(len,strings) #{<map object at 0x000002153622C6A0>}
unique_lengths = set(map(len,strings)) #{1, 2, 3, 4, 6}
unique_lengths_dict = dict(map(len,strings)) #error
unique_lengths_list = list(map(len,strings)) #error

作为一个字典推导式的例子，我们可以创建一个字符串的查找映射表以确定它在列表中的位置：

loc_mapping = {val : index for index, val in enumerate(strings)}
loc_mapping  #{'a': 0, 'as': 1, 'bat': 2, 'car': 3, 'dove': 4, 'python': 5}

1.4.3、嵌套列表推导式

现在假设我们想用一个列表包含所有的名字，这些名字中包含两个或更多的e。可以用嵌套列表推导式的方法，将这些写在一起，如下所示：
嵌套列表推导式看起来有些复杂。列表推导式的for部分是根据嵌套的顺序，过滤条件还是放在最后。

#列表嵌套式
all_data = [['John', 'Emily', 'Michael', 'Mary', 'Steven'],['Maria', 'Juan', 'Javier', 'Natalia', 'Pilar']]
result = [name for names in all_data for name in names if name.count('e') >= 2]
result #['Steven']

等价于下面的for循环：

#列表嵌套式
all_data = [['John', 'Emily', 'Michael', 'Mary', 'Steven'],['Maria', 'Juan', 'Javier', 'Natalia', 'Pilar']]

names_of_interest = []
for names in all_data:
    enough_es = [name for name in names if name.count('e') >= 2]
    names_of_interest.extend(enough_es)

names_of_interest #['Steven']

将一个整数元组的列表扁平化成了一个整数列表：

some_tuples = [(1, 2, 3), (4, 5, 6), (7, 8, 9)]
flattened = [x for tup in some_tuples for x in tup]
flattened #[1, 2, 3, 4, 5, 6, 7, 8, 9]

for表达式的顺序是与嵌套for循环的顺序一样（而不是列表推导式的顺序）

flattened = []

for tup in some_tuples:
    for x in tup:
        flattened.append(x)

如果你有两三个以上的嵌套，你就应该考虑下代码可读性的问题了。分辨列表推导式的列表推导式中的语法也是很重要的，这段代码产生了一个列表的列表，而不是扁平化的只包含元素的列表。：

#产生了一个列表的列表，而不是扁平化的只包含元素的列表。
[[x for x in tup] for tup in some_tuples]
#[[1, 2, 3], [4, 5, 6], [7, 8, 9]]

二、函数

2.1、定义函数

函数是Python中最主要也是最重要的代码组织和复用手段。作为最重要的原则，如果你要重复使用相同或非常类似的代码，就需要写一个函数。通过给函数起一个名字，还可以提高代码的可读性。
函数使用def关键字声明，用return关键字返回值：
同时拥有多条return语句也是可以的。如果到达函数末尾时没有遇到任何一条return语句，则返回None。
函数可以有一些位置参数（positional）和一些关键字参数（keyword）。关键字参数通常用于指定默认值或可选参数。在下面的函数中，x和y是位置参数，而z则是关键字参数。也就是说，该函数可以下面这两种方式进行调用：

#x和y是位置参数，而z则是关键字参数。
def my_function(x, y, z=1.5):
    if z > 1:
        return z * (x + y)
    else:
        return z / (x + y)

my_function(5, 6, z=0.7)
my_function(3.14, 7, 3.5)
my_function(10, 20)

函数参数的主要限制在于：关键字参数必须位于位置参数（如果有的话）之后。你可以任何顺序指定关键字参数。也就是说，你不用死记硬背函数参数的顺序，只要记得它们的名字就可以了。

笔记：也可以用关键字传递位置参数。前面的例子，也可以写为：
my_function(x=5, y=6, z=7)
my_function(y=6, x=5, z=7)
这种写法可以提高可读性。

2.2、命名空间、作用域，和局部函数

函数可以访问两种不同作用域中的变量：全局（global）和局部（local）。Python有一种更科学的用于描述变量作用域的名称，即命名空间（namespace）。任何在函数中赋值的变量默认都是被分配到局部命名空间（local namespace）中的。局部命名空间是在函数被调用时创建的，函数参数会立即填入该命名空间。在函数执行完毕之后，局部命名空间就会被销毁。

#调用func()之后，首先会创建出空列表a，然后添加5个元素，最后a会在该函数退出的时候被销毁。
def func():
    a = []
    for i in range(5):
        a.append(i)

虽然可以在函数中对全局变量进行赋值操作，但是那些变量必须用global关键字声明成全局的才行。

a = None
def bind_a_variable():
	global a
	a = []
	bind_a_variable()
print(a) #[]

注意：我常常建议人们不要频繁使用global关键字。因为全局变量一般是用于存放系统的某些状态的。如果你发现自己用了很多，那可能就说明得要来点儿面向对象编程了（即使用类）。

2.3、返回多个值

Python函数可以返回多个值。

def f():
    a = 5
    b = 6
    c = 7
    return a, b, c

a, b, c = f()
return_value = f() #这里的return_value将会是一个含有3个返回值的三元元组。

这里的return_value将会是一个含有3个返回值的三元元组。此外，还有一种非常具有吸引力的多值返回方式——返回字典：

def f():
    a = 5
    b = 6
    c = 7
    return {'a' : a, 'b' : b, 'c' : c}

2.4、函数也是对象

由于Python函数都是对象，因此，在其他语言中较难表达的一些设计思想在Python中就要简单很多了。
为了得到一组能用于分析工作的格式统一的字符串，需要做很多事情：去除空白符、删除各种标点符号、正确的大写格式等。做法之一是使用内建的字符串方法和正则表达式re模块：

states = ['   Alabama ', 'Georgia!', 'Georgia', 'georgia', 'FlOrIda',
	 'south   carolina##', 'West virginia?']
	 
import re

def clean_strings(strings):
    result = []
    for value in strings:
        value = value.strip()
        value = re.sub('[!#?]', '', value)
        value = value.title()
        result.append(value)
    return result
clean_strings(states)

Out
[‘Alabama’,
‘Georgia’,
‘Georgia’,
‘Georgia’,
‘Florida’,
‘South Carolina’,
‘West Virginia’]

def remove_punctuation(value):
    return re.sub('[!#?]', '', value)

#多函数模式使你能在很高的层次上轻松修改字符串的转换方式。此时的clean_strings也更具可复用性！
clean_ops = [str.strip, remove_punctuation, str.title]

def clean_strings(strings, ops):
    result = []
    for value in strings:
        for function in ops:
            value = function(value)
        result.append(value)
    return result
clean_strings(states)

[‘Alabama’,
‘Georgia’,
‘Georgia’,
‘Georgia’,
‘Florida’,
‘South Carolina’,
‘West Virginia’]

将函数用作其他函数的参数，比如内置的map函数，它用于在一组数据上应用一个函数：

for x in map(remove_punctuation, states):
	print(x)

Alabama
Georgia
Georgia
georgia
FlOrIda
south carolina
West virginia

2.5、匿名（lambda）函数

Python支持一种被称为匿名的、或lambda函数。它仅由单条语句组成，该语句的结果就是返回值。它是通过lambda关键字定义的，这个关键字没有别的含义，仅仅是说“我们正在声明的是一个匿名函数”。

def short_function(x):
    return x * 2

equiv_anon = lambda x: x * 2

多数据转换函数都以函数作为参数的。直接传入lambda函数比编写完整函数声明要少输入很多字（也更清晰），甚至比将lambda函数赋值给一个变量还要少输入很多字。看看下面这个简单得有些傻的例子：

def apply_to_list(some_list, f):
    return [f(x) for x in some_list]

ints = [4, 0, 1, 5, 6]
apply_to_list(ints, lambda x: x * 2)

假设有一组字符串，你想要根据各字符串不同字母的数量对其进行排序：

strings.sort(key=lambda x: len(set(list(x))))
strings #['aaaa', 'foo', 'abab', 'bar', 'card']

笔记：lambda函数之所以会被称为匿名函数，与def声明的函数不同，原因之一就是这种函数对象本身是没有提供名称__name__属性。

2.6、柯里化：部分参数应用

柯里化（currying）是一个有趣的计算机科学术语，它指的是通过“部分参数应用”（partial argument application）从现有函数派生出新函数的技术。例如，假设我们有一个执行两数相加的简单函数：

def add_numbers(x, y):
    return x + y

通过这个函数，我们可以派生出一个新的只有一个参数的函数——add_five，它用于对其参数加5：

add_five = lambda y: add_numbers(5, y)

add_numbers的第二个参数称为“柯里化的”（curried）,其实就只是定义了一个可以调用现有函数的新函数而已。
内置的functools模块可以用partial函数将此过程简化：

from functools import partial
add_five = partial(add_numbers, 5)

2.7、生成器

能以一种一致的方式对序列进行迭代（比如列表中的对象或文件中的行）是Python的一个重要特点。这是通过一种叫做迭代器协议（iterator protocol，它是一种使对象可迭代的通用方式）的方式实现的，一个原生的使对象可迭代的方法。比如说，对字典进行迭代可以得到其所有的键：

some_dict = {'a': 1, 'b': 2, 'c': 3}

for key in some_dict:
	print(key)

当你编写for key in some_dict时，Python解释器首先会尝试从some_dict创建一个迭代器：

dict_iterator = iter(some_dict)
dict_iterator # <dict_keyiterator at 0x7fbbd5a9f908>

迭代器是一种特殊对象，它可以在诸如for循环之类的上下文中向Python解释器输送对象。大部分能接受列表之类的对象的方法也都可以接受任何可迭代对象。比如min、max、sum等内置方法以及list、tuple等类型构造器：

 list(dict_iterator)
 #['a', 'b', 'c']

生成器（generator）是构造新的可迭代对象的一种简单方式。一般的函数执行之后只会返回单个值，生成器则是以延迟的方式返回一个值序列，即每返回一个值之后暂停，直到下一个值被请求时再继续。
要创建一个生成器，只需将函数中的return替换为yeild即可：

def squares(n=10):
    print('Generating squares from 1 to {0}'.format(n ** 2))
    for i in range(1, n + 1):
        yield i ** 2

调用该生成器时，没有任何代码会被立即执行：

gen = squares()
gen #<generator object squares at 0x7fbbd5ab4570>

直到从该生成器中请求元素时，才会开始执行其代码：

for x in gen:
	print(x, end=' ')

Generating squares from 1 to 100
1 4 9 16 25 36 49 64 81 100

2.4、生成器表达式

使用生成器表达式（generator expression）可以更简洁的构造生成器。这是一种类似于列表、字典、集合推导式的生成器。其创建方式为，把列表推导式两端的方括号改成圆括号：

gen = (x ** 2 for x in range(100))
gen #<generator object <genexpr> at 0x7fbbd5ab29e8>

等价下面用yield返回生成器：

def _make_gen():
    for x in range(100):
        yield x ** 2
gen = _make_gen()

生成器表达式也可以取代列表推导式，作为函数参数：

sum(x ** 2 for x in range(100)) #328350

dict((i, i **2) for i in range(5))
#{0: 0, 1: 1, 2: 4, 3: 9, 4: 16}

2.5、itertools模块

标准库itertools模块中有一组用于许多常见数据算法的生成器。例如，groupby可以接受任何序列和一个函数。它根据函数的返回值对序列中的连续元素进行分组。下面是一个例子：

import itertools
first_letter = lambda x: x[0]

names = ['Alan', 'Adam', 'Wes', 'Will', 'Albert', 'Steven']

for letter, names in itertools.groupby(names, first_letter):
	print(letter, list(names)) # names is a generator

A [‘Alan’, ‘Adam’]
W [‘Wes’, ‘Will’]
A [‘Albert’]
S [‘Steven’]

import itertools
import pandas as pd

first_letter = lambda x: x[0]

names = ['Alan', 'Adam', 'Wes', 'Will', 'Albert', 'Steven']
pd_names = pd.DataFrame(names,columns=['NAME'])
print(pd_names)
for letter, names in itertools.groupby(pd_names['NAME'], first_letter):
	print(letter, list(names)) # names is a generator

NAME
0 Alan
1 Adam
2 Wes
3 Will
4 Albert
5 Steven
A [‘Alan’, ‘Adam’]
W [‘Wes’, ‘Will’]
A [‘Albert’]
S [‘Steven’]