数据科学入门_第九章_获取数据

获取数据

1 读取文件

文本文件基础
处理文本文件的第一步是通过 open 命令来获取一个文件对象：

# 'r' 意味着只读
file_for_reading = open('reading_file.txt', 'r')
# 'w' 是写入——会破坏已存在的文件!
file_for_writing = open('writing_file.txt', 'w')
# 'a' 是添加——加入到文件的末尾
file_for_appending = open('appending_file.txt', 'a')
# 完成以后别忘了关闭文件
file_for_writing.close()

with 程序块里操作文件，这样在结尾处文件会被自动关闭：

with open(filename,'r') as f:
	data = function_that_gets_data_from(f)
# 此时，f已经关闭了，别再试图使用它

如果需要读取一个完整的文本文件，可以使用 for 语句对文件的行进行迭代：

starts_with_hash = 0
with open('input.txt','r') as f:
for line in file: # 查找文件中的每一行
if re.match("^#",line): # 用正则表达式判断它是否以'#'开头
starts_with_hash += 1 # 如果是，计数加1

限制的文件
学一下pandas

2 网络抓取

学一下爬虫，scrapy