获取数据
1 读取文件
文本文件基础
处理文本文件的第一步是通过 open 命令来获取一个文件对象:
# 'r' 意味着只读
file_for_reading = open('reading_file.txt', 'r')
# 'w' 是写入——会破坏已存在的文件!
file_for_writing = open('writing_file.txt', 'w')
# 'a' 是添加——加入到文件的末尾
file_for_appending = open('appending_file.txt', 'a')
# 完成以后别忘了关闭文件
file_for_writing.close()
with 程序块里操作文件,这样在结尾处文件会被自动关闭:
with open(filename,'r') as f:
data = function_that_gets_data_from(f)
# 此时,f已经关闭了,别再试图使用它
如果需要读取一个完整的文本文件,可以使用 for 语句对文件的行进行迭代:
starts_with_hash = 0
with open('input.txt','r') as f:
for line in file: # 查找文件中的每一行
if re.match("^#",line): # 用正则表达式判断它是否以'#'开头
starts_with_hash += 1 # 如果是,计数加1
限制的文件
学一下pandas
2 网络抓取
学一下爬虫,scrapy