csv模块
什么是csv?
CSV (Comma Separated Values),即逗号分隔值(也称字符分隔值,因为分隔符可以不是逗号),是一种常用的文本格式,用以存储表格数据,包括数字或者字符。很多程序在处理数据时都会碰到csv这种格式的文件。python自带了csv模块,专门用于处理csv文件的读取
csv模块的使用
写入csv文件
1 通过创建writer对象,主要用到2个方法。一个是writerow,写入一行。另一个是writerows写入多行 2 使用DictWriter 可以使用字典的方式把数据写入进去
读取csv文件
1 通过reader()读取到的每一条数据是一个列表。可以通过下标的方式获取具体某一个值 2 通过DictReader()读取到的数据是一个字典。可以通过Key值(列名)的方式获取数据
csv文件操作应用
"""csv写入文件"""
import csvpersons = [('岳岳', 20, 175), ('月月', 22, 178), ('张三', 20, 175)]
headers = ('name', 'age', 'heigth')
with open('persons.csv', mode='w', encoding='utf-8',newline="")as f:
writer = csv.writer(f) # 创建writer对象
writer.writerow(headers) # 将表头写入进去
for i in persons:
writer.writerow(i) # 将列表中的值写入进去
# Dictwriter 写入字典数据格式
import csvpersons = [
{'name': '岳岳', 'age': 18, 'gender': '男'},
{'name': '岳岳2', 'age': 18, 'gender': '男'},
{'name': '岳岳3', 'age': 18, 'gender': '男'}
]headers = ('name', 'age', 'gender')
with open('person2.csv', mode='w', encoding='utf-8',newline="")as f:
writer = csv.DictWriter(f, headers)
writer.writeheader() # 写入表头
writer.writerows(persons)"""csv读取文件"""
# 方式一
import csv
with open('persons.csv',mode='r',encoding='utf-8',newline="")as f:
reader = csv.reader(f)
print(reader) # <_csv.reader object at 0x0000021D7424D5F8>
for i in reader:
print(i)# 方式二
import csv
with open('person2.csv', mode='r', encoding='utf-8',newline="")as f:
reader = csv.DictReader(f)
print(reader) # <_csv.reader object at 0x0000021D7424D5F8>
for i in reader:
# print(i)
for j, k in i.items():
print(j, k)
bs4实例应用
from bs4 import BeautifulSoup
import requests
import csv"""
目标url = "http://www.weather.com.cn/textFC/hb.shtml"
需求: 爬取全国所有城市的温度(最低气温) 并保存到csv文件中
保存格式:[{"city":"北京","temp":"5℃"},{"xxx":"xxx","xxx":"xxx"},.....]
涉及技术: request csv bs4思路与页面分析:
1 获取网页源码并创建soup对象
2 将拿到的数据进行解析拿到目标数据
2.1 先找到整页的div class = 'conMidtab'标签
2.2 接下来找到它下面的每一个省或者是直辖市的table标签
2.3 对拿到的tables数据进行过滤 找到table标签下面所有的tr标签 需要注意,要把前2个tr标签过滤掉
2.4 再找到tr标签里面所有的td标签(第0个就是城市 倒数第二个就是温度)
3 将获取的数据进行存储
"""
# 定义一个函数用于获取网页源码并解析数据
def getscroce(every_url):
# 目标url
# url = "http://www.weather.com.cn/textFC/hb.shtml"
# 请求头数据
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.212 Safari/537.36'
}
response = requests.get(every_url, headers=headers)
response.encoding = 'utf-8'
# 获取到的网页源码
html = response.text# 将获取的网页源代码进行解析
# 1 创建一个soup对象
soup = BeautifulSoup(html, 'html5lib')
# print(soup)# 2 先找到整页的div class = 'conMidtab'标签
conMidtab = soup.find('div', class_='conMidtab')
# print(conMidtab)# 3接下来找到它下面的每一个省或者是直辖市的table标签
tables = conMidtab.find_all('table')
# print(tables)# 4对拿到的tables数据进行过滤 找到table标签下面所有的tr标签(需要注意,要把前2个tr标签过滤掉)
# 定义一个列表 将字典数据进行存储 然后准备写入csv
templist = []for table in tables:
trs = table.find_all('tr')[2:]
# print(trs)
for index, tr in enumerate(trs):
# print(index,tr)
# 在找到tr标签里面所有的td标签(第0个就是城市 倒数第二个就是温度)
tds = tr.find_all('td')
# print(tds)
# 获取城市存在的td标签
city_td = tds[0]
if index == 0:
city_td = tds[1]
# print(city_td)# 定义一个字典用于保存数据 城市和温度
tempdict = {}# 获取城市文本数据
city = list(city_td.stripped_strings)[0]
# print(city)
# 获取最低温度
temp_td = tds[-2]
temp = list(temp_td.stripped_strings)[0]
# print(temp)tempdict['city'] = city
tempdict['temp'] = temp
# 将字典数据添加到列表中
templist.append(tempdict)
# print(templist) # 通过打印发现 {'city': '河北', 'temp': '20'} 这个根本不存在
'''
如果是直辖市你取第0个td标签没有问题,所有的数据也是正常的
如果是省你不能取第0个td标签了(省的名字),取第一个td标签,但是所有的都取第一个td那么这样其它城市又不对了。因为其它的城市都是第0个td标签
我们只需要做一个判断,什么时候取第0个td 什么时候取第一个td
'''
# 将获取的数据进行返回 用于下一步进行数据的存储
return templist# 定义一个函数用于保存解析到的数据
def writeData(alltemplist):
header = ('city', 'temp')
with open('weather.csv', mode='w', encoding='utf-8', newline='')as f:
# 创建写入对象
writer = csv.DictWriter(f, header)
# 写入表头
writer.writeheader()
# 写入数据
writer.writerows(alltemplist)# 定义一个主函数 用来执行各个函数
def main():
# 定义一个列表保存全国城市的温度
alltemplist = []
model_url = "http://www.weather.com.cn/textFC/{}.shtml"
# 定义一个列表 用于保存八大地区的urlurlkey_list = ["hb", "db", "hd", "hz", "hn", "xb", "xn", "gat"]
for i in urlkey_list:
every_url = model_url.format(i)
print(every_url)
# templist = getscroce() # 舍去
alltemplist += getscroce(every_url)
# print(templist)
# 将获取的数据进行传递 用于保存csv
writeData(alltemplist)# enumerate() 函数用于将一个可遍历的数据对象(如列表、元组或字符串)组合为一个索引序列,同时列出数据和数据下标,一般用在 for 循环当中。
# for i,j in enumerate(range(10)):
# print(i,j)
if __name__ == '__main__':
main()