爬虫学习--7.csv模块

csv模块

什么是csv?

CSV (Comma Separated Values)，即逗号分隔值（也称字符分隔值，因为分隔符可以不是逗号），是一种常用的文本格式，用以存储表格数据，包括数字或者字符。很多程序在处理数据时都会碰到csv这种格式的文件。python自带了csv模块，专门用于处理csv文件的读取

csv模块的使用

写入csv文件

1 通过创建writer对象，主要用到2个方法。一个是writerow，写入一行。另一个是writerows写入多行 2 使用DictWriter 可以使用字典的方式把数据写入进去

读取csv文件

1 通过reader()读取到的每一条数据是一个列表。可以通过下标的方式获取具体某一个值 2 通过DictReader()读取到的数据是一个字典。可以通过Key值(列名)的方式获取数据

csv文件操作应用

"""csv写入文件"""
import csv

persons = [('岳岳', 20, 175), ('月月', 22, 178), ('张三', 20, 175)]
headers = ('name', 'age', 'heigth')
with open('persons.csv', mode='w', encoding='utf-8',newline="")as f:
    writer = csv.writer(f)  # 创建writer对象
    writer.writerow(headers)  # 将表头写入进去
    for i in persons:
        writer.writerow(i)  # 将列表中的值写入进去

# Dictwriter 写入字典数据格式
import csv

persons = [
    {'name': '岳岳', 'age': 18, 'gender': '男'},
    {'name': '岳岳2', 'age': 18, 'gender': '男'},
    {'name': '岳岳3', 'age': 18, 'gender': '男'}
]

headers = ('name', 'age', 'gender')
with open('person2.csv', mode='w', encoding='utf-8',newline="")as f:
    writer = csv.DictWriter(f, headers)
    writer.writeheader() # 写入表头
    writer.writerows(persons)

"""csv读取文件"""
# 方式一
import csv
with open('persons.csv',mode='r',encoding='utf-8',newline="")as f:
    reader = csv.reader(f)
    print(reader)   # <_csv.reader object at 0x0000021D7424D5F8>
    for i in reader:
        print(i)

# 方式二
import csv
with open('person2.csv', mode='r', encoding='utf-8',newline="")as f:
    reader = csv.DictReader(f)
    print(reader)  # <_csv.reader object at 0x0000021D7424D5F8>
    for i in reader:
        # print(i)
        for j, k in i.items():
            print(j, k)

bs4实例应用

from bs4 import BeautifulSoup
import requests
import csv

"""
目标url = "http://www.weather.com.cn/textFC/hb.shtml"
需求: 爬取全国所有城市的温度(最低气温) 并保存到csv文件中 
保存格式:[{"city":"北京","temp":"5℃"},{"xxx":"xxx","xxx":"xxx"},.....]
涉及技术: request csv bs4

思路与页面分析:
1 获取网页源码并创建soup对象 
2 将拿到的数据进行解析拿到目标数据
    2.1 先找到整页的div class = 'conMidtab'标签
    2.2 接下来找到它下面的每一个省或者是直辖市的table标签
    2.3 对拿到的tables数据进行过滤 找到table标签下面所有的tr标签 需要注意，要把前2个tr标签过滤掉
    2.4 再找到tr标签里面所有的td标签(第0个就是城市 倒数第二个就是温度)
3 将获取的数据进行存储 
"""

# 定义一个函数用于获取网页源码并解析数据
def getscroce(every_url):
    # 目标url
    # url = "http://www.weather.com.cn/textFC/hb.shtml"
    # 请求头数据
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.212 Safari/537.36'
    }
    response = requests.get(every_url, headers=headers)
    response.encoding = 'utf-8'
    # 获取到的网页源码
    html = response.text

    # 将获取的网页源代码进行解析
    # 1 创建一个soup对象
    soup = BeautifulSoup(html, 'html5lib')
    # print(soup)

    # 2 先找到整页的div class = 'conMidtab'标签
    conMidtab = soup.find('div', class_='conMidtab')
    # print(conMidtab)

    # 3接下来找到它下面的每一个省或者是直辖市的table标签
    tables = conMidtab.find_all('table')
    # print(tables)

    # 4对拿到的tables数据进行过滤 找到table标签下面所有的tr标签(需要注意，要把前2个tr标签过滤掉)

    # 定义一个列表 将字典数据进行存储 然后准备写入csv
    templist = []

    for table in tables:
        trs = table.find_all('tr')[2:]
        # print(trs)
        for index, tr in enumerate(trs):
            # print(index,tr)
            # 在找到tr标签里面所有的td标签(第0个就是城市 倒数第二个就是温度)
            tds = tr.find_all('td')
            # print(tds)
            # 获取城市存在的td标签
            city_td = tds[0]
            if index == 0:
                city_td = tds[1]
            # print(city_td)

            # 定义一个字典用于保存数据  城市和温度
            tempdict = {}

            # 获取城市文本数据
            city = list(city_td.stripped_strings)[0]
            # print(city)
            # 获取最低温度
            temp_td = tds[-2]
            temp = list(temp_td.stripped_strings)[0]
            # print(temp)

            tempdict['city'] = city
            tempdict['temp'] = temp
            # 将字典数据添加到列表中
            templist.append(tempdict)
    # print(templist)  # 通过打印发现 {'city': '河北', 'temp': '20'} 这个根本不存在
    '''
        如果是直辖市你取第0个td标签没有问题，所有的数据也是正常的
        如果是省你不能取第0个td标签了(省的名字),取第一个td标签，但是所有的都取第一个td那么这样其它城市又不对了。因为其它的城市都是第0个td标签
        我们只需要做一个判断，什么时候取第0个td 什么时候取第一个td
    '''
    # 将获取的数据进行返回 用于下一步进行数据的存储
    return templist

# 定义一个函数用于保存解析到的数据
def writeData(alltemplist):
    header = ('city', 'temp')
    with open('weather.csv', mode='w', encoding='utf-8', newline='')as f:
        # 创建写入对象
        writer = csv.DictWriter(f, header)
        # 写入表头
        writer.writeheader()
        # 写入数据
        writer.writerows(alltemplist)

# 定义一个主函数 用来执行各个函数
def main():
    # 定义一个列表保存全国城市的温度
    alltemplist = []
    model_url = "http://www.weather.com.cn/textFC/{}.shtml"
    # 定义一个列表 用于保存八大地区的url

    urlkey_list = ["hb", "db", "hd", "hz", "hn", "xb", "xn", "gat"]
    for i in urlkey_list:
        every_url = model_url.format(i)
        print(every_url)
        # templist = getscroce()  # 舍去
        alltemplist += getscroce(every_url)
    # print(templist)
    # 将获取的数据进行传递 用于保存csv
    writeData(alltemplist)

    # enumerate() 函数用于将一个可遍历的数据对象(如列表、元组或字符串)组合为一个索引序列，同时列出数据和数据下标，一般用在 for 循环当中。
    # for i,j in enumerate(range(10)):
    #     print(i,j)

if __name__ == '__main__':
    main()