csv文件操作

csv

• csv文件用excel打开是表格形式，用文本文档打开时每个内容用","分割开。

#读取
import csv
with open("person.csv",mode='r',newline="") as f:
	f_csv = csv.reader(f)#读取f中的数据，csv格式的用for，用list强转后是一个二维列表
	for row in f_csv:
		print(row)#打印出的是一行一行的列表

#写入
csv_writer = csv.writer(f)#写入的时候也有返回值
csv_writer.writerow([])#传递的值是一个列表，用两个writerow传值时中间会有空行，用newline=""去掉空行
csv_writer.writerows([[]])#传递的值是一个二维列表

爬虫

import requests
import pandas as pd

list = ['北京市','天津市','上海市','重庆市','河北省','山西省','辽宁省','吉林省','黑龙江省',
'江苏省','浙江省','安徽省','福建省','江西省','山东省','河南省','湖北省','湖南省','广东省',
'海南省','四川省','贵州省','云南省','陕西省','甘肃省','青海省','台湾省','内蒙古自治区',
'广西壮族自治区','西藏自治区','宁夏回族自治区','新疆维吾尔自治区','香港特别行政区','澳门特别行政区']

url = "https://raw.githubusercontent.com/canghailan/Wuhan-2019-nCoV/master/Wuhan-2019-nCoV.json"
headers = {}
response = request.get(url,headers=headers)
data_json = response.json()#将response转换为json形式
data_df = pd.DataFrame(data_json)#再转换为DataFrame类型，DataFrame自动筛选了
for s in list:
	data = data_df[data_df["province"]==s]
	data.to_csv("./data/{}.csv".format(s))#存储目录fromat传值


...

import urllib.request
from lxml import etree
url = "http://www.dqsy.net/"
headers = {"user-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36"}

request = urllib.request.Request(url,headers=headers)
response = urllib.request.urlopen(request)#发请求
html_str = response.read().decode("utf-8")#解码获取最终网页内容
html = etree.HTML(html_str)#将字符串类型转换为html类型，需要导入from lxml import etree
imgs = html.xpath("//img/@src")#得到img下所有src的值
for img in imgs:
    url_img = url + img#拼接获取图片地址
    urllib.request.urlretrieve(url_img,"e://新建文件夹 (2)/{}".format(img.split("/")[-1]))#存储图片

os模块

import os
os.makedirs()#创建多层目录

#创建临时文件
from tempfile import TemporaryFile
#prefix是文件名字的头，suffix文件后缀，dir文件保存目录，delete默认值是True删除
with TemporaryFile("w+t",prefix="",suffix="",dir=""，delete=True) as f:
	pass

#删除目录和里面的文件
import shutil
shutil.rmtree("")

#walk的遍历
import os
#root是根目录，dirs存储的所有文件夹，dirs存所有的文件
for boot,dirs,files in os.walk("f://文件",topdown=False)

• xlrd

import xlrd
from xlutils.copy import copy
book = xlrd.open_workbook("account.xls")
# sheet = book.sheet_by_name("Sheet1")  #按照页面名字获取内容
sheet = book.sheet_by_index(0)  #用页面标号获取内容
print(sheet.nrows,sheet.ncols)  #打印行数和列数
print(sheet.cell(0,0).value)   #打印单元格内容

book = xlrd.open_workbook('account.xls')
book_copy = copy(book)
sheet_copy = book_copy.get_sheet(0)
sheet_copy.write(4,4,0)  #行，列，内容
book_copy.save('account.xls')