课程地址 https://edu.csdn.net/course/detail/24756/280664
文章目录
JSON字符串处理:
什么是JSON字符串:
JSON(JavaScript Object Notation, JS 对象标记) 是一种轻量级的数据交换格式。它基于 ECMAScript (w3c制定的js规范)的一个子集,采用完全独立于编程语言的文本格式来存储和表示数据。简洁和清晰的层次结构使得 JSON 成为理想的数据交换语言。 易于人阅读和编写,同时也易于机器解析和生成,并有效地提升网络传输效率。更多解释请见:https://baike.baidu.com/item/JSON/2462549?fr=aladdin
JSON支持数据格式:
对象(字典):使用花括号。
数组(列表):使用方括号。
字符串类型:字符串必须要用双引号,不能用单引号)。
整形、浮点型、布尔类型还有null类型。
多个数据之间使用逗号分开。
注意:json本质上就是一个字符串。
将Python对象dump成JSON字符串:
- dumps:把Python对象转换成JSON格式的字符串。
- dump:把Python对象转换成JSON格式的字符串,并且还可以接收一个文件指针fp参数,可以写入到文件中。
这两个方法都有一个ensure_ascii
参数,默认情况下这个参数的值是True,也就是说转换后的JSON字符串是只能存储ascii格式的,不能存储中文,如果想要存储成中文,那么可以将他设置为False。
将JSON字符串load成Python对象:
- loads:将JSON字符串转换成Python对象。
- load:将JSON字符串转换成Python对象,并且是直接从文件中获取JSON字符串。
CSV文件处理:
CSV文件读取的两种方式:
import csv
# 这种方式读取到的每一条数据是一个列表,所以需要通过下标的方式获取具体某一个值
# with open("stock.csv",'r',encoding='gbk') as fp:
# reader = csv.reader(fp)
# for x in reader:
# print(x[3])
# 这种方式读取到的每一条数据是一个字典,所以可以通过列名获取数据
with open("stock.csv",'r',encoding='gbk') as fp:
reader = csv.DictReader(fp)
for x in reader:
print(x['secShortName'])
CSV文件的写入的两种方式:
import csv
headers = ('name','age','height')
# students = [
# ("张三",18,180),
# ("李四",19,190),
# ("王五",20,170)
# ]
students = [
{"name":"张三","age":18,"height":180},
{"name":"李四","age":19,"height":190},
{"name":"王五","age":20,"height":170}
]
# with open("students.csv",'w',encoding='utf-8',newline='') as fp:
# writer = csv.writer(fp)
# writer.writerow(headers)
# writer.writerows(students)
with open("students.csv",'w',encoding='utf-8',newline='') as fp:
writer = csv.DictWriter(fp,headers)
# 虽然DictWriter创建的时候有一个headers,但是想要写入数据进去,还是需要调用
# writer.writeheader()方法,否则,表头数据写入不进去
writer.writeheader()
writer.writerows(students)
Excel文件处理:
Sheet相关的操作:
workbook = xlrd.open_workbook("成绩表.xlsx")
# 获取所有的sheet名字
# print(workbook.sheet_names())
# 根据索引获取指定的sheet对象
# sheet = workbook.sheet_by_index(1)
# print(sheet.name)
# 根据名称获取指定的sheet对象
# sheet = workbook.sheet_by_name("2班")
# print(sheet.name)
# 获取所有的sheet对象
# sheets = workbook.sheets()
# for sheet in sheets:
# print(sheet.name)
# 获取指定sheet的行数和列数
sheet = workbook.sheet_by_index(0)
print({"rows":sheet.nrows,"cols":sheet.ncols})
Cell相关的操作:
from xlrd.sheet import Cell
sheet = workbook.sheet_by_index(0)
cell = sheet.cell(1,1)
print(cell.value)
# cells = sheet.row_slice(1,1,4)
# for cell in cells:
# print(cell.value)
# cells = sheet.col_slice(0,1,sheet.nrows)
# for cell in cells:
# print(cell.value)
# cell_value = sheet.cell_value(0,1)
# print(cell_value)
# cell_values = sheet.col_values(1,1,sheet.nrows)
# print(cell_values)
# cell_values = sheet.row_values(1,1,sheet.ncols)
# print(cell_values)
Cell中常用的数据类型:
sheet = workbook.sheet_by_index(0)
# cell = sheet.cell(0,0)
# print(cell.ctype)
# print(xlrd.XL_CELL_TEXT)
# cell = sheet.cell(1,1)
# print(cell.ctype)
# print(xlrd.XL_CELL_NUMBER)
# cell = sheet.cell(19,0)
# print(cell.ctype)
# print(xlrd.XL_CELL_DATE)
# cell = sheet.cell(19,0)
# print(cell.ctype)
# print(xlrd.XL_CELL_BOOLEAN)
cell = sheet.cell(1,1)
print(cell.ctype)
print(xlrd.XL_CELL_EMPTY)
写入Excel步骤如下:
- 导入xlwt模块。
- 创建一个Workbook对象。
- 创建一个Sheet对象。
- 把数据写入到Sheet下指定行和列中。如果想要在原来workbook对象上添加新的cell,那么需 要调用put_cell来添加。
- 保存成Excel文件。
编辑Excel文件:
- 先读取原来的Excel文件。
- 然后在读取的sheet上面进行cell的修改,可以使用sheet.put_cell(row,col,ctype,value,None)方法实现。
- 再重新创建一个新的excel文件,然后把之前读取到的数据写入到新的excel文件中。
MySQL数据库操作
MySQL数据库安装(Windows系统):
- 下载地址:https://dev.mysql.com/downloads/windows/installer/5.7.0.html
- 如果提示没有.NET Framwork框架,那么就在提示框中找到下载链接,下载一个就可以了。
- 如果提示没有Microsoft Virtual C++x64(x86),那么百度或者谷歌这个软件安装即可。
Python链接MySQL数据库:
- pip install pymysql
- 连接代码:
db = pymysql.connect(host="localhost",port=3306,user="root",password="password",database="csdn_crawler",charset='utf8')
* host:以后在链接外网服务器的时候,就要改成外网服务器的ip地址。
* port:在外网一般会更换端口号,不会为3306,这是为了安全考虑。
* user:连接的用户,一般在生产环境中会单独分配一个账号给你,而不是使用root用户。
* password:这个用户的密码。
* database:要连接操作的数据库名。
* charset:设置为utf8这样就能操作中文了。
插入数据:
title = '444'
content = '555'
sql = "insert into article(id,title,content) values(null,%s,%s)"
cursor.execue(sql,(title,content))
语法是:
insert into [表名(字段)] values (字段对应的值)
如果值是动态变化的,那么可以使用’%s’来先作为坑,后期在使用execute方法的时候,可以给一个元组把这些数据填进去。
查找数据:
sql = "select id,title from article where id>3"
cursor.execute(sql)
执行完’sql’语句后,可以使用以下三个方法来提取数据:
- fechone:提取第一条数据。
- fetchall:提取select语句获取到的所有数据。
- fetchmany:提取指定条数的数据。
删除数据:
语法:
delete [表名] [条件]
示例:
sql = "delete from article where id>3"
cursor.execute(sql)
更新数据:
语法:
update [表名][更新操作][条件]
示例:
sql = "update article set title='钢铁是怎样炼成的' where id=3"
cursor.execute(sql)