用mysql处理csv_5.json文件处理、csv文件处理、MySQL数据库操作

json文件处理：

什么是json：

JSON(JavaScript Object Notation, JS 对象标记) 是一种轻量级的数据交换格式。它基于 ECMAScript (w3c制定的js规范)的一个子集，采用完全独立于编程语言的文本格式来存储和表示数据。简洁和清晰的层次结构使得 JSON 成为理想的数据交换语言。 易于人阅读和编写，同时也易于机器解析和生成，并有效地提升网络传输效率。更多解释请见：https://baike.baidu.com/item/JSON/2462549?fr=aladdin

JSON支持数据格式：

对象(字典)。使用花括号。

数组(列表)。使用方括号。

整形、浮点型、布尔类型还有null类型。

字符串类型(字符串必须要用双引号，不能用单引号)。

多个数据之间使用逗号分开。

注意：json本质上就是一个字符串。

字典和列表转JSON：

import json

books = [

{

'title': '钢铁是怎样练成的',

'price': 9.8

},

{

'title': '红楼梦',

'price': 9.9

}

]

json_str = json.dumps(books,ensure_ascii=False)

print(json_str)

因为json在dump的时候，只能存放ascii的字符，因此会将中文进行转义，这时候我们可以使用ensure_ascii=False关闭这个特性。

在Python中。只有基本数据类型才能转换成JSON格式的字符串。也即：int、float、str、list、dict、tuple。

将json数据直接dump到文件中：

json模块中除了dumps函数，还有一个dump函数，这个函数可以传入一个文件指针，直接将字符串dump到文件中。示例代码如下：

books = [

{

'title': '钢铁是怎样练成的',

'price': 9.8

},

{

'title': '红楼梦',

'price': 9.9

}

]

with open('a.json','w') as fp:

json.dump(books,fp)

将一个json字符串load成Python对象：

json_str = '[{"title": "钢铁是怎样练成的", "price": 9.8}, {"title": "红楼梦", "price": 9.9}]'

books = json.loads(json_str,encoding='utf-8')

print(type(books))

print(books)

直接从文件中读取json：

import json

with open('a.json','r',encoding='utf-8') as fp:

json_str = json.load(fp)

print(json_str)

csv文件处理

读取csv文件：

stock.csv文件

index,Name,Age,Score

1,mayi,18,99

2,小钱,21,89

3,tom,25,95

4,rain,19,80

import csv

with open('stock.csv','r') as fp:

reader = csv.reader(fp)

titles = next(reader)

for x in reader:

print(x)

这样操作，以后获取数据的时候，就要通过下表来获取数据。如果想要在获取数据的时候通过标题来获取。那么可以使用DictReader。示例代码如下：

import csv

with open('stock.csv','r') as fp:

reader = csv.DictReader(fp)

for x in reader:

print(x['Name'])

写入数据到csv文件：

写入数据到csv文件，需要创建一个writer对象，主要用到两个方法。一个是writerow，这个是写入一行。一个是writerows，这个是写入多行。示例代码如下：

import csv

headers = ['name','age','classroom']

values = [

('zhiliao',18,'111'),

('wena',20,'222'),

('bbc',21,'111')

]

with open('test.csv','w',newline='') as fp:

writer = csv.writer(fp)

writer.writerow(headers)

writer.writerows(values)

也可以使用字典的方式把数据写入进去。这时候就需要使用DictWriter了。示例代码如下：

import csv

headers = ['name','age','classroom']

values = [

{"name":'wenn',"age":20,"classroom":'222'},

{"name":'abc',"age":30,"classroom":'333'}

]

with open('test.csv','w',newline='') as fp:

writer = csv.DictWriter(fp,headers)

writer = csv.writeheader()

writer.writerow({'name':'zhiliao',"age":18,"classroom":'111'})

writer.writerows(values)

MySQL数据库操作

安装mysql：

如果提示没有.NET Framework框架。那么就在提示框中找到下载链接，下载一个就可以了。

如果提示没有Microsoft Virtual C++ x64(x86)，那么百度或者谷歌这个软件安装即可。

如果没有找到。那么私聊我。

navicat：

navicat是一个操作mysql数据库非常方便的软件。使用他操作数据库，就跟使用excel操作数据是一样的。

安装驱动程序：

Python要想操作MySQL。必须要有一个中间件，或者叫做驱动程序。驱动程序有很多。比如有mysqldb、mysqlclient、pymysql等。在这里，我们选择用pymysql。安装方式也是非常简单，通过命令pip install pymysql即可安装。

数据库连接：

数据库连接之前。首先先确认以下工作完成，这里我们以一个pymysql_test数据库.以下将介绍连接mysql的示例代码：

import pymysql

db = pymysql.connect(

host="127.0.0.1",

user='root',

password='root',

database='pymysql_test',

port=3306

)

cursor = db.cursor()

cursor.execute("select 1")

data = cursor.fetchone()

print(data)

db.close()

插入数据：

import pymysql

db = pymysql.connect(

host="127.0.0.1",

user='root',

password='root',

database='pymysql_test',

port=3306

)

cursor = db.cursor()

sql = """

insert into user(

id,username,gender,age,password

)

values(null,'abc',1,18,'111111');

"""

cursor.execute(sql)

db.commit()

db.close()

如果在数据还不能保证的情况下，可以使用以下方式来插入数据：

sql = """

insert into user(

id,username,gender,age,password

)

values(null,%s,%s,%s,%s);

"""

cursor.execute(sql,('spider',1,20,'222222'))

查找数据：

使用pymysql查询数据。可以使用fetch*方法。

fetchone()：这个方法每次之获取一条数据。

fetchall()：这个方法接收全部的返回结果。

fetchmany(size)：可以获取指定条数的数据。

示例代码如下：

cursor = db.cursor()

sql = """

select * from user

"""

cursor.execute(sql)

while True:

result = cursor.fetchone()

if not result:

break

print(result)

db.close()

或者是直接使用fetchall，一次性可以把所有满足条件的数据都取出来：

cursor = db.cursor()

sql = """

select * from user

"""

cursor.execute(sql)

results = cursor.fetchall()

for result in results:

print(result)

db.close()

或者是使用fetchmany，指定获取多少条数据：

cursor = db.cursor()

sql = """

select * from user

"""

cursor.execute(sql)

results = cursor.fetchmany(1)

for result in results:

print(result)

db.close()

删除数据：

cursor = db.cursor()

sql = """

delete from user where id=1

"""

cursor.execute(sql)

db.commit()

db.close()

更新数据：

conn = pymysql.connect(host='localhost',user='root',password='root',database='pymysql_demo',port=3306)

cursor = conn.cursor()

sql = """

update user set username='aaa' where id=1

"""

cursor.execute(sql)

conn.commit()

conn.close()

MongoDB数据库操作

1.db ：查看当前数据库

2.show dbs ：查看所有的数据库

3.use + 数据库名 ：切换数据库。如果不存在，则创建一个.(需要创建数据才算创建成功)

4.db.dropDatabase() ：删除当前指定数据库

5.db.集合名 + insert(value)：添加数据库到指定集合中

db.qa.insert({"title" :" xxx","age ": "20"})

6.db.集合名 + find() ：从指定的集合中查找数据

# -*- coding:utf-8 -*-

import pymongo

#链接mondo的对象

clinet = pymongo.MongoClient("127.0.0.1",port = 27017)

#获取数据库

db = clinet.zhihu

#获取数据集合(表名)

collection = db.qa

#写入数据

collection.insert({"username":"aaa"})

# collection.insert_many([

# {

# "username":"tom",

# "age":21

# },

# {

# "username":"qian",

# "age":20

# },

# ])

#查找数据

#find获取所有数据

# cursor = collection.find()

# for x in cursor:

# print(x)

#find_one获取一条数据

# cursor = collection.find_one({"username":"tom"})

# print(cursor)

#更新数据

# collection.update_one({"username":"tom"},{"$set":{"username":"999"}})

# collection.update_many({"username":"aaa"},{"$set":{"username":"bbb"}})

#删除数据

# collection.delete_one({"username":"bbb"})

# collection.delete_many({"username":"bbb"})