python epoll 写数据到数据库_Python--day40（EPOLL的使用、数据库基础）

1. EPOLL的使用

1.1 select存在的问题

1.select,需要遍历socket列表,频繁的对等待队列进行添加移除操作,

2.数据到达后还需要给遍历所有socket才能获知哪些socket有数据

两个操作消耗的时间随着要监控的socket的数量增加而大大增加,

处于效率考虑才规定了最大只能监视1024个socket

1.2 epoll要解决的问题

1.避免频繁的对等待队列进行操作

2.避免遍历所有socket

对于第一个问题我们先看select的处理方式

while True:

r_list,w_list,x_list = select.select(rlist,wlist,xlist)

每次处理完一次读写后,都需要将所用过冲重复一遍,包括移除进程,添加进程,默认就会将进程添加到等待队列,并阻塞住进程,然而等待队列的更新操作并不频繁,

所以对于第一个问题epoll,采取的方案是,将对等待队列的维护和,阻塞进程这两个操作进行拆分,

相关代码如下

import socket,select

server = socket.socket()

server.bind(("127.0.0.1",1688))

server.listen(5)

?

#创建epoll事件对象，后续要监控的事件添加到其中

epoll = select.epoll()

#注册服务器监听fd到等待读事件集合

epoll.register(server.fileno(), select.EPOLLIN)   # 需要关注 server这个socket的可读事件

?

# 等待事件发生

while True:

for sock,event in epoll.poll():

pass

在epoll中register 与 unregister函数用于维护等待队列

register 是进程添加到等待队列中 unregister 把进程从等待队列中删除

使用这两个函数我们自己来控制等待队列的添加和删除 从而避免频繁操作等待队列

第二个问题是select中进程无法获知哪些socket是有数据的所以需要遍历

epol为了解决这个问题,在内核中维护了一个就绪列表,

1.创建epoll对象,epoll也会对应一个文件,由文件系统管理

2.执行register时,将epoll对象 添加到socket的等待队列中

3.数据到达后,CPU执行中断程序,将数据copy给socket

4.在epoll中,中断程序接下来会执行epoll对象中的回调函数,传入就绪的socket对象

5.将socket,添加到就绪列表中

6.唤醒epoll等待队列中的进程,

进程唤醒后,由于存在就绪列表,所以不需要再遍历socket了,直接处理就绪列表即可

解决了这两个问题后,并发量得到大幅度提升,最大可同时维护上万级别的socket

1.3 epoll相关函数

import select 导入select模块

epoll = select.epoll() 创建一个epoll对象

epoll.register(文件句柄,事件类型) 注册要监控的文件句柄和事件

事件类型:

select.EPOLLIN 可读事件

select.EPOLLOUT 可写事件

select.EPOLLERR 错误事件

select.EPOLLHUP 客户端断开事件

epoll.unregister(文件句柄) 销毁文件句柄

epoll.poll(timeout) 当文件句柄发生变化，则会以列表的形式主动报告给用户进程,timeout

为超时时间，默认为-1，即一直等待直到文件句柄发生变化，如果指定为1

那么epoll每1秒汇报一次当前文件句柄的变化情况，如果无变化则返回空

epoll.fileno() 返回epoll的控制文件描述符(Return the epoll control file descriptor)

epoll.modfiy(fineno,event) fineno为文件描述符 event为事件类型 作用是修改文件描述符所对应的事件

epoll.fromfd(fileno) 从1个指定的文件描述符创建1个epoll对象

epoll.close() 关闭epoll对象的控制文件描述符

客户端

#coding:utf-8#客户端#创建客户端socket对象

importsocket

clientsocket=socket.socket(socket.AF_INET,socket.SOCK_STREAM)#服务端IP地址和端口号元组

server_address = (‘127.0.0.1‘,1688)#客户端连接指定的IP地址和端口号

clientsocket.connect(server_address)whileTrue:#输入数据

data = raw_input(‘please input:‘)if data == "q":break

if notdata:continue

#客户端发送数据

clientsocket.send(data.encode("utf-8"))#客户端接收数据

server_data = clientsocket.recv(1024)print (‘客户端收到的数据：‘,server_data)#关闭客户端socket

clientsocket.close()

View Code

服务器

#coding:utf-8

importsocket, select

server=socket.socket()

server.bind(("127.0.0.1", 1688))

server.listen(5)

msgs=[]

fd_socket={server.fileno(): server}

epoll=select.epoll()#注册服务器的 写就绪

epoll.register(server.fileno(), select.EPOLLIN)whileTrue:for fd, event inepoll.poll():

sock=fd_socket[fd]print(fd, event)#返回的是文件描述符 需要获取对应socket

if sock == server: #如果是服务器 就接受请求

client, addr =server.accept()#注册客户端写就绪

epoll.register(client.fileno(), select.EPOLLIN)#添加对应关系

fd_socket[client.fileno()] =client#读就绪

elif event ==select.EPOLLIN:

data= sock.recv(2018)if notdata:#注销事件

epoll.unregister(fd)#关闭socket

sock.close()#删除socket对应关系

delfd_socket[fd]print("somebody fuck out...")continue

print(data.decode("utf-8"))#读完数据 需要把数据发回去所以接下来更改为写就绪=事件

epoll.modify(fd, select.EPOLLOUT)#记录数据

msgs.append((sock,data.upper()))elif event ==select.EPOLLOUT:for item inmsgs[:]:if item[0] ==sock:

sock.send(item[1])

msgs.remove(item)#切换关注事件为写就绪

epoll.modify(fd,select.EPOLLIN)

View Code

2. 数据库基础

2.1 数据库相关概念

数据库本质就是一套CS结构的TCP程序，

客户端连接到服务器 向服务器发送指令，来完成数据的操作

2.2 数据库与文件系统的对应关系

一个数据项 name = jerry 本质是文件中某一行的 一部分数据

一条记录 jerry，18，man 本质是文件里的一行数据

一张表 本质是一个文件

数据库文件夹

DBMS DataBaseManagerSystem 数据库管理系统 数据库的服务器端程序

数据库服务器 运行有DBMS的计算机

2.3 安装方式

1.下载解压包

2.解压到某个目录下

3.添加环境变量

将bin所在的完整路径 copy 添加系统的path中

4.作为服务器 应该自启动mysql服务器 需要制系统服务

mysqld --install 运行输入services 查看是是否成功

删除服务 sc delete mysql 如果需要重装的话...

启动服务 net start mysql

停止服务 net stop mysql

2.4 连接到服务器的指令

本质是TCP程序,必须指定ip和端口 ,如果服务器就运行在本机上 可以省略ip 如果端口没改过 也可以省略端口

mysql -hip -P端口 -u用户名 -p密码

实例: mysql -uroot -p

mysql 5.6 默认是没有密码的

2.5 修改管理员密码

1.如果知道原始密码 可以使用mysqladmin 这个工具

mysqladmin -p旧密码  -u用户名 password 新密码

实例: mysqladmin -uroot -p  password 123

2.不知道原始密码的情况

删除密码文件,会删除所有授权信息

跳过授权表 我们可以在启动服务器时 指定让其忽略授权信息

1.先关闭mysql服务器 直接在终端执行 mysqld --skip-grant-tables

2.无密码登录root账户

3.执行更新语句

update mysql.user set password = password("123") where user="root" and host = "localhost";