Django之ORM随笔

ORM概念

对象关系映射（Object Relational Mapping，简称ORM）模式是一种为了解决面向对象与关系数据库存在的互不匹配的现象的技术。简单的说，ORM是通过使用描述对象和数据库之间映射的元数据，将程序中的对象自动持久化到关系数据库中。
ORM在业务逻辑层和数据库层之间充当了桥梁的作用。

ORM由来

几乎所有的软件开发过程中都会涉及到对象和关系数据库。在用户层面和业务逻辑层面，我们是面向对象的。当对象的信息发生变化的时候，我们就需要把对象的信息保存在关系数据库中。
按照之前的方式来进行开发就会出现程序员会在自己的业务逻辑代码中夹杂很多SQL语句用来增加、读取、修改、删除相关数据，而这些代码通常都是重复的。

ORM优势

ORM解决的主要问题是对象和关系的映射。它通常把一个类和一个表一一对应，类的每个实例对应表中的一条记录，类的每个属性对应表中的每个字段。
ORM提供了对数据库的映射，不用直接编写SQL代码，只需像操作对象一样从数据库操作数据。让软件开发人员专注于业务逻辑的处理，提高了开发效率。

ORM劣势

ORM只是一种工具，工具确实能解决一些重复，简单的劳动。这是不可否认的。但我们不能指望某个工具能一劳永逸地解决所有问题，一些特殊问题还是需要特殊处理的。但是在整个软件开发过程中需要特殊处理的情况应该都是很少的，否则所谓的工具也就失去了它存在的意义。

Django中的ORM

使用ORM操作MySQL数据库

一、在Django项目的settings.py文件中将原有的db.sqlite3配置修改成如下信息：

DATABASES = {
    'default': {
        'ENGINE': 'django.db.backends.mysql',#tell django connect mysql database
        'NAME': 'orm',
        'HOST':'127.0.0.1',
        'PORT':3306,
        'USER':'root',
        'PASSWORD':'123456'
    }
}

二、在Django项目的__init__.py文件中写如下代码，告诉Django使用pymysql模块连接MySQL数据库:
django 3.0.4和python3.7 及mysql8.1可以直接导入以下语句

import MySQLdb

否则：

import pymysql
pymysql.install_as_MySQLdb()

三、在Django中model是你数据的单一、明确的信息来源。它包含了你存储的数据的重要字段和行为。通常，一个模型（model）映射到一个数据库表，

基本情况：

每个模型都是一个Python类，它是django.db.models.Model的子类。
模型的每个属性都代表一个数据库字段。
综上所述，Django为您提供了一个自动生成的数据库访问API，详询官方文档链接。

一个书籍信息管理系统例子：

在models.py中建立表

class UserInfo(models.Model):
    id=models.AutoField(primary_key=True)
    email=models.CharField(max_length=20)
    password=models.CharField(max_length=20)

以上代码会像这样创建一个数据库表：

CREATE TABLE UserInfo (
    "id" serial NOT NULL PRIMARY KEY,
    "email" varchar(20) NOT NULL,
    "password" varchar(20) NOT NULL
);

Django支持MySQL5.5及更高版本。
注意数据库升级时备份之前内容，

ORM字段与数据库实际字段对应关系

AutoField(Field)
        - int自增列，必须填入参数 primary_key=True

    BigAutoField(AutoField)
        - bigint自增列，必须填入参数 primary_key=True

        注：当model中如果没有自增列，则自动会创建一个列名为id的列
        from django.db import models

        class UserInfo(models.Model):
            # 自动创建一个列名为id的且为自增的整数列
            username = models.CharField(max_length=32)

        class Group(models.Model):
            # 自定义自增列
            nid = models.AutoField(primary_key=True)
            name = models.CharField(max_length=32)

    SmallIntegerField(IntegerField):
        - 小整数 -32768 ～ 32767

    PositiveSmallIntegerField(PositiveIntegerRelDbTypeMixin, IntegerField)
        - 正小整数 0 ～ 32767
    IntegerField(Field)
        - 整数列(有符号的) -2147483648 ～ 2147483647

    PositiveIntegerField(PositiveIntegerRelDbTypeMixin, IntegerField)
        - 正整数 0 ～ 2147483647

    BigIntegerField(IntegerField):
        - 长整型(有符号的) -9223372036854775808 ～ 9223372036854775807

    BooleanField(Field)
        - 布尔值类型

    NullBooleanField(Field):
        - 可以为空的布尔值

    CharField(Field)
        - 字符类型
        - 必须提供max_length参数， max_length表示字符长度

    TextField(Field)
        - 文本类型

    EmailField(CharField)：
        - 字符串类型，Django Admin以及ModelForm中提供验证机制

    IPAddressField(Field)
        - 字符串类型，Django Admin以及ModelForm中提供验证 IPV4 机制

    GenericIPAddressField(Field)
        - 字符串类型，Django Admin以及ModelForm中提供验证 Ipv4和Ipv6
        - 参数：
            protocol，用于指定Ipv4或Ipv6， 'both',"ipv4","ipv6"
            unpack_ipv4， 如果指定为True，则输入::ffff:192.0.2.1时候，可解析为192.0.2.1，开启此功能，需要protocol="both"

    URLField(CharField)
        - 字符串类型，Django Admin以及ModelForm中提供验证 URL

    SlugField(CharField)
        - 字符串类型，Django Admin以及ModelForm中提供验证支持 字母、数字、下划线、连接符（减号）

    CommaSeparatedIntegerField(CharField)
        - 字符串类型，格式必须为逗号分割的数字

    UUIDField(Field)
        - 字符串类型，Django Admin以及ModelForm中提供对UUID格式的验证

    FilePathField(Field)
        - 字符串，Django Admin以及ModelForm中提供读取文件夹下文件的功能
        - 参数：
                path,                      文件夹路径
                match=None,                正则匹配
                recursive=False,           递归下面的文件夹
                allow_files=True,          允许文件
                allow_folders=False,       允许文件夹

    FileField(Field)
        - 字符串，路径保存在数据库，文件上传到指定目录
        - 参数：
            upload_to = ""      上传文件的保存路径
            storage = None      存储组件，默认django.core.files.storage.FileSystemStorage

    ImageField(FileField)
        - 字符串，路径保存在数据库，文件上传到指定目录
        - 参数：
            upload_to = ""      上传文件的保存路径
            storage = None      存储组件，默认django.core.files.storage.FileSystemStorage
            width_field=None,   上传图片的高度保存的数据库字段名（字符串）
            height_field=None   上传图片的宽度保存的数据库字段名（字符串）

    DateTimeField(DateField)
        - 日期+时间格式 YYYY-MM-DD HH:MM[:ss[.uuuuuu]][TZ]

    DateField(DateTimeCheckMixin, Field)
        - 日期格式      YYYY-MM-DD

    TimeField(DateTimeCheckMixin, Field)
        - 时间格式      HH:MM[:ss[.uuuuuu]]

    DurationField(Field)
        - 长整数，时间间隔，数据库中按照bigint存储，ORM中获取的值为datetime.timedelta类型

    FloatField(Field)
        - 浮点型

    DecimalField(Field)
        - 10进制小数
        - 参数：
            max_digits，小数总长度
            decimal_places，小数位长度

    BinaryField(Field)
        - 二进制类型

字段合集

关系字段 foreignkey

外键类型在ORM中用来表示外键关联关系，一般把ForeignKey字段设置在 '一对多’中’多’的一方。
ForeignKey可以和其他表做关联关系同时也可以和自身做关联关系。

class Book(models.Model):
    id=models.AutoField(primary_key=True)
    title=models.CharField(max_length=20)
    #https://www.cnblogs.com/phyger/p/8035253.html 在django2.0后，定义外键和一对一关系的时候需要加on_delete选项，此参数为了避免两个表里的数据不一致问题
    publisher=models.ForeignKey('Publisher',on_delete=models.CASCADE)

OneToOneField

通常一对一字段用来扩展已有字段。一对一的关联关系多用在当一张表的不同字段查询频次差距过大的情况下，将本可以存储在一张表的字段拆开放置在两张表中，然后将两张表建立一对一的关联关系。

class Author(models.Model):
    name = models.CharField(max_length=32)
    info = models.OneToOneField(to='AuthorInfo')
    

class AuthorInfo(models.Model):
    phone = models.CharField(max_length=11)
    email = models.EmailField()

ManyToManyField

用于表示多对多的关联关系。在数据库中通过第三张表来建立关联关系。

class Author(models.Model):
    id=models.AutoField(primary_key=True)
    name=models.CharField(max_length=16)
    age=models.IntegerField()
    book=models.ManyToManyField(to='Book')#orm自动创建book author关联表

设置ManyTomanyField并指定自行创建的第三张表

class Book(models.Model):
    title = models.CharField(max_length=32, verbose_name="书名")


# 自己创建第三张表，并通过ManyToManyField指定关联
class Author(models.Model):
    name = models.CharField(max_length=32, verbose_name="作者姓名")
    books = models.ManyToManyField(to="Book", through="Author2Book", through_fields=("author", "book"))
    # through_fields接受一个2元组（'field1'，'field2'）：
    # 其中field1是定义ManyToManyField的模型外键的名（author），field2是关联目标模型（book）的外键名。


class Author2Book(models.Model):
    author = models.ForeignKey(to="Author")
    book = models.ForeignKey(to="Book")

    class Meta:
        unique_together = ("author", "book")

最后执行两条命令

python manage.py makemigrations #查询改动，并记录
python manage.py migrate#去数据库中更新改动内容

执行上述语句，更新变更记录到app01中的migrations文件夹中

使用mycharm连接mysql数据库进行视图管理

ORM增删改查操作

增

以book表为例

def add_book(request):
    new_title=request.POST.get('title')
    pub_id=request.POST.get('publisher')
    print(pub_id)
    # pub_name=Publisher.objects.filter(id=pub_id).get()#第一种
    # Book.objects.create(title=new_title,publisher=pub_name)

    Book.objects.create(title=new_title,publisher_id=pub_id)#用id创建
    return redirect('/book_list/')

删

def delete_book(request):
    del_id=request.GET.get('id')
    print(del_id)
    Book.objects.filter(id=del_id).delete()
    return redirect('/book_list/')

改

可采用页面跳转编辑，亦可使用模态框弹出编辑表单

def edit_book(request):
    if request.method=="POST":
        #用户填写信息
        new_book_name=request.POST.get('title')
        new_pub_id=request.POST.get('publisher')#edit_book中表单name属性名称
        print(new_pub_id)
        book_id=request.GET.get('book_id')
        print(book_id, new_pub_id)
        # id=request.POST.get('id') #对应edit.html中第二种编辑方法
        # id=request.GET.get('id')
        #添加到数据库中  书籍
        edit_book_obj=Book.objects.get(id=book_id)
        edit_book_obj.title=new_book_name#在python中更改对象名
        edit_book_obj.publisher_id=new_pub_id
        edit_book_obj.save()#手动提交
        #更新出版社   attention:不能按照id直接修改出版社名称，修改出版社与书对应关系即可
        # Publisher.objects.filter(id=new_pub_id).update(id=new_pub_id)  #⭐⭐⭐⭐⭐⭐⭐⭐

        return redirect('/book_list/')

    id=request.GET.get('id')
    book_obj=Book.objects.get(id=id) #某本书对象，有书名title和id属性
    # name=Publisher.objects.filter(id=id).get()
    # publisher_id=Book.objects.get(id=id).publisher_id
    publisher_all=Publisher.objects.all()
    # publisher_obj=Publisher.objects.get(id=publisher_id)			 

    print(book_obj)
    # print({'name':name})
    # print(publisher_obj)
    return render(request,'edit_book.html',{'pub':publisher_all,'book':book_obj})#把所有的出版社和所选书的对象返回给edit_book页面

def modal_edit_book(request):
    if request.method=='POST':
        # POST获取title，pub_id
        new_book_title=request.POST.get('title')
        pub_id=request.POST.get('publisher')

        book_id=request.GET.get('book_id')
        print( new_book_title, pub_id, book_id)

        edit_book_obj=Book.objects.get(id=book_id)
        edit_book_obj.title=new_book_title

        edit_book_obj.publisher_id=pub_id
        edit_book_obj.save()

        return redirect('/book_list/')
    # return HttpResponse("new_book_title, pub_id")

查

def book_list(request):
    rs=Book.objects.all()

    book_obj=rs[0]
    print(book_obj)
    print(book_obj.publisher.name)

    all_publisher=Publisher.objects.all()

    return render(request,'block_book.html',{"book_list":rs,'publisher_list':all_publisher,'page':'boo'})

外键查询

book.publisher.name    #ORM实现了自动连表查询功能，返回列表

多对多

查询

author_obj.book.all()       #返回一个列表

添加

add_name=request.POST.get('add_name')
            add_age=request.POST.get('add_age')
            book_id_list=request.POST.getlist('book_id')

            print(add_name,book_id_list)
            #创建新作者
            new_obj=Author.objects.create(name=add_name,age=add_age)
            #根据新作者，取其id，更新关系表
            #给刚创建的作者对象添加关联书籍，本质上时在关系表建立
            new_obj.book.add(*book_id_list)#不需要save,*表示打散列表

修改

.set(传入一个列表)，把原来的关系去掉，重新加上新关系

def edit_author(request):
    if request.method=='POST':
        edit_id=request.GET.get('author_id')
        edit_name=request.POST.get('edit_name')
        edit_age=request.POST.get('edit_age')
        edit_book_list=request.POST.getlist('edit_book_id')

        print(edit_id,edit_name,edit_age,edit_book_list)
        # Author.objects.filter(id=edit_id).update(name=edit_name,age=edit_age)
        edit_obj=Author.objects.get(id=edit_id)
        edit_obj.name=edit_name
        edit_obj.age=edit_age
        edit_obj.save()
        
        edit_obj.book.set(edit_book_list)#给力的set，把原来的关系去掉，重新加上新关系
        # Author.objects.filter(id=edit_id).get().book.set(edit_book_list)

    return redirect('/Author_list/')

删除

book_obj.author.clear() #清除关系

ORM进阶操作

QuerySet方法大全

##################################################################
# PUBLIC METHODS THAT ALTER ATTRIBUTES AND RETURN A NEW QUERYSET #
##################################################################

def all(self)
    # 获取所有的数据对象

def filter(self, *args, **kwargs)
    # 条件查询
    # 条件可以是：参数，字典，Q

def exclude(self, *args, **kwargs)
    # 条件查询
    # 条件可以是：参数，字典，Q

def select_related(self, *fields)
    性能相关：表之间进行join连表操作，一次性获取关联的数据。

    总结：
    1. select_related主要针一对一和多对一关系进行优化。
    2. select_related使用SQL的JOIN语句进行优化，通过减少SQL查询的次数来进行优化、提高性能。

def prefetch_related(self, *lookups)
    性能相关：多表连表操作时速度会慢，使用其执行多次SQL查询在Python代码中实现连表操作。

    总结：
    1. 对于多对多字段（ManyToManyField）和一对多字段，可以使用prefetch_related()来进行优化。
    2. prefetch_related()的优化方式是分别查询每个表，然后用Python处理他们之间的关系。

def annotate(self, *args, **kwargs)
    # 用于实现聚合group by查询

    from django.db.models import Count, Avg, Max, Min, Sum

    v = models.UserInfo.objects.values('u_id').annotate(uid=Count('u_id'))
    # SELECT u_id, COUNT(ui) AS `uid` FROM UserInfo GROUP BY u_id

    v = models.UserInfo.objects.values('u_id').annotate(uid=Count('u_id')).filter(uid__gt=1)
    # SELECT u_id, COUNT(ui_id) AS `uid` FROM UserInfo GROUP BY u_id having count(u_id) > 1

    v = models.UserInfo.objects.values('u_id').annotate(uid=Count('u_id',distinct=True)).filter(uid__gt=1)
    # SELECT u_id, COUNT( DISTINCT ui_id) AS `uid` FROM UserInfo GROUP BY u_id having count(u_id) > 1

def distinct(self, *field_names)
    # 用于distinct去重
    models.UserInfo.objects.values('nid').distinct()
    # select distinct nid from userinfo

    注：只有在PostgreSQL中才能使用distinct进行去重

def order_by(self, *field_names)
    # 用于排序
    models.UserInfo.objects.all().order_by('-id','age')

def extra(self, select=None, where=None, params=None, tables=None, order_by=None, select_params=None)
    # 构造额外的查询条件或者映射，如：子查询

    Entry.objects.extra(select={'new_id': "select col from sometable where othercol > %s"}, select_params=(1,))
    Entry.objects.extra(where=['headline=%s'], params=['Lennon'])
    Entry.objects.extra(where=["foo='a' OR bar = 'a'", "baz = 'a'"])
    Entry.objects.extra(select={'new_id': "select id from tb where id > %s"}, select_params=(1,), order_by=['-nid'])

 def reverse(self):
    # 倒序
    models.UserInfo.objects.all().order_by('-nid').reverse()
    # 注：如果存在order_by，reverse则是倒序，如果多个排序则一一倒序


 def defer(self, *fields):
    models.UserInfo.objects.defer('username','id')
    或
    models.UserInfo.objects.filter(...).defer('username','id')
    #映射中排除某列数据

 def only(self, *fields):
    #仅取某个表中的数据
     models.UserInfo.objects.only('username','id')
     或
     models.UserInfo.objects.filter(...).only('username','id')

 def using(self, alias):
     指定使用的数据库，参数为别名（setting中的设置）


##################################################
# PUBLIC METHODS THAT RETURN A QUERYSET SUBCLASS #
##################################################

def raw(self, raw_query, params=None, translations=None, using=None):
    # 执行原生SQL
    models.UserInfo.objects.raw('select * from userinfo')

    # 如果SQL是其他表时，必须将名字设置为当前UserInfo对象的主键列名
    models.UserInfo.objects.raw('select id as nid from 其他表')

    # 为原生SQL设置参数
    models.UserInfo.objects.raw('select id as nid from userinfo where nid>%s', params=[12,])

    # 将获取的到列名转换为指定列名
    name_map = {'first': 'first_name', 'last': 'last_name', 'bd': 'birth_date', 'pk': 'id'}
    Person.objects.raw('SELECT * FROM some_other_table', translations=name_map)

    # 指定数据库
    models.UserInfo.objects.raw('select * from userinfo', using="default")

    ################### 原生SQL ###################
    from django.db import connection, connections
    cursor = connection.cursor()  # cursor = connections['default'].cursor()
    cursor.execute("""SELECT * from auth_user where id = %s""", [1])
    row = cursor.fetchone() # fetchall()/fetchmany(..)


def values(self, *fields):
    # 获取每行数据为字典格式

def values_list(self, *fields, **kwargs):
    # 获取每行数据为元祖

def dates(self, field_name, kind, order='ASC'):
    # 根据时间进行某一部分进行去重查找并截取指定内容
    # kind只能是："year"（年）, "month"（年-月）, "day"（年-月-日）
    # order只能是："ASC"  "DESC"
    # 并获取转换后的时间
        - year : 年-01-01
        - month: 年-月-01
        - day  : 年-月-日

    models.DatePlus.objects.dates('ctime','day','DESC')

def datetimes(self, field_name, kind, order='ASC', tzinfo=None):
    # 根据时间进行某一部分进行去重查找并截取指定内容，将时间转换为指定时区时间
    # kind只能是 "year", "month", "day", "hour", "minute", "second"
    # order只能是："ASC"  "DESC"
    # tzinfo时区对象
    models.DDD.objects.datetimes('ctime','hour',tzinfo=pytz.UTC)
    models.DDD.objects.datetimes('ctime','hour',tzinfo=pytz.timezone('Asia/Shanghai'))

    """
    pip3 install pytz
    import pytz
    pytz.all_timezones
    pytz.timezone(‘Asia/Shanghai’)
    """

def none(self):
    # 空QuerySet对象


####################################
# METHODS THAT DO DATABASE QUERIES #
####################################

def aggregate(self, *args, **kwargs):
   # 聚合函数，获取字典类型聚合结果
   from django.db.models import Count, Avg, Max, Min, Sum
   result = models.UserInfo.objects.aggregate(k=Count('u_id', distinct=True), n=Count('nid'))
   ===> {'k': 3, 'n': 4}

def count(self):
   # 获取个数

def get(self, *args, **kwargs):
   # 获取单个对象

def create(self, **kwargs):
   # 创建对象

def bulk_create(self, objs, batch_size=None):
    # 批量插入
    # batch_size表示一次插入的个数
    objs = [
        models.DDD(name='r11'),
        models.DDD(name='r22')
    ]
    models.DDD.objects.bulk_create(objs, 10)


	#实例#############################
from datetime import data,datetime
    obj_list=(Publisher(name='广州第{}出版社'.format(i),addr='深圳市',data=data.today()) for i in range (100))
    Publisher.objects.bulk_create(obj_list)
    ###################################################

def get_or_create(self, defaults=None, **kwargs):
    # 如果存在，则获取，否则，创建
    # defaults 指定创建时，其他字段的值
    obj, created = models.UserInfo.objects.get_or_create(username='root1', defaults={'email': '1111111','u_id': 2, 't_id': 2})

def update_or_create(self, defaults=None, **kwargs):
    # 如果存在，则更新，否则，创建
    # defaults 指定创建时或更新时的其他字段
    obj, created = models.UserInfo.objects.update_or_create(username='root1', defaults={'email': '1111111','u_id': 2, 't_id': 1})

def first(self):
   # 获取第一个

def last(self):
   # 获取最后一个

def in_bulk(self, id_list=None):
   # 根据主键ID进行查找
   id_list = [11,21,31]
   models.DDD.objects.in_bulk(id_list)

def delete(self):
   # 删除

def update(self, **kwargs):
    # 更新

def exists(self):
   # 是否有结果

QuerySet方法大全

参考资源