AI吕小布

原创 MySQL 行锁 表锁

1、数据引擎： innoDB 行锁 事务优先原则 缺点：性能损耗大 优点：并发能力强如果没有索引，则行锁会转为表锁。行锁的特殊情况：间隙锁（值在范围内，但不存在）2、数据引擎： MYISAM 表锁 性能优先...

原创 MySQL 索引失效原因

type:system>const>ref_eq>ref>range>index>all1、尽量不要使用类型转换，否则导致索引失效。select name from user where name = 123;（name字段为varchar类型）2、like尽量以常量开头，不要以‘%’开头，否则索引失效。如果必须使用模糊查询，可以使用索引覆盖挽救...

原创 列表转置的几种方法

a_list = [2, 6, 5]1、 a_list.reverse()2、 print(a_list[::-1])3、 print(list(reversed(a_list)))4、n_list = []index = len(a_list)for v in a_list:n_list.append(a_list[index-1])index -= 1pri...

原创 python 有趣的工具类

heapq"""从列表中找出最大的或最小的N个元素堆结构(大根堆/小根堆)"""import heapqlist1 = [34, 25, 12, 99, 87, 63, 58, 78, 88, 92]list2 = [ {'name': 'IBM', 'shares': 100, 'price': 91.1}, {'name': 'AAPL', 'shares':...

原创 django实现聊天室、消息推送

Django-channel可以做什么 在Django中，默认使用的是HTTP通信，不过这种通信方式有个很大的缺陷，就是不能很好的支持实时通信。如果硬是要使用HTTP做实时通信的话只能在客户端进行轮询了，不过这样做的开销太大了。因此，在1.9版本之后，Django实现了对Channels的支持，他所使用的是WebSocket通信，解决了实时通信的问题，而且在使用WebSocket进行通...

原创 python字符串操作

def main(): str1 = 'hello, world!' # 通过len函数计算字符串的长度 print(len(str1)) # 13 # 获得字符串首字母大写的拷贝 print(str1.capitalize()) # Hello, world! # 获得字符串变大写后的拷贝 print(str1.upper()) #...

原创 python编写小技巧

1、实现计算求最大公约数和最小公倍数的函数def gcd(x, y): (x, y) = (y, x) if x > y else (x, y) for factor in range(x, 0, -1): if x % factor == 0 and y % factor == 0: return factordef lc...

原创 datetime转字符串

import datetimedata_now = datetime.datetime.now()print(type(data_now))data_str = str(data_now)print(type(data_str))print(data_str[:19])data_strf = data_now.strftime("%Y-%m-%d %H:%m:%S")...

原创 脚本项目设置工作目录

import osimport syssys_base_path = os.path.abspath(__file__)sys.path.append(os.path.normpath(os.path.join(sys_base_path, '../..')))

原创 hadoop_hive_mysql搭建服务器

1.集群规划集群节点分配 主机名 主机IP master 192.168.100.100 slave1 192.168.100.101 slave2 192.168.100.102 slave3 192.168.100.103 软件版本 软件名称 版本号 Java 1.8.0_152 CentOS CentOS...

原创 MySQL 数值函数

原创 MySQL 字符串函数

字符串函数是最常用的一种函数，如果读者编写过程序，不放回头看看自己使用过的函数，可能会惊讶的发现字符串处理的相关函数占使用过函数的很大一部分。在MySQL中字符串函数同样是最丰富的一类函数。1、CONCAT(s1, s2, s3,...)作用：把传入的参数连接为一个字符串，另外任何字符串与为NULL的字符串连接的结果都将为NULL。实例：2、INSERT(str, x, y, ...

原创 django POST、GET请求后台接受参数的方式

1、GET请求request.GET["id"]request.GET.get("id")2、POST请求request.POST["id"]request.POST.get("id")

原创 mysql 时间 字段分析

1、datetime 类型数据类型：`add_date` datetime NOT NULL,数据：2018-06-11 08:00:492、int类型的时间戳数据类型：`add_date` int(11) DEFAULT '0' COMMENT '添加时间',数据：1512740349...

原创 sql date操作

    1.DATE_SUB(date,INTERVAL expr unit)函数从日期减去指定的时间间隔。SELECT DATE_SUB(NOW(),INTERVAL 30 DAY)    2.DATE_ADD(date,INTERVAL expr unit)函数从日期加上指定的时间间隔。SELECT DATE_ADD(NOW(),INTERVAL 30 DAY)    3.DATEDIFF(e...

原创 vue 小结

1、理解Vue是一套用于构建用户界面的渐进式框架。采用简洁的模板语法来声明式地将数据渲染进 DOM 的系统。Vue的数据和 DOM 建立关联，所有东西都是响应式的。Vue拥有组件系统，因为它是一种抽象，允许我们使用小型、独立和通常可复用的组件构建大型应用。2、Vue的v-bind和v-on指令v-bind 缩写 ：V-on 缩写 on3、与Django比较（1）、页面都通过路由进行转换。Vue路由...

原创 MYSQL 时间格式化

将时间格式化为 2018-06-11 09:15:08 格式SELECT DATE_FORMAT(NOW(),'%Y-%m-%d %H:%i:%s')结果为：    2.获取当时时间（默认时间格式为：2018-06-11 09:41:42）SELECT NOW()结果为：    3.获取当时时间戳（10位）select unix_timestamp(now())或则使用：SELECT UNIX_T...

原创 模板系统False

模板系统False在Python和Django模板系统中，以下这些对象相当于布尔值的False空列表([])空元组(())空字典({})空字符串('')零值(0)特殊对象None对象False（很明显）提示：你也可以在自定义的对象里定义他们的布尔值属性(这个是python的高级用法)。除以上几点以外的所有东西都视为“True”...

原创 Python 列表类型

Python 列表类型 一点提示： Python的列表是从0开始索引。 第一项的索引是0，第二项的是1，依此类推。句点查找规则可概括为：当模板系统在变量名中遇到点时，按照以下顺序尝试进行查找：字典类型查找 （比如 foo["bar"] )属性查找 (比如 foo.bar )方法调用 （比如 foo.bar() )列表类型索引查找 (比如 foo[bar] )句点查找可以多级深度嵌套。 例如在下面这...

原创 Vue在Windows系统下本地项目的安装与部署

Vue在Windows系统下本地项目的安装与部署一、项目的前期准备1、node.js 的安装Vue项目通常通过webpack工具来构建，而webpack命令是依赖node.js开发环境的，所以首先要安装node.js。node.js的官方地址为：https://nodejs.org/en/download/，下载相应的版本。测试是否安装成功：在终端输入npm若显示npm相关命令则安装成功。2、cn...

原创 python Django QuerySet 切片操作

Person.objects.all()[:10] 切片操作，前10条Person.objects.all()[-10:] 会报错！！！# 1. 使用 reverse() 解决Person.objects.all().reverse()[:2] # 最后两条Person.objects.all().reverse()[0] # 最后一条# 2. 使用 order_by，在栏目名（column na...

原创 Uncaught SyntaxError: Unexpected token ILLEGAL

在Python中Django的模板渲染中出现的错误。如下是原因及解决方案。原因：views.pyfrom __future__ import unicode_literalsfrom django.shortcuts import render def home(request): List = ['自强学堂', '渲染Json到模板'] return render(re...

原创 microsoft visual c++ 14.0 is required

安装爬虫框架scrapy时出现这个问题。需要文件：Twisted-17.9.0-cp36-cp36m-win_amd64.whl这里是下载地址：点击打开链接可能有些电脑下载太慢，所以这里有我网盘上的地址：文件下载地址：链接: https://pan.baidu.com/s/1VchV8bBm4AywNOVieySTFA 密码: r99d下载这个文件后安装方法：1.pip install Twist...

原创 MySQL UNIQUE制约

UNIQUE制约（唯一性制约）：是禁止设置重复的值的制约。UNIQUE制约（唯一性制约）与定义主键制约（PRIMARY KEY）有点相似，主键制约要求【不可重复】和【非UNLL】两点，而唯一性制约只要求【不可重复】。也就是唯一性制约的列中是可以设置NULL的，但是根据数据库的不同，有允许多个位NULL记录，有的只允许一个记录中设置NULL。另外主键制约在一个表中只能用一次（将多个列定义为复合主键，...

原创 MySQL创建操作数据库的专用用户

创建好数据库后，可以通过管理者（root）登陆数据库进行各种操作。但是从安全角度来说，使用管理者（root）权限对所有的数据库进行操作并不太合适。要创建操作数据库的专用用户，可以使用如下语法：创建新用户并赋予其对数据库操作的权限：GRANT ALL PRIVILEGES ON 数据库名.* 用户名@localhost IDENTIFIED BY 密码；例如：GRANT ALL PRIVILEGES...

原创 引用计数

举个例子说明引用是什么：a = 1如上为一个简单的赋值语句，1就是对象，a就是引用，引用a指向对象1。 同理：b = 1b也是对象1的引用。 通过内置函数id()返回对象的地址。print id(a) #43220320print id(b) #43220320当我们创建多个等于1的引用时，实际上是让所有这些引用指向同一个对象。为了检验两个引用指向同一个对象，我们可以用is关键字。is用于判断两个...

原创 HTTP状态码及其含义（详细）

状态代码  状态信息  含义  100  Continue  初始的请求已经接受，客户应当继续发送请求的其余部分。（HTTP 1.1新）  101  Switching Protocols  服务器将遵从客户的请求转换到另外一种协议（HTTP 1.1新）  200  OK  一切正常，对GET和POST请求的应答文档跟在后面。 201  Created  服务器已经创建了文档，Location头给...

原创 python 中的模块、库、包、框架

python模块（module） 自我包含并且有组织的代码片段为模块。 表现形式为：写的代码保存为文件。这个文件就是一个模块。sample.py 其中文件名smaple为模块名字。python包（package） 包是一个有层次的文件目录结构，它定义了由n个模块或n个子包组成的python应用程序执行环境。通俗一点：包是一个包含__ini...

原创 python3 IO模块源代码查询方式

在磁盘上读写文件的功能都是由操作系统提供的，现代操作系统不允许普通的程序直接操作磁盘，所以，读写文件就是请求操作系统打开一个文件对象（通常称为文件描述符），然后，通过操作系统提供的接口从这个文件对象中读取数据（读文件），或者把数据写入这个文件对象（写文件）。但对于一些想要深入学习IO模块的人，就需要对源码进行学习。但是IO文件不像普通的文件那样我们可以轻易查找，这里给大家提供一些方法。第一步我们在...

转载 python3 IO

在磁盘上读写文件的功能都是由操作系统提供的，现代操作系统不允许普通的程序直接操作磁盘，所以，读写文件就是请求操作系统打开一个文件对象（通常称为文件描述符），然后，通过操作系统提供的接口从这个文件对象中读取数据（读文件），或者把数据写入这个文件对象（写文件）。读文件要以读文件的模式打开一个文件对象，使用Python内置的open()函数，传入文件名和标示符：>>> f = open...

原创 python2与python3的区别

1.print（）函数python3的print为一个函数，使用时必须用括号括起来。python2的print为一个类。2.input（）函数python3的input（）函数得到一个str数据类型。Python 2.7.6[GCC 4.0.1 (Apple Inc. build 5493)] on darwinType “help”, “copyright”, “credits” or “l...

转载 HTTP基本原理

在本节中，我们会详细了解HTTP的基本原理，了解在浏览器中敲入URL到获取网页内容之间发生了什么。了解了这些内容，有助于我们进一步了解爬虫的基本原理。1. URI和URL这里我们先了解一下URI和URL，URI的全称为Uniform Resource Identifier，即统一资源标志符，URL的全称为Universal Resource Locator，即统一资源定位符。举例来说，https:...

转载 MongoDB下载、安装和如何设置开机自启服务

MongoDB是由C++语言编写的非关系型数据库，是一个基于分布式文件存储的开源数据库系统，其内容存储形式类似JSON对象，它的字段值可以包含其他文档、数组及文档数组，非常灵活。MongoDB支持多种平台，包括Windows、Linux、Mac OS、Solaris等，在其官方网站（https://www.mongodb.com/download-center）均可找到对应的安装包。1.相关链接官...

原创 scrapy各组件详解

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。1.Scrapy ...

原创 scrapy连接MySQL数据库爬取英雄联盟英雄传记

作为一位对联盟游戏的爱好者，学习爬虫的时候也以这款游戏作为对象。这个项目使用的python版本：3.6.0，scrapy使用的版本：1.11。参照这篇博客即便是不会爬虫的小白也可以带你做出一个完整的scrapy项目。废话不多说现在就开始吧。这里是github地址：GitHub第一步：新建一个scrapy项目scrapy startproject LOL使用Windows PowerShell 执行...