- 博客(30)
- 收藏
- 关注
RSS订阅转载 多线程与多进程 异步IO python
1 性能相关在编写爬虫时，性能的消耗主要在IO请求中，当单进程单线程模式下请求URL时必然会引起等待，从而使得请求整体变慢。1.1 同步执行import requestsdef fetch_async(url): response = requests.get(url) return responseurl_list = ['http://www.github.com...
2018-10-22 15:41:42
756
转载 Http消息头中常用的请求头和响应头
Http消息头中常用的请求头和响应头作为Web开发对常用http的请求头和响应头熟悉了解一下还是很有必要的。比如请求头中Content-type指定了请求的内容，若类型是 application/x-www-form-urlencoded，就可以调用reqeust的获取参数方法取到内容，若是其它都需要调用获取流的方 法获取。又比如响应头X-Frame-Options 的设置直接决定了你的页面是否...
2018-09-25 16:30:18
3419
转载 HTTP请求头中各字段解释
Accept : 浏览器（或者其他基于HTTP的客户端程序）可以接收的内容类型（Content-types）,例如 Accept: text/plainAccept-Charset：浏览器能识别的字符集，例如 Accept-Charset: utf-8Accept-Encoding：浏览器可以处理的编码方式，注意这里的编码方式有别于字符集，这里的编码方式通常指gzip,deflate等。例如 ...
2018-09-25 16:29:46
16712
转载 mysql数据库-变量
MySql中的变量定义，根据MySQL手册，mysql的变量分为两种：系统变量和用户变量。但是在实际使用中，还会遇到诸如局部变量、会话变量等概念。根据个人感觉，mysql变量大体可以分为四种类型：1、局部变量。局部变量一般用在sql语句块中，比如存储过程的begin/end。其作用域仅限于该语句块，在该语句块执行完毕后，局部变量就消失了。局部变量一般用declare来声明，可以使用...
2018-08-09 02:01:37
1562
原创 python操作mysql数据库
1 创建数据库的连接conn = MySQLdb.connect("localhost","root","jkkjkk","shopmarket",charset="utf8")Connect() 方法用于创建数据库的连接，里面可以指定参数：主机，用户名，密码，数据库名等信息。 这只是连接到了数据库，要想操作数据库需要创
2018-08-09 01:42:57
132
原创 mysql数据库—事务
“一次性执行”的过程，可以称为“一个事务”。 简单来说，“一条ｓｑｌ语句，就是一个事务”。 数据库（自然包括mysql数据库）中的事务，是指，可以将“多条语句”的执行，当作“一条语句”来看到的一种内部机制。 即：“事务”是一种可以保证“多条语句一次性执行完成”或“一条都不执行”的机制。 事务可以看作是一个“容器”，将多条语句，放入该容器，最后，只要一个命令行，来决定其中...
2018-08-08 23:33:43
389
原创 mysql数据库-存储过程
SQL语句需要先编译然后执行，而存储过程（Stored Procedure）是一组为了完成特定功能的SQL语句集，经编译后存储在数据库中，用户通过指定存储过程的名字并给定参数（如果该存储过程带有参数）来调用执行它。 存储过程就是一个没有返回值数据值的“函数”。 存储过程是可编程的函数，在数据库中创建并保存，可以由SQL语句和控制结构组成。当想要在不同的应用程序或平台上执行相...
2018-08-08 23:02:59
100
原创 MYSQL语言 DDL DML DQL DCL
SQL结构化查询语言： DDL（数据定义语言）：用于创建删除数据库对象等操作 create（创建） drop（删除） alter（修改） DML（数据操作语言）：用来操作数据库中所包含的数据 insert （插入） update （修改） delete （删除） DQL(数据查询语言）：用来对数据库中的数据进行查询 select（查询） DCL（数据控制语言）：用来控制数据库组件的存...
2018-08-08 22:55:09
590
转载 MySQL日期函数整理
1、DAYOFWEEK(date)SELECT DAYOFWEEK(‘2016-01-16') SELECT DAYOFWEEK(‘2016-01-16 00:00:00') 7 (表示返回日期date是星期几，记住：星期天=1，星期一=2， … 星期六=7)2、WEEKDAY(date)SELECT WEEKDAY(‘2016-01-16') SELECT WEEK...
2018-07-22 20:13:45
381
1
转载 mySQL字符串函数整理
一、ASCIIASCII(str)返回字符串str的最左面字符的ASCII代码值。如果str是空字符串，返回0。如果str是NULL，返回NULL。二、ORDORD(str)如果字符串str最左面字符是一个多字节字符，通过以格式((first byte ASCII code)*256+(second byte ASCII code))[*256+third byte ASCII...
2018-07-22 19:49:10
120
原创 数据库mySQL基础
1 数据库数据库（Database）：是按照数据结构来组织、存储和管理数据的仓库。 数据库是一些关联表的集合作用存储大量数据，方便检索和访问 保持数据信息的一致、完整 共享和安全 通过组合分析，产生新的有用信息2 时下流行的数据库OracleOracle公司的产品 产品免费、服务收费SQL Server针对不同用户群体的多个版本 易用性好...
2018-07-17 23:40:01
161
原创 使用python编写三个吃货吃馒头与一个伙夫生产馒头（线程与锁）
一个伙夫蒸馒头（生产者，售票），要求蒸够10个，等待，并唤醒吃馒头的人 三个吃货吃馒头（消费者，买票），要求同时吃，当任何一个人发现没馒头了，唤醒伙夫。 生产者是一堆线程，消费者是另一堆线程，内存缓冲区可以使用List数组队列，数据类型只需要定义一个简单的类就好。关键是如何处理多线程之间的协作。这其实也是多线程通信的一个范例。 在这个模型中，最关键就是内存缓冲区为空的时候消费者必须等...
2018-07-15 19:53:24
649
原创 thread线程
1 线程基本概念： 线程:进程中的每个子任务，不能独立存在 进程:独立的所有子任务的集合 线程，进程:目的都是想同时完成任务 特点: 进程的特点:独立(内存独立，cpu使用独立)启动进程开销大(速率低)，进程之间很难共享数据，和数据通信，数据安全高。def a(): 加锁 b() 释放锁def b(): 加锁 a() ...
2018-07-13 11:09:45
412
原创 网络编程
1 基础了解 网络协议网络根据地域âï分为三类：局域网()、城域网(几十公里)、广域网(www)IP地址IP地址是由4个8位组成，每一个数字不能大于255， 00000000.00000000.00000000.00000000由网络IP+本机IP组成，分类五类： A:1.0.0.0~126.255.255.255 (127.0.0.1,localhost是本地回环地址)例...
2018-07-10 21:42:52
141
原创 XML解析
1 XMLXML 指可扩展标记语言（eXtensible Markup Language）。 你可以通过本站学习 XML 被设计用来传输和存储数据。XML是一套定义语义标记的规则：配置文件 1.标签成对出现 2.区分大小写 3.标签要正确嵌套 4.开始部分 5.只能有一个根节点 6.节点可以有属性DTD(Document Type Definit...
2018-07-05 11:56:50
149
原创 闭包与装饰器
1闭包所谓闭包，就是将组成函数的语句和这些语句的执行环境打包在一起时，得到的对象。 闭包作用: 1.封装 2.代码复用 包括了外部函数的局部变量，这些局部变量在外部函数返回后也继续存在，并能被内部函数引用。LEGB原则：函数对变量进行引用时 按照 LEGB的顺序进行查找： L：local函数内部作用域 E：enclosing函数内部与内嵌函数之间 G：...
2018-07-03 11:09:40
406
原创 python迭代器和生成器
1 推到推导式是可以从一个数据序列构建另一个新的数据序列的结构体， 共有三种推导： 列表(list)推导式 字典(dict)推导式 集合(set)推导式列表(list)推导式使用[]生成list#实现数字0-9的平方组成的列表squares = [x**2 for x in range(10)]print(squares) 结果： [0, 1, 4, 9...
2018-06-28 21:15:36
151
原创 Python 异常和日志
一 异常1 异常异常通常可以看做是程序的错误，代表程序是有缺陷的。异常类型异常 描述 BaseException 所有异常的基类 SystemExit 解释器请求退出 Exception 常规错误的基类 StopIteration 迭代器没有更多的值 GeneratorExi...
2018-06-26 11:45:40
527
原创 面向对象---类的封装，继承，多态
类的封装和私有化： 封装：set/get 赋值/输出私有化：方法 或者属性 前面添加上 __ 即可 这样的话外部无法访问，但可以通过方法来访问 举例：class Student(): def set_name(self,name): self.name=name def get_name(self): return self.name def ...
2018-06-24 21:24:10
134
原创 面向对象--类和对象
1 类和对象类(Class)：用来描述具有相同的属性和方法的对象的集合。它定义了该集合中每个对象所共有的属性和方法。 对象是类的实例。 类里可以有多个属性，也可以有多个方法。同时也有自己的字段。 这里的属性 官方语言叫做 类变量，属于这个类的公用部分，谁都可以来用，所以通常不作为实例变量使用，就是一个符号。而方法，则是在类中 定义的函数，可以理解为类的行为部分...
2018-06-19 23:40:36
176
原创 匿名函数及内置函数
1 匿名函数python 使用 lambda 来创建匿名函数语法：lambda [arg1 [,arg2,.....argn]]:expressionlambda 只是一个表达式，函数体比 def 简单很多。 lambda的主体是一个表达式，而不是一个代码块。仅仅能在lambda表达式中封装有限的逻辑进去。 lambda 函数拥有自己的命名空间，且不能访问自己参数列表之外或全局命名空间里的参数。 ...
2018-06-19 22:46:42
545
转载 python——赋值、浅拷贝、深拷贝
直接赋值：其实就是对象的引用（别名）。浅拷贝(copy)：拷贝父对象，不会拷贝对象的内部的子对象。深拷贝(deepcopy)： copy 模块的 deepcopy 方法，完全拷贝了父对象及其子对象。解析1、b = a: 赋值引用，a 和 b 都指向同一个对象。2、b = a.copy(): 浅拷贝, a 和 b 是一个独立的对象，但他们的子对象还是指向统一对象（是引用）。3、b = copy.de...
2018-06-12 17:53:32
109
原创 字符串总结及练习
#! /usr/bin/env python# -*- coding: utf-8 -*-# __author__ = "DaChao"# Date: 2017/6/7# x = "234567ASDsdfghj" #切片和索引# print(x[2:-2])# print(x[2])# x = "hello" #显示字符串长度，注意是从1开始# print(len(x))# x = ...
2018-06-10 17:55:34
215
原创 正则表达式
正则表达式是一个特殊的字符序列，它能帮助你方便的检查一个字符串是否与某种模式匹配。eg：IP地址的正则表达式 (\d{1,3}\.){3}\d{1,3}1 正则表达式模式 ^ 匹配字符串的开头$ 匹配字符串的末尾。. 匹配任意字符，除了换行符，当re.DOTALL标记被指定时，则可以匹配包括换行符的任意字符。[...] 用来表示一组字符,单独列出：[am...
2018-06-07 19:41:25
112
原创 python列表 元组 字典 集合
1.列表的数据项不需要具有相同的类型创建一个列表，只要把逗号分隔的不同的数据项使用方括号括起来即可list1 = ['Google', 'Runoob', 1997, 2000];print ("list1[0]:", list1[0])列表也可以使用切片：原来字符串的切片这里也可以用print(list[1:3])2.列表的增、删、改、查(insert,delete,update,query)增...
2018-06-07 16:07:53
333
原创 python字符串
1.单引、双引号都可以定义字符串 三引号允许一个字符串跨多行print('''helloworld\vend\t''')2.可以使用中括号和下标来获取单个字符，或截取字符串: mystr[1]获取单个字符切片字符串： mystr[1:5]截取1到4下标的字符串 mystr[:6]截取从0到5下标的字符串 mystr[: ]打印所有 mystr[3: ]打印从3开始到最后一个字符，即第一个冒号后面什...
2018-06-05 20:07:11
191
原创 python循环
1 for循环 一般循环次数有限，其步长可以不是1，可以为负输入9*9乘法表for i in range(1,10): for j in range(1,i): print(j,'*',i,'=',j*i,end='\t') print()输入裴波那列序数1,1,2,3,5,8，13,21a=0b=1print(b,end="\t")for i i...
2018-06-03 14:39:06
247
原创 python基础
1. python语言即可以面向对象，也可面向过程，93年出来，刚出来引起具备函数较多，多用于数学领域方面的研究。 java语言面向对象，95年出来。 c语言面向过程，之后c++可以面向对象2. 数据类型 两大类：基本数据类型 eg：int double float 存储于栈内（先进后出） 引用数据类型 eg：string 类 数组 存储于堆...
2018-05-31 03:17:29
139
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人