- 博客(32)
- 收藏
- 关注
RSS订阅原创 MySQL 数据库（一）
MySQL 数据库（一）一、数据库概述1.概述特指计算机软件的一种， 按照一定的数据结构来存储和管理数据的仓库，处理数据主要放在磁盘和内存中。2.数据库分类关系型数据库（SQL），由多张互相连接的二维行列表格组成的数据库。优点：容易理解使用方便易于维护缺点：i/o瓶颈（读写速度慢）扩展性不够（修改结构麻烦）非关系型数据库 NoSQL（Not Only SQ...
2020-04-23 20:38:28
296
原创 scrapy爬取王者荣耀皮肤
Scrapy爬取王者荣耀皮肤一、项目需求爬取王者荣耀官网（https://pvp.qq.com/）所有皮肤图片要求：英雄名作为文件夹名皮肤名作为图片名称皮肤图片按所属英雄存入对应的文件夹二、项目解析定义items文件，设置hero_name、pf_names、image_urls、images字段分析网页，确定抓取思路设置spider文件，抓取所有英雄名称、皮肤名称、图片...
2019-12-02 16:48:38
1288
原创 scrapy框架基础
scrapy框架基础一、Scrapy Shell1.简介Scrapy Shell是用来调试Scrapy项目代码的命令行工具，启动的时候预定义了Scrapy的一些对象Scrapy Shell的作用：调试2.设置Scrapy 的shell是基于运行环境中的python 解释器shell，本质上就是通过命令调用shell，并在启动的时候预定义需要使用的对象scrapy允许通过在项目配置文件...
2019-11-29 15:35:23
792
2
原创 scrapy框架入门
scrapy框架入门一、Scrapy框架介绍1.框架简介Scrapy是纯Python开发的一个高效，结构化的网页抓取框架Scrapy使用了Twisted 异步网络库来处理网络通讯Scrapy是为了爬取网站数据，提取结构性数据而编写的应用框架Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试2.模块安装scrapy支持Python2.7和python3.4以上版本pyth...
2019-11-29 15:34:24
369
2
原创 User-Agent
User-AgentUser Agent中文名为用户代理，是Http协议中的一部分，属于头域的组成部分，简称UA。它是一个特殊字符串头，是一种向访问网站提供你所使用的浏览器类型及版本、操作系统及版本、浏览器内核、等信息的标识，通过这个标识，用户所访问的网站可以显示不同的排版从而为用户提供更好的体验或者进行信息统计0.User-Agent池MY_USER_AGENTS = [ ...
2019-11-29 15:32:45
823
原创 fiddler抓包工具
fiddler抓包工具一、fiddler1.安装Fiddler官方网站下载安装：https://www.telerik.com/fiddlerFiddler在官网上有提供非常详细的文档和教程，可直接查阅官网文档2.配置抓包工具抓取HTTPS的包的时候跟HTTP的直接转发是不同的，所以需要配置HTTPS的证书：Tools》options》HTTPS》勾上所有选项》勾选上下方出现的两个选项...
2019-11-29 15:31:30
345
原创 requests库
requests库一、简介1.简介Requests是一个优雅而简单的Python HTTP库，是有史以来下载次数最多的Python软件包之一，作者是Kenneth Reitz2. 安装pip install requests3.官方文档中文文档：http://cn.python-requests.org/zh_CN/latest/英文文档：http://docs.python-re...
2019-11-29 15:26:32
202
原创 urllib库
urllib库一、urllib简介urllib 是一个用来处理网络请求的python内置标准库，它包含4个模块urllib.request：HTTP请求模块，用于模拟浏览器发起网络请求urllib.parse：解析模块，用于解析URLurllib.error：异常处理模块，用于处理request引起的异常urllib.robotparser：用于解析robots.txt文件，应用较少...
2019-11-29 15:25:00
4940
原创 网络编程
网络编程一、网络模型1.osi 七层网络模型OSI模型，即开放式通信系统互联参考模型，是国际标准化组织(ISO)提出的一个试图使各种计算机在世界范围内互连为网络的标准框架，简称OSI。这是一种事实上被TCP/IP 4层模型淘汰的协议，在当今世界上没有大规模使用具体七层数据格式功能连接方式典型设备应用层用户的应用程序和网络之间的接口计算机表示层协商数据...
2019-11-29 15:23:50
265
原创 爬虫基础
爬虫基础一、HTTP基本原理1.应用架构c/s 即 client server 客户端 服务端b/s 即 browser server 浏览器 服务端m/s 即 moblie server 移动端 服务端2.URI和URLURI中文是统一资源标志符，URL中文是统一资源定位符URI包含URL和URN，URN用得非常少，URN只命名资源而不指定如何定位资源，发送http请求时，...
2019-11-29 15:10:30
196
原创 BS4解析库
Beautiful Soup4解析库一、简介1.简介BeautifulSoup 是一个从HTML或XML文件中提取数据的Python解析库，使用方式简单方便，借助网页的结构和属性等特性来解析网页2.安装pip install beautifulsoup43.官方中文文档https://www.crummy.com/software/BeautifulSoup/bs4/doc/inde...
2019-11-29 15:07:27
1147
原创 XPath解析库
XPath解析库一、简介1.简介XPath，全称XML Path Language，即XML路径语言，它是一门在XML文档中查找信息的语言，最初用于搜索XML文档，但同样适用于HTML文档的搜索，选择功能强大2.安装在python中很多库都提供XPath的功能，但是最流行的还是lxml这个库，效率最高pip install lxml3.官方文档https://www.w3.org/...
2019-11-29 15:06:32
411
原创 正则表达式
正则表达式一、正则表达式语法1.普通字符英文半角字符，匹配时只匹配与自身相同的一个字符2.元字符元字符：表示一些特殊的含义，一般不是指具体字符表达式匹配.匹配除换行符\n以外的任意一个字符|逻辑或操作符[]匹配字符集中的一个字符[^]对字符集求反，尖号必须在方括号里的最前面-定义[]里的一个字符区间，例如[a-z]\对紧跟其...
2019-11-29 15:05:43
120
原创 python操作数据库
python操作数据库一、python操作MySQL1.PyMySQL介绍PyMySQL是一个纯python的MySQL客户端库，它大多数API都兼容了mysqlclient， MySQLdb版本支持：python 2.7 ，3.5+MySQL server 5.5 +安装：pip install pymysql官方文档：https://pymysql.readt...
2019-11-28 13:58:35
241
原创 MongoDB
MongoDB一、认识MongoDB1.MongoDB简介由C++编写，基于分布式文件存储的开源数据库系统旨在为WEB应用提供可扩展的高性能数据存储方案将数据存储为文档，数据结构由键值对组成，类似于JSON对象{ name: "zzh"， age：18， hobby： ['run', 'eat']}2.数据模型mongodb基本概念，文档，集合，数据库Mongo...
2019-11-28 13:57:07
98
原创 Redis数据库
Redis数据库文档地址：http://redisdoc.com/一、NoSQLNoSQL（not only SQL）是对于不同于传统的关系型数据库的统称特点：不支持SQL语法NoSQL 的世界里，没有通用的语言，每个NoSQL数据库都有自己的语法以及擅长的业务场景读写性能高大数据下表现优秀灵活的数据模型NoSQL的存储方式灵活，可以是JSON文档、键值对或其它方式...
2019-11-28 13:56:30
84
原创 MySQL数据库（三）
MySQL数据库（三）一、字段约束条件CREATE TABLE `student` ( `id` int(11) NOT NULL AUTO_INCREMENT , `name` varchar(20) CHARACTER SET utf8 NOT NULL, `age` smallint(6) NOT NULL DEFAULT '0', `sex` tinyint(4) NO...
2019-11-28 13:55:49
119
原创 MySQL数据库（二）
MySQL数据库（二）准备数据：DROP TABLE IF EXISTS `student`;CREATE TABLE `student` ( `id` int(11) NOT NULL AUTO_INCREMENT, `name` varchar(20) CHARACTER SET utf8 NOT NULL, `age` smallint(6) NOT NULL DEFAUL...
2019-11-28 13:54:53
86
原创 MySQL 数据库（一）
MySQL 数据库（一）一、数据库概述1.概述特指计算机软件的一种， 按照一定的数据结构来存储和管理数据的仓库，处理数据主要放在磁盘和内存中。2.数据库分类关系型数据库（SQL），由多张互相连接的二维行列表格组成的数据库。优点：容易理解使用方便易于维护缺点：i/o瓶颈（读写速度慢）扩展性不够（修改结构麻烦）非关系型数据库 NoSQL（Not Only SQ...
2019-11-28 13:54:00
260
原创 JavaScript
JavaScript一、JavaScript基础1.JavaScript写在哪在html文件中存放在标签中外部的 js 文件<script type='text/javascript' src='...'></script>Script 标签里<script> alert('Hello World!'); // 常用调试方法 cons...
2019-11-07 12:24:21
231
原创 CSS
CSS一、CSS简介1.CSS 概述CSS 指层叠样式表 (Cascading Style Sheets)样式定义如何显示 HTML 元素，样式通常存储在样式表中外部样式表通常存储在 CSS 文件中，多个样式定义可层叠为一2.样式表优先权所有的样式会根据下面的规则层叠于一个新的虚拟样式表中，其中内联样式拥有最高的优先权。浏览器缺省设置外部样式表内部样式表（位于 < ...
2019-11-07 12:23:39
673
原创 HTML
HTML注释<!-- 在此处写注释 --> 标题标签<h1></h1> <h2></h2> <h3></h3> <h4></h4> <h5></h5> <h6></h6>段落标签<p></p>加粗标签...
2019-11-07 12:21:00
117
原创 datetime、logging
python常用模块一、datetime模块1.概述datetime是python处理时间和日期的标准库，它由以下几个模块组成：类名功能说明date日期对象，year,month,daytime时间对象，hour,minute,second,microseconddatetime时间日期对像timedelta时间间隔，两个时间点之间的长度...
2019-11-07 12:19:31
329
原创 json、hashlib、base64
Python常用模块一、json模块1.json概述json是一种基于文本，独立于语言的轻量级数据交换格式，以易于让人阅读的文字为基础，用来传输由属性值或者序列性的值组成的数据对象（键值对）。json其实就是一种文本格式，用来在不同的应用中传递数据json字符串案例：{"name":"志昊", "age": 18, "salary": 5000.5, "hobby": ["money",...
2019-11-07 12:18:43
192
原创 8.推导式、迭代器、生成器
推导式、迭代器、生成器一、推导式1. 列表推导式列表推导式是一种快速生成列表的方式，结构是用方括号括起来包含一个任意的表达式，然后是一个for语句，然后是 0 个或多个 for 或者 if 语句，各语句之间是嵌套关系例1：lis = [x * x for x in range(1, 10)]# 等同于lis = []for i in range(1, 10): lis.ap...
2019-11-07 09:54:19
158
原创 7.异常处理
异常处理一、认识异常1.异常本身就是异常类的实例try：将可能会发生异常的代码放在try中，进行尝试性执行except：except用来捕获异常，并进行响应的处理else：else在没有异常的时候会执行finally：finally不管是否有异常，都会执行2.Python的异常结构（基于继承）在 Python 中所有的异常都是继承自 BaseException ，直接分为四大类：...
2019-11-07 09:51:43
117
原创 6.文件读写
文件读写一、文件基本操作1.最基本操作(打开、读取、关闭)右击属性获取：地址+文件名文件编码改为utf-8：文件>另存为>编码(1).绝对路径f = open(r"C:\Users\lenovo\Desktop\a.txt", "r", encoding = "utf-8")print(f.read())f.close()(2).相对路径相对路径是将文件放在项目文...
2019-10-12 16:16:30
261
原创 5.描述器与装饰器
描述器与装饰器一、__new__方法1.概念__new__方法会在初始化函数 __init__之前执行，类每次实例化时，都会创建一个新的对象，然后在初始化__new__方法合理改写可以带来方便，常利用 __new__实现类的单例模式（完全相同的实例多次创建时，要求类只被实例化一次）2.__new__：单例模式(1).正常模式class A: def __init__(self):...
2019-10-09 14:57:46
133
原创 4.类
函数式编程面向过程编程面向对象编程：类、实例一、类定义1.定义class Cat(Cat_Dad): # class 类名(父类):# 大驼峰命名法:每个单词的首字母大写 ''' 这是一个猫类 ''' pass2.概念类(Class): 用来描述具有相同属性和方法的对象的集合。它定义了该集合中每个对象所共有的属性和方法，其中的对象被称作类的实例。是一个独立存放变量...
2019-10-08 20:19:01
151
原创 3.函数
函数基础和函数参数一、函数基础1.函数定义def 函数名(参数)： ''' 函数接口 ''' 函数体 return 返回值def：定义函数关键字函数名命名规则： 字母、数字和下划线组成，和变量命名规则一致参数：传入的参数必须放在圆括号中间，用逗号分隔函数接口：此函数功能的注释return :返回值关键字，后面可以...
2019-09-30 14:39:38
248
原创 2.控制流程
控制流程一、顺序执行顺序执行基本原则：普通语句，直接执行碰到函数，将函数体载入内存，并不直接执行碰到类，执行类内部的普通语句，但是类的方法只载入，不执行碰到if、for等控制语句，按相应控制流程执行碰到@，break，continue等，按规定语法执行碰到函数、方法调用等，转而执行函数内部代码，执行完毕继续执行原有顺序代码二、条件判断1.if-else# 每个条件后面要使...
2019-09-29 15:27:12
137
原创 1.数据类型与基础知识
基础知识与数据类型一、数字类型1.整型(int)进制种类引导符号描述十进制无默认情况，例如1010，-500二进制0b或0B由字符0和1组成，例如0b1010,0B1010八进制0o或0O有字符0到7组成，例如，0o76，0O76十六进制0x或0X由字符0到9，a到f，A到F组成，例如0xABC2.浮点型(float)浮点数...
2019-09-28 13:03:07
3573
5
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人