自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(41)
  • 资源 (1)
  • 收藏
  • 关注

原创 Scrapy 选择器使用

Scrapy 选择器xpathcss

2022-04-15 22:19:03 975

原创 Scrapy 框架架构

Scrapy 框架架构

2022-04-15 00:03:56 1635

原创 Scrapy Spiders

Scrapy Spiders

2022-04-14 21:54:42 1068

原创 Scrapy 规则化爬虫(1)——CrawlSpider及link_extractor

Scrapy 规则化爬虫(1)——CrawlSpider及link_extractor

2022-04-13 14:16:39 814

原创 Scrapy 规则化爬虫(2)——Item Loaders

Scrapy 规则化爬虫(2)——Item Loaders

2022-04-12 23:50:14 1338

原创 Scrapy请求与响应

Scrapy请求与响应

2022-04-11 20:34:13 1674

原创 Scrapy命令行工具的使用

Scrapy命令行工具及scrapy shell的使用

2022-04-10 00:28:45 679

原创 Scrapy下载中间件

关于scrapy下载中间件的笔记

2022-04-09 00:14:08 659

原创 关系数据模型——关系代数

关系数据模型——关系代数概述交并差运算投影运算选择运算笛卡尔积运算连接运算除运算概述基于一组以关系为操作对象的运算符原子操作数:关系实例变量,元组集合常量五中基本操作:选择,投影,笛卡尔积,并,差附加操作(可有基本操作导出):交,连接,除交并差运算前提条件:相容关系(并兼容)关系间具有相同的目(属性的数量),相应的属性的域相同并运算:结果包含两个关系的所有元组,去除重复部分差运算:结果属于前者不属于后者的元组构成交运算:结果是既属于前者又属于后者的元组构成投影运算

2021-09-17 09:38:26 442

原创 Python进阶(二)——文件处理

Python进阶(二)——文件处理一.相关概念二. 三个常用库即常用方法一.相关概念相对路径:被操作文件相对于当前运行程序来说的路径绝对路径:被操作文件在你计算机上从根目录开始的路径二. 三个常用库即常用方法import os 查找,修改import osos.path.abspath(参数) #获取当前文件绝对路径os.path.isdir(参数) #获取当前路径文件是否为文件夹 布尔os.path.isfile(参数) #获取当前路径文件是否为文件 布尔os.pat

2021-07-17 18:02:37 71

原创 Python进阶(一)——正则表达式

Python进阶(一)——正则表达式概念用途python中使用正则概念正则 = 正确的规则 regular表达式 = 既定规则 expression描述了匹配字符串的规则用途根据规则抓取数据,可以配合爬虫使用,也可以根据规则在文档中提取数据规矩规则验证数据,验证手机号,邮箱等python中使用正则引入模块import re常用方法:查找/提取内容:re.findall(pattern,string) 参数:查找规则,匹配内容 ,返回结构化数据匹配/验证内容:re.mat

2021-07-16 18:20:34 239

原创 Python基础(九)——异常处理

Python基础(九)——异常处理一.什么是异常二.常见的异常三.处理异常四.异常处理完整结构(包括可选结构)五.具体用法5.1用于获取异常信息5.2捕获指定异常六.处理不可见的异常——单元测试一.什么是异常一切影响程序执行(报错)或者影响结果(不报错)的都可以视为异常python中有被称为‘异常’的对象处理这个问题二.常见的异常SyntaxError(语法错误):该错误是自己粗心导致的,如写入中文符号;TypeError(类型错误):数据类型不同时进行操作,或者修改不可改变的值Attr

2021-07-14 22:36:06 278 1

原创 Python基础(八)——面向对象编程

面向对象编程一.什么是面向对象编程1.1面向过程编程1.2面向对象编程1.3类与对象的关系二.对象使用2.1 创建类2.2 实例化对象2.3属性修改2.4私有属性 类方法2.5静态方法三.封装四.继承五.多态一.什么是面向对象编程1.1面向过程编程要之前的学习中,我们用到的思想叫做面向过程编程(Procedure Orientedprogramming),简称POP顾名思义该思想是站在过程的角度思考问题,强调的就是功能的执行过程,即先干啥,后干啥。而每一个功能我们都使用函数(类似于方法)把这些步骤

2021-07-14 00:08:41 145

原创 Python基础(八)——库,包,模块

Python基础(八)——库,包,模块一.基本概念二.标准库和第三方库三.如何引入包和模块一.基本概念库library:以文件组织起来的一堆代码一起实现一个或多个任务。从c语言引进模块module:一个模块就是一个py文件,包含很多行代码执行一个或多个任务,类似于库包package:包含多个模块的’目录’叫做包,里面一定有一个__init__.py文件二.标准库和第三方库标准库:python解释器原带的库。第三方库:使用过程中安装的其他库,位于side-packages中,pip安装的都在这

2021-07-13 16:33:33 159

原创 Python基础(七)——迭代器,生成器

Python基础(七)——迭代器,生成器一.基本概念二.迭代器使用三.生成器使用四.基于元组解析的生成器一.基本概念可迭代对象指储存了元素的一个容器对象(iterator),(字典,列表,元组等)有一个方法为__iter__(),翻译过来就叫做‘迭代’迭代器迭代器一定是可迭代对象拥有__iter()__,next()方法;迭代器可以记住遍历对象的位置;迭代器对象从集合的第一个元素开始访问,直到所有的元素被访问完结束。迭代器只能往前不会后退。生成器使用了 yield 的函数被称为生成器(

2021-07-13 00:02:52 69

原创 Python基础(六)——函数装饰器

Python基础(六)——函数装饰器一.闭包二.装饰器三级目录一.闭包def outer_func(x): print(x) def inner_func(y): print('这是内部函数') return x+y return inner_funcout = outer_func(10)re = out(20)print(re)必须有一个嵌套函数嵌套函数(内函数)必须使用外部函数的变量封闭(外部)函数必须返回嵌套函数二.装

2021-07-12 19:35:43 131

原创 Python基础(五)——匿名函数

Python基础(五)——匿名函数一.什么是匿名函数二.匿名函数的声明三.三目运算四.匿名函数使用方式4.1 lanbda与三目运算的结合使用4.2 给def函数中的lambda传参4.3 匿名函数传入def函数五.与匿名函数结合的常用函数5.1 map(function,sequence)5.2reduce(function,sequence)5.3sorted(iterable,key=None,reverse=False)5.4filter(function,sequence)一.什么是匿名函数顾

2021-07-10 23:24:56 178

原创 Python基础(四)——函数/方法

Python基础(四)——函数/方法一.什么是函数/方法/function二. 声明调用函数三.函数的参数3.1参数分类3.2传参方式四.全局,局部变量一.什么是函数/方法/function组织好的,可重复使用,用来实现单一或相关联功能的代码块。二. 声明调用函数#声明def 方法名(形式参数): 代码块 return 返回值#调用函数名()or变量 = 函数名()先声明后调用函数遇到return就会结束可以在函数内写三个引号,里面写函数的说明,他人或用户可以通过help

2021-07-10 19:40:44 63

原创 Python基础(三)——列表,元组,字典

Python基础(三)——列表,元组,字典一.列表1.1 什么是列表1.2 列表如何定义及特性1.3列表常用操作1.3.1 列表合并1.3.2 列表排序1.3.3 列表反转1.3.4 列表元素数量统计1.3.5自身复制1.3.6 列表长度1.3.7列表复制1.3.8内部元素处理二.元组2.1 什么是元组2.2 元组列表对比三.字典3.1 什么是字典3.2字典特性3.3创建方法3.4增删改查3.5常用操作3.5.1 返回字典的键值对,键,值3.5.2 字典合并3.5.3 查询键,不存在则添加一.列表1.1

2021-07-09 23:18:11 647

原创 Python基础(二)——逻辑,循环

Python基础(二)——逻辑,循环一.逻辑判断1.1 if语句1.2 if…else语句1.3if…elif…else语句二.循环2.1 for循环2.2 range()函数2.3 while循环2.4 循环控制语句2.4.1 break2.4.2 continue2.4.3 pass一.逻辑判断1.1 if语句if 条件语句: 符合条件执行的代码块1.2 if…else语句if 条件语句: 符合条件执行的代码块else: 不符合条件执行的代码块1.3if…elif…else语句

2021-07-09 16:32:56 93

原创 Python基础(一)——变量,运算,占位符

Python基础(一)——变量一.变量1.1类型1.2变量使用1.3变量命名规则1.5常用命令1.6变量转换二.运算2.1算数运算2.2 内置数学函数及math库2.3逻辑运算三.占位符3.1%占位符3.2 {},format占位符3.3f '{变量}' 占位符一.变量1.1类型不可变类型:无法对变量内的某个单一元素进行增删改类型英文表示实例备注字符串string(str)‘Hello World’单双三引号包住整数integer(int)100不带小数点的

2021-07-08 21:47:04 469

原创 05.数据结构基础—线性表顺序存储

05.数据结构基础—线性表(二)一.线性表存储结构及实现—顺序存储1.1定义:1.2描述顺序表的属性1.3静态分配1.4动态分配1.5基本操作—插入二.线性表存储结构及实现—链式存储一.线性表存储结构及实现—顺序存储1.1定义:前面说过顺序存储,称为顺序表,也叫向量。很好理解,也就是元素在连续空间中也是相邻的1.2描述顺序表的属性起始位置:空间的开始位置容量:线性表的最大长度当前长度:当前存有数据的长度这里将起始位置设为LOC(a1),元素类型为int,也就是占4个字节。我们求ai的位置

2021-03-20 23:24:14 631

原创 04.数据结构基础—线性表定义及基本操作

04.数据结构基础—线性表(一)一.线性表定义(逻辑结构)二.线性表基本操作(运算)一.线性表定义(逻辑结构)定义:具有相同数据类型的n(n≥0)个数据元素的有限序列特征:类型相同:每一个数据元素空间大小一样,类型不限有限序列:有限个,有一定次序思考:所有整数依次排列是线性表吗?相关名词:n:表长空表:表长n=0位序:角标。例如ai就是第i个。注意与数组区分,位序从一开始a1为表头元素,an为表尾元素。除了表头元素,每个元素有且仅有一个直接前驱,除了表尾元素,每个元素有且仅有一

2021-03-19 12:22:33 423

原创 03.数据结构基础—算法的空间复杂度

03.数据结构基础—算法的时间复杂度一.空间复杂度二级目录三级目录一.空间复杂度二级目录三级目录

2021-03-19 00:15:59 220

原创 03.数据结构基础—算法的时间复杂度

03.数据结构基础—算法效率的度量一.时间复杂度二级目录三级目录一.时间复杂度思考一下我们如何评估算法时间开销呢?我们可以让算法先运行,事后统计。但是会出现以下几个问题:1.不同机器的性能不同2.编程语言不同,越高级越慢3.一些算法不能事后统计4.和编译程序产生的机器指令质量有关所以我们需要事前预估。引入时间复杂度实际上就是时间开销T(n)与问题规模n的关系上述代码中:1执行了1次2执行3001次3执行3000次4执行1次所以:T(3000)= 1+3001+2*3000

2021-03-13 00:08:29 193

原创 02.数据结构基础—算法

02.数据结构基础—算法一.什么是算法?二.算法的五大特征2.1有穷性2.2确定性2.3可行性2.4输入和输出三.好算法具备的特质一.什么是算法?程序= 数据结构 + 算法数据结构:现实的问题信息化,存进计算机,并对其进行操作例如,去医院挂号,需要实现队头元素出队,新元素入队等操作算法:如何处理信息,如何解决实际问题例如,军人,残疾人士优先,需要将他们的号排在前面二.算法的五大特征2.1有穷性算法在执行一定有穷步之后结束,不会一直算下去注意:算法有穷,程序则可以无穷还是上面的例

2021-03-06 13:10:53 102

原创 01.数据结构基础—绪论

01.数据结构基础—绪论一、基本概念1.数据2.数据元素,数据项3.数据对象,数据结构4.数据结构三要素4.1逻辑结构4.1.1集合:4.1.2线型结构4.1.3树状结构4.1.4网状结构4.2物理结构(存储结构)4.2.1顺序存储4.2.2链式储存4.2.3索引储存4.2.4散列存储4.3数据的运算4.数据类型,抽象数据类型一、基本概念1.数据数据是信息载体,所有能输入到计算机中并被计算机程序识别和处理的符号的集合,在计算机内以二进制0,1表示。2.数据元素,数据项数据元素:数据的基本单位,通常

2021-03-06 11:14:49 133

原创 16.Java——内部类

Java——内部类一.概念二.四大类型2.1成员内部类2.2静态内部类2.3匿名内部类2.4方法内部类(局部内部类)三.内部类作用一.概念内部类就是在一个类内部再定义一个类,包含内部类的类被称为外部类。二.四大类型2.1成员内部类public class Outer { private int id=10; public void out(){ System.out.println("这是外部类方法"); } public class Inner

2021-02-17 00:42:36 59

原创 15.Java——接口

Java——接口一.接口概念二.定义接口三.使用接口四.小结一.接口概念普通类:只有具体实现方法抽象类:具体实现方法+规范(抽象方法)接口:只有规范接口可以理解为一种特殊的抽象类,由全局常量和公共的抽象方法所组成。接口的本质是契约二.定义接口使用关键字:interface[修饰符] [abstract] interface 接口名 [extends父接口1,2....]{  常量 (public static final) 抽象方法(public abstract)

2021-02-16 23:53:34 61

原创 14.Java——抽象类

Java——抽象类一.抽象类定义二.实例三.思考一.抽象类定义使用了关键词abstract声明的类叫作“抽象类”。使用了关键词abstract声明的方法叫作“抽象方法”,只要声明,不含方法体。二.实例//抽象类public abstract class Action { //约束子类必须有什么方法,也就是子类必须进行方法重写 //抽象方法 public abstract void doSomething();}//抽象类的所有方法,继承了他的子类,都必须要实现它的方

2021-02-16 22:52:50 60

原创 13.Java——static关键字

Java——static关键字一.static作用二.stati应用2.1 成员变量2.2成员方法2.3代码块2.4静态导入包2.5static与final结合一.static作用意为"静态"只要类被加载,那么同事static修饰的对象就会加载,不依赖任何实例。共享的,任何实例都可以调用二.stati应用2.1 成员变量变量类型:静态变量(类变量):被static修饰的变量属于类,类加载,就会分配空间引用静态变量的方式:类.静态变量,对象.静态变量非静态变量(实例变量):

2021-02-16 22:07:57 72

原创 12.Java对象的封装、继承、多态

Java对象的封装、继承、多态一.封装(Encapsulation)1.1概念1.2封装的优点1.3实现方法二级目录三级目录一.封装(Encapsulation)1.1概念如字面意思,将类的某些信息隐藏在类内部,不允许外部程序直接访问,而是通过该类提供的方法来实现对隐藏信息的操作和访问。我们对程序的追求:高内聚,低耦合高内聚:类的内部数据操作自己完成,不允许外部干扰低耦合:仅暴露少量的方法给外部使用,减少类(模块)之间的相互依赖1.2封装的优点良好的封装能够减少耦合。类内部的结

2021-02-16 18:59:50 117

原创 11.Java面向对象基础

Java面向对象编程一.什么是面向对象编程(OOP)1.1面向过程编程1.2面向对象编程1.3类与对象的关系二.对象的基本操作三.构造器3.1无参构造3.2有参构造3.3构造器小结四.内存分析一.什么是面向对象编程(OOP)1.1面向过程编程要之前的学习中,我们用到的思想叫做面向过程编程(Procedure Orientedprogramming),简称POP顾名思义该思想是站在过程的角度思考问题,强调的就是功能的执行过程,即先干啥,后干啥。而每一个功能我们都使用函数(类似于方法)把这些步骤一步一步

2021-02-15 21:42:29 135 1

原创 07.Java数组

Java数组一.什么是数组二.数组声明和创建2.1数组声明2.2创建数组三.访问数组元素,获取数组长度,越界问题3.1通过下标进行访问:numbers[0]3.2获取数组长度:numbers.length3.3数组越界:四.数组内存分析及三种初始化4.1 内存分析4.2初始化方法五.数组使用5.1 for each循环5.2数组作为方法参数5.3数组做返回值多维数组一.什么是数组数组是相同类型数据的集合其中每一个数据称为数组元素,我们可以通过数组下标访问他们二.数组声明和创建2.1数组声明第一种

2021-02-14 11:21:27 125

原创 06.Java方法

Java方法一. 什么是方法?二.方法的定义与调用2.1定义方法2.2调用方法三.方法重载四.命令行传参五.可变参数5.1使用条件5.2使用方法5.3 底层原理5.4注意事项递归一. 什么是方法?java对象类似于其他语言的函数。方法是语句的集合,这个集合完成一个功能。方法包含与类或对象中保持一个方法只完成一个功能,有利于后期扩展(原子性)命名规则:首字母小写和驼峰规则二.方法的定义与调用2.1定义方法修饰符 返回值类型 方法名(参数类型 参数名){ 方法体 return 返回值;

2021-02-13 20:15:31 202 1

原创 05.Java流程控制

Java流程控制一. Scanner对象二.顺序结构三.选择结构3.1if……else……3.2 switch 多选择结构四.选择结构4.1while循环4.2 do…while循环4.3 for循环练习:九九乘法表4.4增强型for循环(也称 for each 循环)五.break&continue5.1 break5.2contince一. Scanner对象我么可以通过Scanner类获取用户输入常用方法:next(),nextLine() 获取输入的字符串,前者不可获取空格,后者以

2021-02-13 00:10:46 230 1

原创 04.Java基础语法

Java基础语法注释、标识符、关键字注释标识符关键字数据类型基本类型(primitive type)引用数据类型(reference type)类型转换变量、常量、作用域变量常量作用域运算符包机制、JavaDoc注释、标识符、关键字注释注释就是对代码的解释和说明,其目的是让人们能够更加轻松地了解代码,能提高程序代码的可读性注释不会被执行三种类型单行注释://注释内容多行注释:/*注释内容*/文档注释/** 注释内容 */标识符标识符是用来给类、对象、方法、变量、接口和自定

2021-02-12 14:41:46 244 2

原创 03.Java集成开发环境IDEA

Java集成开发环境IDEA什么是IDE?IDEA什么是IDE?集成开发环境(IDE,Integrated Development Environment )用于提供程序开发环境的应用程序一般包括代码编辑器、编译器、调试器和图形用户界面等工具。集成了代码编写功能、分析功能、编译功能、调试功能等一体化的开发软件服务套。如微软的Visual Studio系列,JetBrains全家桶系列等。IDEA官网链接:官网下载地址学生和教师可通过学校邮箱进行认证免费使用专业版按照程序提示一路

2021-02-11 17:17:50 217

原创 02.Java环境安装

工欲善其事,必先利其器开发环境搭建JDK下载安装JDK目录结构JDK下载安装选择对应版本进行安装链接: JDK点击下载的安装包文件,一路确定,需要改安装地址的可以自行修改记住自己的安装目录配置环境变量右击我的电脑==>属性==>高级系统设置==>环境变量系统变量==>新建变量名:JAVA_HOME变量值:D:\Java\jdk1.8.0_281找到系统变量里的Path,里面添加以下内容:%JAVA_HOME%\bin%JAVA_HOME%\j.

2021-02-11 15:51:59 92

原创 01.Java相关信息

Java相关信息发行时间Java特点三大版本编程环境发行时间1995年 面向对象Java特点1.简单性2.面向对象万物皆对象3.可移植性Weite Once,Run Anywhere4.高性能5.分布式6.动态性(反射机制)7.多线程8.安全性9.健壮性三大版本版本应用JavaSE标准版(桌面程序,控制台开发)JavaME嵌入式开发(手机,小家电)JavaEE企业级开发(web段,服务器开发)编程环境

2021-02-10 23:35:50 88 1

jdk-8u281-win-linux-x64.zip

鉴于官网网速慢,下载需要注册账号,特打包了最新win,linux的64位版本,供大家使用

2021-02-11

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除