- 博客(44)
- 收藏
- 关注
RSS订阅原创 python爬虫（七）--------selenium自动化
窗口切换 switch_to_window(窗口ID) switch_to.window(窗口ID) (python3.8以上版本都支持，python3.7只支持后者写法)导包：from selenium.webdriver.support import expected_conditions as EC。selenium并不是万能的，有时候页面上操作无法实现的，这时候就需要借助JS来完成了。FAQ：只有切换到当前窗口时，才能操作当前窗口（比如翻页、获取源代码等等）查找方法（python3.7之前版本）
2023-03-22 22:27:06
1167
原创 python爬虫------- chrome浏览器抓包说明
作用：在打开无痕窗口的时候，第一次请求某个网站是没有携带cookie的，和代码请求一个网站一样，这样就能够尽可能理解代码请求某个网站的结果，除非数据是通过js加密加载出来的，不然爬虫请求到的数据和浏览器请求到的数据大部分时候是相同的。通常，我们所抓的第一个包，就是我们访问这个url地址的响应，在点击所抓的第一个包，右边的headers里面包含了，请求所携带的请求头，响应头等等信息，爬虫在遇到反爬的时候，可以通过查看判断分析，加入缺少的请求信息即可。这个时候我们可以观察手机版的登录接口，是否也是一样的。
2023-02-08 02:53:36
941
原创 http和https的请求与响应
HTTP协议（HyperText Transfer Protocol，超文本传输协议）：是一种发布和接收 HTML页面的方法。HTTPS（Hypertext Transfer Protocol over Secure Socket Layer）简单讲是HTTP的安全版，在HTTP下加入SSL层。SSL（Secure Sockets Layer 安全套接层）主要用于Web的安全传输协议，在传输层对网络连接进行加密，保障在Internet上数据传输的安全。HTTP的端口号为80HTTPS的端口号为443。
2023-02-08 02:43:17
4835
2
原创 python爬虫(六) --------爬虫中的常用工具
Fiddler是位于客户端和服务器端之间的代理，也是目前最常用的抓包工具之一。它能够记录客户端和服务器之间的所有 请求，可以针对特定的请求，分析请求数据、设置断点、调试web应用、修改请求的数据，甚至可以修改服务器返回的数据，功能非常强大，是web调试的利器。看到这么多的应用，是不是就迫不及待的想要开始你的抓包之旅呢，不要急，俗话说的好：工欲善其事，必先利其器，我们先来安装Fiddler吧。
2023-02-08 02:37:01
693
原创 python爬虫 (五) ------ JSON模块与Jsonpath
爬虫最常用1、数据抓取 - json.loads(html)将响应内容由: json 转为 python2、数据保存 - json.dump(item_list,f,ensure_ascii=False)将抓取的数据保存到本地 json文件# 抓取数据一般处理方式1、txt文件2、csv文件3、json文件4、MySQL数据库5、MongoDB数据库6、Redis数据库。
2023-02-06 23:45:08
1167
原创 python爬虫（四）-------XPath
XPath（XML Path Language）是一门在XML文档中查找信息的语言，可以用来在XML文档对元素和属性进行遍历XML Path Language : XML路径语言。
2023-02-06 17:57:55
1063
原创 python爬虫（三）-------BeautifulSoup
1，类别选择器 -- class2，标签选择器 -- 3，ID选择器 -- id详情了解：百度百科-验证百度百科是一部内容开放、自由的网络百科全书，旨在创造一个涵盖所有领域知识，服务所有互联网用户的中文知识性百科全书。在这里你可以参与词条编辑，分享贡献你的知识。fr=aladdin推荐使用lxml解析库标签选择筛选功能弱但是速度快建议使用find()、find_all() 查询匹配单个结果或者多个结果如果对CSS选择器熟悉建议使用select()
2023-02-05 17:19:33
692
原创 python爬虫（二）--------正则表达式
1，正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特殊字符及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种逻辑过滤。re.match() 尝试从字符串的起始位置匹配一个模式，如果不是起始位置匹配成功的话，match()就返回None。3，python里面是使用re模块来实现的，不需要额外进行安装，是python内置模块。总结：为匹配方便，能用search()就不用match()为了匹配字符串中具体的目标，可以使用（）进行分组匹配。
2023-02-05 16:58:17
523
原创 python爬虫（一) ------ request讲义
Requests是用python语言基于urllib编写的，采用的是Apache2 Licensed开源协议的HTTP库。⼀句话——Requests是一个Python代码编写的HTTP请求库，方便在代码中模拟浏览器发送http请求。http/https 协议 是一种无状态的协议，对事物处理无记忆功能，所以每次请求都是一个独立状态。浏览器用户身份的标识，缺少的话服务器会认为你不是一个正常的浏览器用户，而是一个爬虫程序。它比urllib更加方便，可以节约大量的工作，完全满足HTTP测试需求的库。
2023-02-02 01:17:19
1212
原创 前端基础 （七）---------JavaScript介绍与使用
简称JS，是一种浏览器解释型语言,嵌套在HTML文件中交给浏览器解释执行。主要用来实现网页的动态效果，用户交互及前后端的数据传输等。JS组成核心语法-ECMAScript：规范了JS的基本语法文档对象模型-DOM：Document Object Model ，提供了一系列操作的文档的方法浏览器对象模型-BOM：Browser Object Model，提供了一系列操作浏览器的方法。
2022-12-30 22:40:10
86
2
原创 前端基础 （六）-------表单表格与选择器高级
表单用于采集用户的信息并提交给服务器，由表单元素和表单控件组成。表单元素form负责提交数据给服务器，表单控件负责收集数据。
2022-12-30 22:25:42
233
原创 前端基础 （五）------浮动与定位
浮动可以使一个元素脱离自己原本的位置，并在父元素的内容区中向左或向右移动，直到碰到父元素内容区的边界或者其它浮动元素为止。属性：float文档流：浏览器在渲染显示网页内容的时候采用的一套排版规则块级元素：从上往下，垂直布局，独占一行行内元素或行内块元素：从左往右，水平布局，浮动找浮动，下一个浮动元素会在上一个浮动元素后面左右浮动任何的标签都可以添加浮动属性。浮动元素遮挡正常元素的位置,无法遮挡正常内容的显示。内容围绕在浮动元素周围显示不给img加浮动情况下，图片的底端会与第一行文字的底端对齐。
2022-12-30 21:53:32
186
原创 前端基础 （四）------背景属性与文本字体
制作网页时在网页中添加一些背景颜色、背景图像让网页更加美观background-color：设置元素的背景颜色；取值：英文颜色表示法、rgb表示法、十六进制表示法background-image：设置元素的背景图像；元素的尺寸小于图片的尺寸，图片是从元素的左上角角开始显示，超出的部分不可见元素的尺寸大于图片的尺寸，图片在水平方向和垂直方向平铺的background-repeat: 背景图片平铺方式;background-position: 设置背景图片位置；
2022-12-30 21:30:57
140
原创 前端基础(三)----盒子模型与元素显示类型
内容区是整个盒子模型的中心，其中存放了盒子的主要内容，这些内容可以是文本、图像等资源。外边距位于盒子模型的最外围，是边框之外的空间，通过外边距可以使盒子与盒子之间不会紧凑的连接在一起，是 CSS 布局中的一种重要手段。内边距是内容区和边框之间的空间，你可以通过 padding-top、padding-right、padding-bottom、padding-left 以及它们的简写属性 padding 来设置内容区各个方向上与边框之间的距离。边框的三要素：边框的粗细 边框的样式 边框的颜色。
2022-12-29 22:22:37
155
原创 前端基础（二）----- CSS初识
样式表优点缺点使用情况使用场景行内样式表书写方便没有实现结构与样式分离，不便于维护，不可以重复利用极少某个标签需要单独的样式设置时使用内嵌样式部分结构与样式分离，较便于维护没有彻底实现结构与样式分离，不可以重复利用一般css代码量不多，且和当前页面联系紧密不需要复用时使用外链样式表完全实现结构与样式分离，可重复利用如果代码量较少情况下，引入法更麻烦最多，推荐css代码量大时，或者需要重复利用时使用。
2022-10-24 21:09:15
162
原创 前端基础（一） HTML常用标签
HTML 英文全称是 Hyper Text Markup Language，中文译为“超文本标记语言”。是构成网页的基本元素，是一种规范，一种标准。超文本：即超越纯文本，这意味着HTML不仅能包含文本，还能包含图片、表格、列表、链接、按钮、输入框等内容。标记语言：HTML通过不同的标签来标记不同的内容标签：标签也称为标记或元素，用于在网页中标记内容。不同标签具有不同的含义，学习 HTML 其实就是学习各个标签的含义，根据实际场景的需要，选择合适的标签，从而制作出精美的网页。
2022-10-23 22:57:19
489
原创 数据库（九）------高级查询（六）
被动触发的一个功能 并不是主动执行的关键字:trigger触发器四要素1.监视地点：表示你要监听哪个表的动作2.监视事件：你要监听这个表的什么动作触发器只能监听 增 删 改三种操作 不能监听查询3.触发事件触发事件 增 insert 删delete 改 update添加之前 添加之后删除之前 删除之后修改之前 修改之后4.触发时间动作之前 before动作之后 after 该去做一些事情。
2022-09-20 22:40:15
342
原创 数据库（八）-----高级查询（五）
input 输入 表示这个参数是传递进存储过程的数据。：output 输出 表示这个参数 是有数据返回出来。：表示这个参数可以传递参数 也可以返回数据。存储过程中的参数分为以下三种类型。
2022-09-20 22:21:07
325
原创 数据库（七）-----高级查询（四）
`：撇点 因为index是mysql中的关键字 但是如果你想使用这个关键字当成一个普通的名字 则使用撇点包裹起来 就会被认为是一个普通的名字。locate(要查找的字符, 列名): 要查找的字符去指定列中 查找第一次出现的位置 如果找到则返回对应的位置 如果没有则返回0。locate(要查找的字符, 列名, 开始位置)：从指定的开始位置开始 去查找字符 找到则返回对应的位置 如果没有则返回0。substring(列名, 开始位置, 长度):从开始位置开始 截取指定长度的字符。
2022-09-09 01:21:23
369
原创 数据库（六）------高级查询（三）
案例 统计“调查部”和“业务营运部”的员工人数这个案例设计到了两个表 因为查询的已知条件在一个部门表中 而员工的信息在员工表中 所以按照现阶段的单表查询是做不到这个效果所以遇到这种情况 我们只能通过连接多个有关系的表来进行查询。
2022-09-09 00:41:50
605
原创 数据库（五）-------高级查询（二）
通配符过滤 创建计算字符 聚集函数 分组 这些都只是MySQL的冰山一角通配符就是用来匹配值的一部分的特殊字符。搜索模式：由字面值、通配符或者两者组合构成的搜索条件。
2022-09-01 00:26:35
437
原创 数据库（四）-------高级查询（一）
MAC下载地址：http://www.macwk.com/soft/navicat-premium。5.点击保存 就开始导出 看到这个成功的单词 说明导出成功！2.点击导航栏的查询按钮 选择下方的新建查询 会创建一个查询编辑器。3.文件的位置 把要导入的sql文件选中 点击打开。选中你要执行的代码 右键->运行已选择。1.打开连接 并且打开你要操作的数据库。连接名：就是一个项目的名字。项目下面是本地的所有数据库。4.选择这个SQL文件要保存的位置。1.选中你要导出的文件或者数据库。......
2022-09-01 00:02:56
541
原创 数据库（三）--------数据库基础操作
作用：限制被描述的列的数据不能重复 允许为null null：表示没有任何数据。# 在设计表的时候 都应该有一个唯一的列 也能提高数据的增删改查速度。2、把number列修改成 dect描述列 类型是varchar(400)如果一个列被主键约束了 那么这个列为当前表的唯一列。# 表中的主键只能有一个 一个表中只能设置一个主键约束。作用：限制被描述的列的数据不能为空也不能重复。行表示一条数据 列表示一条数据中的某个单元格。作用：限制被描述的列的数据不能为空。3、把住在北京市海淀区的老师的性别修改成男。..
2022-08-31 00:13:18
192
原创 数据库（二）-------数据库基础
2.使用命令启动或者关闭服务 mysql80：是你mysql服务器的名字。2.在系统自带的dos命令窗口输入 mysql -u root -p 敲回车并输入密码进入mysql。行：表示为一个整体 不可以分割 读取数据是一条一条的读取。1.在开始按钮中找到mysql文件夹下的 专属dos窗口进入。1.使用管理员的dos命令窗口 操作打开和关闭mysql服务。分析1：有可能是你的mysql没有安装好。列：指定当前这一列下面的数据是什么类型的。mysql是属于关系型数据库的一种 NoDB。...
2022-08-27 22:50:10
304
原创 数据库（一）-------初始数据库
白话：关系型数据库管理系统 就是一个软件作用：用来管理数据分类：关系型数据库服务端软件关系型数据库客户端软件。
2022-08-27 22:17:53
1638
原创 python基础（十七）----- 三大特性
定义：将一些数据封装到一个自定义类中。向类外提供必要的功能，隐藏实现的细节。将一些数据封装到一个自定义类中将数据与对数据的操作相关联，代码可读性更高。便于分工，便于复用，可扩展性强。更符合人类的思考方式向类外提供必要的功能，隐藏实现的细节。在设计类时，刻意地将一些属性和方法隐藏在类的内部，这样在使用此类时，将无法直接以“类对象.属性名”或者“类对象.方法名(参数)”的形式调用这些属性或方法，而只能用未隐藏的类方法间接操作这些隐藏的属性和方法。使用者不必了解具体的实现细节，只需要调用对外提供的功能。.....
2022-08-18 15:32:16
515
原创 python 基础（十六）面向对象----类与对象
Python中定义一个类使用class关键字实现在给类起名字时，建议每个单词的首字母大写，其它字母小写。给类起好名字之后，其后要跟有冒号：，表示告诉 Python 解释器，下面要开始设计类的内部功能了，也就是编写类属性和类方法。类属性指的就是包含在类中的变量，而类方法指的是包含类中的函数。换句话说，类属性和类方法其实分别是包含在类中的变量和函数的别称。需要注意的一点是，同属一个类的所有类属性和类方法，要保持统一的缩进格式。......
2022-08-15 22:51:34
611
原创 python 基础（十五）------正则表达式
正则表达式：普通字符和元字符构成的字符串，描述一类字符串规则match() 从左往右匹配，匹配了就返回结果，如果匹配不上就会Nonefindall() 匹配上的都会放到列表里面去。
2022-08-13 21:48:02
1320
原创 python基础(十四)-----常用模块
system:系统的意思。提供一些变量和函数，可以获取到Python解析器的信息pprint:标准库模块，pprint()可以简单的美化数据打印sys.modules : 获取当前程序中引入的所有模块sys.path : 返回一个列表，列表中保存的是模块的搜索路径sys.exit() : 用来退出程序。......
2022-08-13 21:36:58
1263
原创 python基础（十一）------闭包与装饰器
1.变量是从内往外找2.高阶函数有2个条件满足其中一共都叫高阶函数函数可以作为参数输入函数可以作为返回值3.闭包【新知识】
2022-08-01 12:05:14
88
原创 python基础（十）-----函数（下）
abs()对数字求绝对值计算绝对值就是将一个数变正数，0还是0round()四舍五入bug=》奇数满足四舍五入，偶数四舍大于5入小数二进制。-x))python所提供的的内置高阶函数。
2022-07-26 10:46:02
265
原创 python基础（九）------函数（中）
在全局作用域中定义的变量，都属于全局变量，全局变量可以在程序任意位置访问。全局作用域生命周期全局作用域在程序执行时创建，在程序执行结束时销毁。函数作用域=》函数命名空间=》局部变量(或者说是函数中的变量)如果在全局作用域中调用locals(),获得全局的命名空间。如果在函数作用域中调用locals(),获得函数的命名空间。函数作用域生命周期函数调用的时候出生，调用结束的时候销毁。命名空间变量存储的位置，每一个变量都需要存储到命名空间中。全局作用域=》全局命名空间=》全局变量。......
2022-07-25 21:43:04
588
原创 python基础（八）-----函数（上）
定义函数def函数名(形参1,形参2,形参3....)代码块函数名的命名规则与变量一样由数字、字母、下划线组合首字母不能是数字不能是关键字规范见名知意下划线命名法驼峰命名法取名字尽量不要取跟python内置成员相同deffn()print('这是我的第一个函数')函数中保存的代码不会立即执行，需要用户调用函数，代码才会执行。...
2022-07-23 19:17:25
742
原创 python基础（七）散点类型与格式化输出
1.2 集合 set1.2.1 概念集合(set) -> 负责存储【不重复的数据】，并且是【无序存储】的容器，主要用来去重和逻辑比较唯一性：元素唯一存在，不能重复可变性：同列表一样。集合可以通过它的一些方法进行修改操作无序性：无下标，无顺序 1.2.3 运算 运算操作 Python运算符 含义 交集 & 取两集合公共的元素 并集 | 取两集合全部的元素 差集 - 取一个集合
2022-07-12 16:29:37
417
原创 python基础（六）------序列类型（下）
列表生成式 ：可以在列表中写 for循环 和 if语句 , 非常强大且灵活语法：[i for i in range(1,10)] 循环将for左边的值添加到列表中 2.1 可变类型与不可变类型修改是指修改本身主要的类型中：数字、字符串、元组 是不可变类型列表、字典、集合 是可变的3.1 字符串常用方法3.1.1 初始方法操作数据最本质的行为就是 增删改查方法 --》解决问题的办法/一些特定的功能在编程中一般代指对数据进行专门的增删改查的操作Python提供了字符串的操作方法，方便处理
2022-07-11 19:33:38
255
原创 python基础（五）----流程控制（下）
循环就是将一段代码不断的重复执行，直到循环结束程序才会继续往下走1.1.2 for 循环python分别有两种循环，分别是while和for，for循环能干的 while一定能干语法2.1 break和continuebreak和continue是循环中满足一定条件退出循环的两种方式break：退出整个循环continue：退出本次循环，继续执行下一次循环循环嵌套：循环中还可以继续循环4.1 序列类型遍历遍历：序列里面的所有元素，都一个一个访问的，全体一
2022-07-10 18:43:21
899
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人