- 博客(105)
- 收藏
- 关注
RSS订阅原创 爬虫学习——22.redis
例如，网站的首页需要经常被访问，并且在创建首页的过程中会消耗的较多的资源，此时就可以使用 Redis 将整个首页缓存起来，从而降低网站的压力，减少页面访问的延迟时间。Redis 基于内存来实现数据的存储，因此其速度非常快。但是我们知道，计算机的内存是非常珍贵的资源，所以 Redis 不适合存储较大的文件或者二进制数据，否则会出现错误，Redis 适合存储较小的文本信息。List(列表) 列表是简单的字符串列表，按照插入顺序排序，可以添加一个元素列表的头部（左边）或者尾部（右边） 它的底层实际是个链表。
2024-07-25 11:14:10
868
原创 爬虫学习——21.Scrapy框架（3）文件使用
管道文件 pipelines.py 主要用来对抓取的数据进行处理：一般一个类即为一个管道，比如创建存入MySQL、MangoDB 的管道类。管道文件中 process_item() 方法即为处理所抓数据的具体方法。
2024-07-25 11:13:24
92
原创 爬虫学习——20.Scrapy框架（2）入门
scrapy其实就是把我们平时写的爬虫进行了四分五裂式的改造. 对每个功能进行了单独的封装, 并且, 各个模块之间互相的不做依赖. 一切都由引擎进行调配. 这种思想希望你能知道–解耦. 让模块与模块之间的关联性更加的松散. 这样我们如果希望替换某一模块的时候会非常的容易. 对其他模块也不会产生任何的影响。
2024-07-24 11:52:57
418
原创 爬虫学习——19.Scrapy框架（1） 功能介绍
Scrapy engine(引擎)总指挥:负责数据和信号的在不同模块间的传递scrapy已经实现Scheduler(调度器)一个队列,存放引擎发过来的request请求scrapy已经实现Downloader(下载器)下载把引擎发过来的requests请求,并返回给引擎scrapy已经实现Spider(爬虫)处理引擎发来的response,提取数据,提取url,并交给引擎需要手写Item Pipline(管道)处理引擎传过来的数据,比如存储需要手写。
2024-07-24 11:48:06
891
原创 爬虫学习--18.反爬斗争 selenium（3）
操作多窗口与页面切换有时候窗口中有很多子tab页面。这时候肯定是需要进行切换的。selenium提供了一个叫做switch_to.window来进行切换，具体切换到哪个页面，可以从driver.window_handles中找到。
2024-05-31 15:15:46
1600
原创 爬虫学习--17.反爬斗争 selenium（2）
鼠标行为链有时候在页面中的操作可能要有很多步，那么这时候可以使用鼠标行为链类ActionChains来完成。比如现在要将鼠标移动到某个元素上并执行点击事件。
2024-05-30 15:02:01
1624
原创 爬虫学习--16.反爬斗争 selenium（1）
爬虫建议尽量减少请求次数保存获取到的HTML，供查错和重复使用关注网站的所有类型的页面H5页面APP多伪装代理IP
2024-05-29 16:39:25
3202
原创 爬虫学习--15.进程与线程（2）
线程锁当多个线程几乎同时修改某一个共享数据的时候，需要进行同步控制 某个线程要更改共享数据时，先将其锁定，此时资源的状态为"锁定",其他线程不能改变，只到该线程释放资源，将资源的状态变成"非锁定"，其他的线程才能再次锁定该资源。互斥锁保证了每次只有一个线程进行写入操作，从而保证了多线程情况下数据的正确性。
2024-05-27 16:35:27
1332
原创 爬虫学习--14.进程与线程
什么是进程？电脑中时会有很多单独运行的程序，每个程序有一个独立的进程，而进程之间是相互独立存在的。比如下标中的QQ播放器、小鹅通等等。什么是线程？进程可以简单的理解为一个可以独立运行的程序单位，它是线程的集合，进程就是有一个或多个线程构成的。而线程是进程中的实际运行单位，是操作系统进行运算调度的最小单位。可理解为线程是进程中的一个最小运行单元。
2024-05-23 11:47:50
2491
原创 爬虫学习--13.MongoDB数据库基础
MongoDB介绍MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。它支持的数据结构非常松散，因此可以存储比较复杂的数据类型。Mongo最大的特点是它支持的查询语言非常强大，其语法有点类似于面向对象的查询语言，几乎可以实现类似关系数据库单表查询的绝大部分功能，而且还支持对数据建立索引。
2024-05-21 17:51:30
1440
原创 爬虫学习--12.MySQL数据库的基本操作（下）
MySQL查询数据MySQL 数据库使用SQL SELECT语句来查询数据。语法：在MySQL数据库中查询数据通用的 SELECT 语法
2024-05-20 11:01:05
1317
原创 爬虫学习--11.MySQL数据库的基本操作(上)
MySQL数据库的基本操作创建数据库我们可以在登陆 MySQL 服务后，使用命令创建数据库，语法如下
2024-05-19 08:59:19
1194
原创 爬虫学习--10.MySQL数据库的介绍与安装
MySQL是一个关系型数据库管理系统，由瑞典MySQL AB 公司开发，属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一，在 WEB 应用方面，MySQL是最好的 RDBMS (Relational Database Management System，关系数据库管理系统) 应用软件之一。 数据库是一个存储数据的仓库，按照数据结构，来组织，管理和存储数据，并提供了增、删、改、查的功能。
2024-05-18 08:11:30
812
原创 python项目练习——32.华为交换机的配置命令运维脚本
这个脚本将帮助你自动化备份华为交换机的配置命令，极大提高运维效率。如果需要处理其他命令或者增加更多功能，可以在send_command函数中添加更多命令。
2024-05-17 11:58:52
774
原创 爬虫学习--8.正则表达式
正则表达式是一个特殊的字符序列，它能帮助你方便的检查一个字符串是否与某种模式匹配。正则表达式使用单个字符串来描述、匹配一系列匹配某个语法规则的字符串。正则表达式是繁琐的，但它是强大的，学会之后的应用会让你除了提高效率外，会给你带来绝对的成就感。许多程序设计语言都支持利用正则表达式进行字符串操作
2024-05-15 10:57:20
1045
原创 爬虫学习--7.csv模块
csv模块什么是csv?CSV (Comma Separated Values)，即逗号分隔值（也称字符分隔值，因为分隔符可以不是逗号），是一种常用的文本格式，用以存储表格数据，包括数字或者字符。很多程序在处理数据时都会碰到csv这种格式的文件。python自带了csv模块，专门用于处理csv文件的读取
2024-05-14 06:58:02
866
原创 爬虫学习--6.bs4 库
基本概念简单来说，Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释如下：'''Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。'''Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库。它能够通过你喜欢的转换器实现惯用的文档导航，查找，修改文档的方式
2024-05-13 11:01:57
1106
原创 爬虫学习--5.xpath数据解析
xpath是XML路径语言，它可以用来确定xml文档中的元素位置，通过元素路径来完成对元素的查找。HTML就是XML的一种实现方式，所以xpath是一种非常强大的定位方式。
2024-05-09 17:34:33
571
原创 MySQL数据库——23.元数据
MySQL 元数据是关于数据库和表结构的数据，它包含了数据库中的各种信息，例如表的结构、索引、触发器、存储过程等。
2024-05-08 10:04:16
1116
原创 MySQL数据库——22.复制表
MySQL 中复制表是指创建一个与现有表具有相同结构和数据的新表。可以使用 CREATE TABLE ... SELECT 语句或者 CREATE TABLE ... LIKE 语句来复制表。下面是两种方法的示例：
2024-05-07 17:33:54
476
原创 MySQL数据库——21.临时表
临时表在会话结束后会自动删除，无需手动删除。这样就能够方便地在会话期间存储临时数据，并在会话结束后自动清理，不会对数据库产生长期影响。
2024-05-06 06:40:34
1015
原创 MySQL数据库——20.索引
在 MySQL 中，索引是一种特殊的数据结构，用于快速查找数据库表中的数据。索引可以帮助提高查询速度，特别是对于大型数据表而言，使用索引可以大大减少查询的时间复杂度。
2024-05-05 11:10:24
987
原创 MySQL数据库——19、ALTER 命令
MySQL 中的 ALTER 命令用于修改现有的数据库表，可以执行多种操作，例如添加、删除、修改列，修改表的名称或数据类型等。下面是一些常见的 ALTER 命令及其作用：
2024-05-04 10:51:22
646
原创 爬虫学习--4.Cookie与Session实战
在浏览网站的过程中，我们经常会遇到需要登录的情况，有些页面只有登录之后才可以访问。在登录之后可以连续访问很多次网站，但是有时候过一段时间就需要重新登录。还有一些网站，在打开浏览器时就自动登录了，而且在很长时间内都不会失效，这又是什么情况？其实这里面涉及 Session 和Cookie 的相关知识，本节就来揭开它们的神秘面纱。
2024-05-03 09:20:56
624
原创 爬虫学习--3.Requests模块
Requests模块Requests简介Requests 是用Python语言编写，基于 urllib，采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便，可以节约我们大量的工作，完全满足 HTTP 测试需求。Requests 的哲学是以 PEP 20 的习语为中心开发的，所以它比 urllib 更加 Pythoner。更重要的一点是它支持 Python3 哦！
2024-05-02 09:02:44
718
原创 爬虫学习--2.urllib 库
urllib了解urllib 库 是 Python 内置的 HTTP 请求库。urllib 模块提供的上层接口，使访问 www 和 ftp 上的数据就像访问本地文件一样。 有以下几种模块：urllib.request 请求模块urllib.error 异常处理模块urllib.parse url解析模块urllib.robotparser robots.txt 解析模块
2024-05-01 10:45:47
1407
1
原创 爬虫学习--1.前导知识
随着大数据时代的来临，网络爬虫在互联网中的地位将越来越重要。互联网中的数据是海量的，如何自动高效地获取互联网中我们感兴趣的信息并为我们所用是一个重要的问题，而爬虫技术就是为了解决这些问题而生的。 我们感兴趣的信息分为不同的类型：如果只是做搜索引擎，那么感兴趣的信息就是互联网中尽可能多的高质量网页；如果要获取某一垂直领域的数据或者有明确的检索需求，那么感兴趣的信息就是根据我们的检索和需求所定位的这些信息，此时，需要过滤掉一些无用信息。前者我们称为通用网络爬虫，后者我们称为聚焦网络爬虫。
2024-04-30 09:35:31
1969
原创 JavaScript基础——4.JS函数
JS 函数声明需要以 function 关键字开头，后面跟上空格以及函数名，函数体用花括号括起来 格式如下：function 函数名(参数) {// 函数中的代码// 示例代码 函数声明// 函数表达式 类似于 python中的匿名函数。
2024-04-29 10:00:33
1079
原创 JavaScript基础——3.分支、循环语句
if(条件表达式){ // 当表达式成立时要执行的代码}else{ // 当表达式不成立时要执行的代码}// JavaScript
2024-04-28 10:11:23
545
2
原创 JavaScript基础——1.js基础语法
js全称JavaScript，是一种轻量级的面向对象的编程语言，既能用在浏览器中控制页面交互，也能用在服务器端作为网站后台（借助 Node.js），因此 JavaScript 是一种全栈式的编程语言。JavaScript 与 HTML 和 CSS 共同构成了我们所看到的网页，其中：HTML 用来定义网页的内容，例如标题、正文、图像等；CSS 用来控制网页的外观，例如颜色、字体、背景等；JavaScript 用来实时更新网页中的内容，例如从服务器获取数据并更新到网页中，修改某些标签的样式或其中
2024-04-26 10:34:14
1124
3
原创 CSS基础——3.CSS盒子模型、浮动、定位
盒子模型是网页设计中经常用到的一种思维模型，由四个部分构成，从内到外分别为内容区（content）、内边距（padding）、边框（border）和外边距（margin），CSS 为这四个部分提供了一系列相关属性，通过对这些属性的设置可以丰富盒子的表现效果。
2024-04-25 09:58:56
879
原创 CSS基础——2.CSS选择器
1. 通用选择器通用选择器用星号*表示，它不匹配某个特定的 HTML 元素，而是匹配 HTML 文档中的每个元素,开发中通常使用通用选择器来清除 HTML元素中默认的内外边距
2024-04-24 10:02:53
1356
原创 CSS基础——1.CSS样式
CSS 是“Cascading Style Sheet”的缩写，中文意思为“层叠样式表”，用于描述网页的表现形式（例如网页元素的位置、大小、颜色等。css的主要作用是定义网页的样式CSS样式1. 行内样式行内样式：直接定义在 HTML 标签的 style 属性中
2024-04-23 10:37:45
718
原创 MySQL数据库——18、事务
在MySQL中，事务是一组SQL语句，它们作为一个逻辑单元一起执行，并且要么全部成功提交，要么全部失败回滚。这种保证称为ACID（原子性、一致性、隔离性和持久性）特性。事务允许在数据库中执行复杂的操作，并确保数据的完整性和一致性。以下是MySQL中事务的基本概念、事务控制语句和事务处理的主要方法：
2024-04-22 11:00:49
1213
原创 python项目练习——30.俄罗斯方块
游戏初始化：设置游戏窗口的大小和标题。创建游戏区域和方块的初始状态。初始化游戏得分和级别。游戏主循环：不断监听用户的输入，控制方块的移动、旋转和下落。在游戏区域中逐帧显示方块的位置和状态。检测方块是否触底或与其他方块重叠，如果是，则生成新的方块。方块的移动：根据用户的输入控制方块的左右移动、旋转和快速下落。每个游戏循环中，根据当前的输入更新方块的位置和状态。
2024-04-21 07:57:22
730
原创 MySQL数据库——17.正则表达式
MySQL正则表达式是一种强大的模式匹配工具，用于在文本数据中搜索和匹配特定的模式。MySQL使用正则表达式来执行模式匹配的操作，可以在SELECT语句的WHERE子句中使用，也可以在其他SQL语句中使用。
2024-04-21 07:52:34
1550
原创 python项目练习——29.贪吃蛇
游戏初始化：设置游戏窗口的大小和标题。创建蛇的初始位置和长度。创建食物的初始位置。游戏主循环：不断监听用户的输入，控制蛇的移动方向。检测蛇是否吃到了食物，如果吃到了，蛇的长度增加，食物重新生成在随机位置。检测蛇是否撞到了墙壁或者自己的身体，游戏结束。蛇的移动：根据用户的输入控制蛇的移动方向，可以使用键盘的方向键进行控制。每个游戏循环中，根据当前的移动方向更新蛇的位置。如果蛇吃到了食物，则不移除蛇的尾部，否则移除蛇的尾部，使得蛇看起来在移动。
2024-04-20 10:30:19
765
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人