降温vae+-CSDN博客

原创使用Selenium爬取淘宝商品（绕过登录页面）

文章目录1.准备工作2.接口分析3.页面分析4.获取商品列表5.解析商品列表6.保存到MongoDB7.遍历每页8.异常处理（绕过登录反爬机制）方法一：修改ChromeDriver.exe方法二：将用户信息的配置文件在代码中加载9.运行参考文献在之前的文章中，我们成功尝试分析Ajax来抓取页面相关数据，但是并不是所有的页面都可以通过分析Ajax来完成抓取。比如，淘宝，它的整个页面数据构造也是用过Ajax获取的，但是这些Ajax接口参数比较复杂，可能会包含加密密钥等，所以如果想自己构造Ajax参数，还是比较

2022-04-08 16:23:52 7643 19

原创 Selenium的使用——一篇文章带你入门Selenium

文章目录1.准备工作2.基本使用3.声明浏览器对象4.访问页面5.查找节点单个节点多个节点6.节点交互7.动作链8.执行JavaScript9.获取节点信息获取属性读取文本值获取id、位置、标签名和大小10.切换Frame11.延时等待隐式等待显示等待12.前进和后退13.Cooikes14.选项卡管理15.异常处理Selenium是一个自动化测试工具，利用它可以驱动浏览器执行特定的动作，如点击、下拉等操作等，同时还可以获取浏览器当前呈现的页面代码，做到可以见即可爬。对于一些JavaScript动态渲染的

2022-04-05 22:46:10 7958 4

原创 Selenium及chromedriver安装教程

文章目录安装Python环境及Selenium工具包使用命令行安装使用Pycharm安装安装chromedriver驱动验证安装Python环境及Selenium工具包首先，我们需要安装Python环境。安装好了之后需要安装Selenium工具包，可以采用以下两种方式使用命令行安装pip install selenium使用Pycharm安装首先，点击设置然后选择python interpreter，点击加号然后搜索selenium包，点击安装安装chromedriver驱动首

2022-04-05 16:33:04 3430 1

原创 Python速度慢的头号嫌疑犯——GIL

文章目录Python速度慢的两大原因原因一原因二什么是GIL为什么会有GIL这个东西怎么样规避GIL带来的限制？用于IO密集型计算使用multiprocessingPython速度慢的两大原因相比于C/C++/JAVA，python确实比较慢，在一些特殊场景下，Python比C++慢100~200倍。由于Python速度慢，很多公司的基础架构代码依然使用C++开发。比如现在各个互联网大厂，阿里/腾讯/等的推荐引擎、搜索引擎、存储引擎等底层对性能要求高的模块。原因一python是动态类型语言，是边解

2022-04-03 21:27:58 1298

原创分析Ajax抓取今日头条街拍图片（关于使用page_num且获取不到json对象的解决办法）

文章目录1.准备工作2.抓取分析3.实战演练参考文献本文，我们以今日头条为例来尝试通过分析Ajax请求来抓取网页数据的方法。这次要抓取的目标是今日头条的街拍图片，抓取并保存。本节代码是参照python3网络爬虫实战的6.4节，但由于现在网页有的东西已经做了更新，所以本文代码也做了相应的修改，使得其可以正常抓取数据。1.准备工作首先，请确保安装好requests库。2.抓取分析在抓取之前，首先要分析抓取的逻辑。打开今日头条的首页https://www.toutiao.com/，如图在搜索框输入街

2022-04-03 19:13:58 2731 2

原创 Ajax结果提取（page更新为使用since_id的解决方法）

文章目录1.分析请求2.分析响应3.实战演练参考文献这里仍然以微博为例，接下来用Python来模拟这些Ajax请求，把许嵩发过爬取下来。1.分析请求打开Ajax的XHR过滤器，然后一直滑动页面以加载新的内容。可以看到，会不断有Ajax请求发出。选定其中一个请求，分析它的参数信息。点击该请求，进入详情页面，如图：可以发现，这是一个GET类型的请求，请求链接为https://m.weibo.cn/api/container/getIndex?type=uid&value=1251000504

2022-04-01 21:11:34 5805

原创 Ajax分析方法

文章目录1.查看请求2.过滤请求这里还是以上篇文章什么是Ajax？中的微博为例，我们知道拖动刷新的内容是由Ajax加载，而且页面的URL没有变化，那么应该去哪里查看这些Ajax请求呢？1.查看请求这里还需要借助浏览器的开发者工具，下面以Chrome浏览器为例来介绍。首先，用Chrome浏览器打开微博链接https://m.weibo.cn/u/1251000504，随后页面中点击鼠标右键，从弹出的快捷菜单中选择“检查”选项（或者直接按F12），此时便会弹出开发者工具，如图所示此时在Element

2022-04-01 13:09:49 167

原创什么是Ajax？

文章目录什么是Ajax1.实例引入2.基本原理发送请求解析内容渲染网页有时候，我们在用requests抓取页面的时候，得到的结果可能和在浏览器中看到的不一样：在浏览器中可以看到正常显示的页面数据，但是使用requests得到的结果并没有。这是因为requests获取的都是原始的HTML文档，而浏览器中的页面则是经过JavaScript处理数据后生成的结果，这些数据的来源有多种，可能是通过Ajax加载的，可能是包含在HTML文档中的，也可能经过JavaScript和特定算法计算后生成的。对于第一种情况，数

2022-04-01 11:24:43 2006

原创非关系型数据库存储——Redis存储

文章目录1.准备工作2.Redis和StrictRedis3.连接Redis4.键操作5.字符串操作6.列表操作7.集合操作8.有序集合操作9.散列操作10.RedisDumpredis-dumpredis-loadRedis是一个基于内存的高效的键值型非关系型数据库，存取效率极高。而且支持多种存储数据结构，使用也非常简单。1.准备工作在开始之前，需要安装Redis以及redis-py库。如果要做数据导入/导出操作的话，还需要安装RedisDump。2.Redis和StrictRedisredis

2022-03-29 21:41:18 1966

原创非关系型数据库存储——MongoDB存储

文章目录1.准备工作2.连接MongoDB3.指定数据库4.指定集合5.插入数据6.查询7.计数8.排序9.偏移10.更新11.删除12.其他操作MongoDB是由C++语言编写的非关系型数据库，是一个基于分布式文件存储的开源数据系统，其内容存储形式类似于JSON对象，它的字段值可以包含其他文档、数组及文档数组，非常灵活。以下，我们来介绍一下Python3下MongoDB的存储操作。如果对MongoDB不熟悉，可以看下这几篇文章MongoDB简介，MongoDB概念解析以及MongoDB基础命令。1.

2022-03-29 14:33:35 1865

原创 Redis缓存穿透、缓存击穿和缓存雪崩

文章目录缓存穿透缓存击穿缓存雪崩Redis缓存的使用，极大的提高了应用程序的性能和效率，特别是数据查询等。但同时，它也带来了一些问题。其中，最主要的问题就是就是数据一致性，从严格意义上讲，这个问题是无解的。如果对数据一致性要求很高，那么就不能使用缓存。另外还有一些典型的问题，就是：缓存穿透、缓存击穿和缓存雪崩的问题。目前，已经有比较流行的解决方案。缓存穿透缓存穿透即查不到数据缓存穿透就是用户想要查询一个数据，发现Redis中没有，也就是缓存中没命中，于是向持久层数据库发起查询，发现也没有这个数据，

2022-03-28 23:23:38 133

原创 Redis主从复制

文章目录Redis主从复制概念环境配置一主二从复制原理哨兵模式测试Redis主从复制概念指的是将一个Redis服务器的数据，复制到其他的Redis服务器。前者称为主节点（master/leader），后者称为从节点（slave/follower）。数据的复制是单向的，只能从主节点到从节点。Master以写为主，Slave以读为主。默认情况下，每台Redis服务器都是主节点，且一个主节点可以有多个从节点（或者没有从节点），但一个从节点只能有一个主节点。主从复制的作用：1数据冗余：主从复制实现了数

2022-03-28 22:42:44 132

原创 Redis事务、持久化、发布订阅

文章目录Redis事务Redis持久化RDB（Redis DataBase）快照方式AOF（Append Only File）日志形式Redis发布订阅发布订阅模型实例Redis发布订阅命令原理Redis事务Redis事务可以一次执行多个命令，并且带哟以下三个重要的保证批量操作在发送EXEC命令前被放入队列缓存收到EXEC命令后进入事务执行，事务中任意命令执行失败，其余的命令依然被执行在事务执行过程，其他客户端提交的命令请求不会插入到事务执行命令序列中一个事务从开始到执行会经历以下三个阶段：

2022-03-28 15:18:25 1374

原创 Redis数据类型及命令

文章目录Redis数据类型Redis键（key）Redis字符串（String）Redis哈希（Hash）Redis列表（List）Redis集合（Set）Redis有序集合（sorted set）Redis的三种特殊类型geospatial 地理空间hyperLoglogbitmapsRedis数据类型Redis支持五种数据类型：string（字符串），hash（哈希），list（列表），set（集合）及zset（sorted set：有序集合）。String（字符串）string是redis最基

2022-03-27 23:35:46 1694

原创 Redis简介

文章目录Redis简介Redis安装windows下安装Linux源码安装Redis简介Redis是完全开源的，遵守BSD协议，是一个高性能的key-value数据库。Redis与其他key-value缓存产品有以下三个特点：Redis支持数据的持久化，可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行使用。Redis不仅仅支持简单的key-value类型的数据，同时还提供list，set，zset，hash等数据结构的存储。Redis支持数据的备份，即master-slave模式的数

2022-03-26 22:23:07 694

原创 MongoDB基础命令

文章目录MongoDB创建数据库MongoDB删除数据库MongoDB创建集合MongoDB删除集合MongoDB插入文档MongoDB更新文档MongoDB删除文档MongoDB查询文档MongoDB与RDBMS Where语句比较MongoDB AND条件MongoDB OR条件AND和OR联合使用MongoDB创建数据库语法MongoDB创建数据库的语法如下：use DATABASE_NAME如果数据库不存在，则创建数据库，否则切换到指定数据库。实例以下实例我们创建了数据库runoob

2022-03-26 16:25:21 1010

原创 MongoDB概念解析

文章目录MongoDB概念解析数据库文档（Document）集合元数据MongoDB数据类型MongoDB概念解析mongodb的基本概念是文档、集合、数据库，下面挨个介绍。下表应该更容易理解Mongo中的一些概念：SQL术语/概念MongoDB术语/概念解释/说明databasedatabase数据库tablecollection数据库表/集合rowdocument数据记录行/文档columnfield数据字段/域indexindex

2022-03-25 17:01:24 309

原创 MongoDB简介

文章目录什么是MongoDB？MongoDB安装Windows平台安装MongoDB什么是MongoDB？MongoDB是由C++语言编写的，是一个基于分布式文件存储的开源数据库系统。在高负载的情况下，添加更多的节点，可以保证服务器性能。MongonDB旨在为WEB应用提供可扩展的高性能数据存储解决方案。MongoDB将数据存储为一个文档，数据结构由键值（key=>value）对组成。MongoDB文档类似于JSON对象。字段值可以包含其他文档，数组及文档数组。主要特点MongoDB是一个

2022-03-25 12:55:56 1457

原创 NoSQL简介

文章目录NoSQL简介关系型数据库遵循ACID原则分布式系统什么是NoSQLNoSQL的优点/缺点NoSQL简介NoSQL（NoSQL = Not Only SQL），意即“不仅仅是SQL”。在现代的计算系统上每天网络上都会产生庞大的数据量。这些数据有很大一部分是关系数据库系统（RDBMS）来处理。1970年E.F.Codd’s提出的关系模型的论文“A relat ional model of data for large shared data banks”，这使得数据建模和应用程序编程更加简单。

2022-03-24 22:32:33 305

原创关系型数据库存储——MySQl的存储

文章目录1.准备工作2.连接数据库3.创建表4.插入数据5.更新数据6.删除数据7.查询数据在Python2中，连接MySQl的库大多是使用MySQLdb，但此库的官方并不支持Python3，所以这里推荐使用的库是PyMySQl。本文就来讲解使用PyMySQl操作MySQL数据库的方法1.准备工作在开始之前，请确保已经安装好了MySQL数据库并保证它能正常运行，而且需要安装好PyMySQL库。2.连接数据库这里，首先尝试连接一下数据库。假设当前的MySQL运行在本地，用户名为root，密码为123

2022-03-23 17:04:55 668

原创二进制文件的读写

文章目录带可选压缩的Pickle带可选压缩的原始二进制数据即使在没有压缩的情况下，二进制格式通常也是占据磁盘空间最小、保存与加载速度最快的数据格式。最简单的办法是使用pickles，尽管对二进制数据进行手动处理应该会生成最小的文件。关于pickles模块，不了解的话可以看下pickles模块学习和python手册pickles这两篇文章。带可选压缩的PicklePickle提供了从Python程序中保存数据（或向Python程序加载数据）的最简单方法，但是pickle没有安全机制（没有加密，也没有数

2022-03-17 14:50:07 2328

原创数据存储之文件存储

文章目录TXT文本存储1.目标2.实例3.打开方式4.简化写法JSON文件存储1.对象和数组2.读取JSON3.输出JSONCSV文件存储1.写入2.读取文件存储的形式多种多样，比如可以保存成TXT纯文本形式，也可以保存为JSON格式、CSV格式等。TXT文本存储将数据保存到TXT文本的操作非常简单，而且TXT文本几乎兼容任何平台，但是这有个缺点，就是不利于检索。所以如果对检索和数据结构要求不高，追求方便第一的话，可以采用TXT文本存储，我们来看下如何用Python保存TXT文本文件。1.目标我们

2021-11-03 16:15:01 1808 1

原创解析库pyquery的使用

文章目录1.准备工作2.初始化字符串初始化URL初始化文件初始化3.CSS选择器4.查找节点子节点父节点兄弟节点5.遍历6.获取信息获取属性获取文本7.节点操作addClass和removeClass之前的文章中介绍了Beautiful Soup的用法，它是一个非常强大的网页解析库，但是它的CSS选择器的功能可能没有那么强大。这篇文章所讲的pyquery会有一些更强大的功能。1.准备工作在开始之前，需要安装pyquery。如果没有安装，可以使用pip命令或者pycharm插件进行安装。2.初始化像

2021-11-02 15:45:22 278

原创解析库Beautiful Soup的使用

文章目录1.简介2.准备工作3.解析器4.基本用法5.节点选择器选择元素提取信息嵌套选择关联选择这篇文章我们来介绍一个强大的解析工具Beautiful Soup，它借助网页的结构和属性等特性来解析网页。有了它，我们不用再去写一些复杂的正则表达式，只需要简单的几条语句，就可以完成网页中某个元素的提取。1.简介简单来说，Beautiful Soup就是Python的一个HTML或XML的解析库，可以用它来方便地从网页中提取数据。官方的解释如下：Beautiful Soup提供一些简单的、Python式

2021-10-24 11:45:43 9241 1

原创解析库XPath的使用

文章目录1.XPath概览XPath,全称XML Path Language，即XML路径语言，它是一门在XML文档中查找信息的语言。它最初是用来搜寻XML文档的，但是它同样适用于HTML文档的搜索。所以在做爬虫时，我们完全可以使用XPath来做相应的信息抽取。1.XPath概览XPath的选择功能十分强大，它提供了非常简洁明了的路径选择表达式。另外，它还提供了超过100个内建函数，用于字符串、数值、时间的匹配以及节点、序列的处理等。几乎我们...

2021-10-19 14:38:37 646

原创利用requests库抓取猫眼电影排行

文章目录1.抓取目标2.准备工作3.抓取分析4.抓取首页5.正则提取6.写入文件7.整合代码8.分页爬取9.运行结果10.本节代码最近刚开始了解爬虫，学习了一下基本库的使用。跟着书上做一个小练习，利用requests库抓取猫眼电影TOP100的相关内容。因为还没系统学习过HTML解析库，所以就用正则表达式来作为解析工具。1.抓取目标下面，我们将提取出猫眼电影TOP100的电影名称、时间、评分、图片等信息，提取的站点URL为http://maoyan.com/board/4,提取的结果会以文件形式保存下

2021-10-17 16:23:23 654

原创爬虫基础之正则表达式

文章目录正则表达式1.实例引入2.match（）3.search()4.findall()5.sub（）6.compile（）正则表达式正则表达式是处理字符串的强大工具，它有自己特定的语法结构，有了它，实现字符串的检索、替换、匹配验证都不在话下。当然，对于爬虫来说，有了它，从HTML里提取想要的信息就非常方便了。1.实例引入打开开源中国提供的正则表达式工具http://tool.oschina.net/regex/,输入待匹配文本，然后选择常用的正则表达式，就可以得到相应的匹配结果。例如，这里输入的

2021-10-17 12:18:46 569

原创爬虫基础之基本库requests的使用

文章目录使用requests基本用法1.准备工作2.实例引入3.GET请求4.POST请求5.响应高级用法1.文件上传2.Cooikes3.会话维持4.SSL证书验证5.代理设置6.超时设置7.身份认证8.Prepared Request使用requests上一篇文章，我们了解了爬虫基础之基本库urllib的使用，但是其中有一些不方便，比如处理网页验证和Cooikes时，需要写Opener和Handler来处理。为了实现这些操作，就有了更为强大的库requests。基本用法1.准备工作安装requ

2021-10-16 14:09:13 275

原创爬虫基础之基本库urllib的使用

文章目录使用urllib发送请求1.urlopen（）Request高级用法处理异常1.URLError2.HTTPError解析链接1.urlparse（）2.urlunparse（）3.urlsplit()4.urlunsplit（）5.urljoin()6.urlencode（）7.parse_qs()8.parse_qsl()9.quote()10.unquote()分析Robots协议1.Robots协议2.爬虫名称3.robotparser使用urllib在python2中，有urllib和

2021-10-15 15:38:14 308

原创爬虫基础之爬虫基本原理

文章目录爬虫基本原理爬虫概述能抓怎样地数据JavaScript渲染页面会话和Cooikes静态网页和动态网页无状态HTTP爬虫基本原理我们可以把互联网比作一张大网，而爬虫（即网络爬虫）就是在网上爬行的蜘蛛。信息。把节点间的连线比作网页与网页之间的连接关系，这样蜘蛛可以通过一个节点后，顺着节点连线爬行到达下一个节点，即通过一个网页可以继续获取网页的网页，这样整个网的节点便便可以被蜘蛛全部爬行，网站的数据就可以被抓取下来了。爬虫概述简单来说，爬虫就是获取网页并提取和保存信息的自动化程序。下面简要概括一下

2021-10-13 18:45:19 2169 2

原创爬虫基础之网页基础

文章目录网页基础网页的组成网页的结构节点树与节点之间的关系选择器网页基础用浏览器访问网站时，页面各不相同，它为什么会呈现这个样子呢？下面，我们就来了解这些网页的组成网页可以分为三大部分——HTML、CSS和JavaScript。如果把网页比作一个人的话，HTML相当于骨架，JavaScript相当于肌肉，CSS相当于皮肤，三者结合起来才能形成一个完善的网页。下面我们分别来看一下这三部分内容。1.HTMLHTML是用来描述网页的一种语言，其全称叫做Hyper Text Markup Langua

2021-10-13 10:32:57 230

原创爬虫基础知识之HTTP基本原理

文章目录HTTP基本原理URI和URL超文本HTTP和HTTPSHTTP请求过程请求HTTP基本原理首先，我们要了解HTTP的基本原理，了解在浏览器中敲入URL到获取网页内容之间发生了什么。了解这些内容有助于我们进一步了解爬虫的基本知识。URI和URL我们先了解一下URI和URL，URI的全称为Uniform Resource Identifier，即统一资源标志符，URL的全称Universal Resource Locator，即统一资源定位符。举个例子，https：//github.com/

2021-10-12 14:15:24 441

原创黑盒测试与白盒测试

文章目录检查产品说明书——静态黑盒测试对产品说明书进行高级审查产品说明书的低层次技术带上眼罩测试软件 ——动态黑盒测试通过性测试和失效性测试等价类划分数据测试状态测试测试软件的逻辑流程失败状态测试其他黑盒测试技术检查代码——静态白盒测试正式审查编码标准和规范通用代码审查清单带上X光眼睛测试软件——动态白盒测试动态白盒测试和调试分段测试数据覆盖代码覆盖关于黑盒测试和白盒测试的有关概念可以参考软件测试类型检查产品说明书——静态黑盒测试对产品说明书进行高级审查测试产品说明书的第一步不是马上钻进去找缺陷，而

2021-10-04 11:42:16 651

原创软件开发的过程

文章目录产品的组成部分软件产品的投入1.客户需求2.产品说明书3.进度表4.软件设计文档5.测试文档软件产品由哪些部分组成软件项目成员软件开发生命周期模式大爆炸模式边写边改模式瀑布模式螺旋模式敏捷软件开发产品的组成部分我们先来思考这样一个问题，软件产品到底是什么？可能我们更多的认为软件产品就是下载到计算机上的程序。这样认为其实并没有错，但是在制作软件的背后还有许多隐藏的内容。软件产品的投入在软件行业中，用于描述制造出来并交付他人的软件产品组件的术语是可交付的部分（deliverable）。解释所有可

2021-09-27 12:58:56 235

Access_JDBC30.jar

空空如也