lyccomcn的博客

在Web开发中，document 对象是DOM（文档对象模型）的一部分，它代表了整个HTML文档，并提供了多种属性和方法来访问和操作文档的内容、结构和样式。：即文档对象模型，Document Object Model，用于操作页面元素，DOM可以把HTML看作是文档树，通过DOM提供的API可以对树上的节点进行操作。：即JS的基本语法，JavaScript的核心，描述了语言的基本语法和数据类型，ECMAScript是一套标准，定义了一种语言的标准，与具体实现无关。

ajax是Asynchronous JavaScript and XML的简写，ajax是一个前后端配合的技术，它可以让JavaScript发送异步的http请求，与后台通信进行数据的获取，ajax最大的优点是实现局部刷新，ajax可以发送http请求，当获取到后台数据的时候更新页面显示数据实现局部刷新，在这里大家只需要记住，当前端页面想和后台服务器进行数据交互就可以使用ajax了。

定时器就是在一段特定的时间后执行某段程序代码。

假设现在有一段文本：“这是一个包含😊表情符号的句子。还有更多像这样的心形❤️和笑脸😀。”，需要编写一段python代码把文本中的表情符号去除掉，达到以下效果：“这是一个包含表情符号的句子。还有更多像这样的心形和笑脸。”下面我们借助AI工具来实现这一目的。

参数配置页面抓包，找到数据接口，构造请求获取数据。如下图所示，点击任意一款车辆，点击参数配置选项。发送请求，获取seriesid。

JavaScript是一种弱类型语言，也就是说不需要指定变量的类型，JavaScript的变量类型由它的值来决定，定义变量需要用关键字’var’，一条JavaScript语句应该以";"结尾定义变量的语法格式：var 变量名=值;// 同时定义多个变量可以用","隔开，公用一个"var"关键字// 函数定义// 函数调用func()// 传参add(2, 4)// 内部函数外部调用 导出方法!cc();bc = cc;// 全局导出内部变量}())bc()

抓包，找到数据接口。

【代码】python爬虫系列课程4：一个例子学会使用xpath语法。

蜻蜓FM热门音频top排行榜的链接为:，首页如下图所示：采集的思路为1、抓包、找到数据接口；2、发送请求；3、接收请求、提取数据；4、保存数据。

这是因为requests模块在解析响应数据时，会以推断的字符集去解析，有时候会出错，就会出现乱码问题，这时需要我们自己去指定字符集。或者使用更为简单通用的方法，直接添加一行代码。

点击浏览器右上方的三个点的图标，再点击扩展程序，最后点击管理扩展程序，将右上角的开发者模式图标打开。将下载的文件全部解压缩，把后缀名为crx的文件重命名为xpath.crx。将xpath.crx文件拖拽到扩展程序界面，点击添加扩展程序，安装完毕。

通用爬虫可以提取大多数网站的数据，但是对于网站中某些特殊数据的提取方式没有实现。自定义爬虫可以针对某一种网站自行开发符合要求的爬虫。

已知电影名称，在themoviedb电影网站搜索电影的导演、演员、时长、简介、评分等数据，接下来是实现过程。编写代码提取出详情页的标题，上映时间、类型、时长、导演、剧情简介等信息并保存。编写代码提取出结果页第一个结果的详情页url。

接下来再编写爬虫代码时注意携带cookie、headers和载荷中的参数。取出数据包中的数据，再使用xpath表达式提取数据。需求就是采集猫眼影片总票房排行榜上的数据。获取到的数据是json类型的数据，先通过。使用csv文件格式保存数据。

需求是使用多线程爬取笔趣阁网站小说的所有章节内容并保存，多线程分别使用了concurrent.futures线程池和threading模块。

打开浏览器开发者工具，找到xhr数据包，即数据接口。

首先说点废话，技术更新的速度很快，之前一直在使用selenium，但随着selenium运用的增多，网站对于selenium的识别也越来越厉害。无意间，本人接触到了DrissionPage，忍不住要向大家安利一下，个人感觉比selenium方便很多，因为不需要不断地下载然后更新驱动，不需要繁琐的操作，DrissionPage把例如执行JS代码的方法封装好了，调用起来真的方便。开始正题，新建一个临时py文件，并输入以下代码，填入您电脑里的Chrome浏览器可执行文件路径，然后运行。

Selenium爬取steam游戏评论的思路非常简单，初始化Chromedriver，然后打开评论页面，循环下拉滚动条，每下拉一次滚动条获取一次页面源代码，使用xpath解析数据并保存数据。本文的主要目的是为大家提供完整可执行的代码，以此帮助需要的人尽快获取到数据，降低时间成本。

寻找数据接口，发送请求、获取数据、解析数据、保存数据，这是python爬虫的基本步骤，这里就不再做详细展示，重点是使用requests携带上一步中获取到的cookies。首先，初始化selenium的webdriver，然后使用webdriver打开某众点评主页，之后手动扫码登录，利用selenium的get_cookies()方法获取cookies。某众点评的cookies只能用于发送50次请求，之后便会过期，过期之后就需要重新登录，程序中解决了这个问题，但需要准备两个账号以进行切换登录。

【代码】使用mysql数据库创建数据库和表。