Zb_Xl的博客

lxml提取外层标签内所有文本

separator = ""用于替换所有换行符和标签之间的分隔符为引号里的内容。strip=True，删除文本两侧多余空格。我在提取解析的时候直接选用这段xpath，但是结果只有“选项D错误：”只要提取了<div>标签里的所有文本，再拼接，就得到我需要的答案解析了。我们可以看到HTML中，剩下的两句在<strong>标签里。

浏览器自动化携带密码进入网课做题界面

使用selenium获取动态加载网页的关键信息

最外面的文件夹myspider是我创建的scrapy项目，它里面有一个叫做spiders的文件夹，我们新建的scrapy文件放到这个文件夹里，然后运行 ‘scrapy crawl 你的Spider名称’，爬虫程序才会运行。Scrapy 项目的 Spider 类应该位于。文件夹中的 Python 文件中。

报头即请求报头（Request Header）是在发送 HTTP 请求时包含的一系列信息（按F12在网络下面可以找到，如果没有出现就按F5刷新），用于告诉服务器关于请求的详细信息和客户端的身份标识。它通常以键值对的形式组成，每个键值对表示一个具体的请求头字段和对应的值。上述代码爬取了经管之家的页面，并将页面保存在一个叫7.13的HTML文件中，keyword是搜索的关键词。User-Agent：用于标识发起请求的客户端身份信息，包括操作系统、浏览器等。Referer：表示当前请求的来源页面的 URL。