- 博客(6)
- 收藏
- 关注
RSS订阅原创 静态网页爬取（requests）
首先导入了`requests`库和`BeautifulSoup`库。并调用`get_data`函数获取页面内容，再将内容传递给`clear_data`函数进行解析和清洗。接下来定义了一个名为`clear_data`的函数，该函数接收一个HTML页面内容作为参数。接下来定义了一个名为`get_data`的函数，该函数接收一个关键词作为参数。同样定义了一个`headers`字典，用于伪装成正常的浏览器访问。最后定义了一个名为`run`的函数，该函数主要用于接收用户输入的人名关键词，最后返回获取到的页面内容。
2024-05-08 21:50:45
281
原创 “民族英雄事迹”—静态网页爬取一
首先定义了一个名为`get_data`的函数，该函数接收一个关键词作为参数。在函数内部，定义了一个`headers`字典，代码使用了`requests`库来发送HTTP请求，模拟浏览器访问，以获取网页内容。然后定义了一个名为`run`的函数，该函数主要是用来接收用户输入的历史人物关键词，接下来利用`requests.get`方法发送HTTP GET请求，然后构造了一个URL，使用传入的关键词作为URL的一部分。获取到的响应结果存储在`res`变量中。并调用`get_data`函数进行查询。
2024-05-08 21:22:02
142
原创 selenium职来职往2
deeprequest()`: 定义一个函数`deeprequest`，用于进行深度请求。接受一个参数`data`，如果`data`不为空，则将`data`写入名为"job.csv"的CSV文件中。`: 定义一个函数`get_content`，用于获取指定URL的职位信息并调用`writeCSV`将数据写入CSV文件。6. 在`soup`中找到所有的ul标签，并将结果保存在`soup`变量中。7. 在`soup`中找到所有的li标签，并将结果保存在`soup`变量中。
2024-05-08 21:21:12
730
原创 豆瓣书籍排名信息—Scrapy库案例
之前调用，可以对请求进行处理，然后返回`None`、`Response`对象或新的`Request`对象，或者抛出`IgnoreRequest`异常以停止处理。`方法在每个响应经过 ** 中间件并进入 ** 之前调用，可以对响应进行处理，但必须返回`None`或抛出异常。方法在 ** 处理完响应后调用，接收 ** 输出的结果，并可以对结果进行处理，然后返回一个可迭代对象。方法在其他 ** 中间件引发异常时调用，可以对异常进行处理，然后返回`None`或一个可迭代对象。`方法在下载器返回响应。
2024-05-08 21:20:32
1143
原创 图来图去-“红色”图片获取
5. 如果`istrue`为1（即文件夹已存在），使用`print()`函数打印提示信息"该文件已存在，请重新输入"，然后再次使用`input()`函数获取用户输入的存储图片的文件夹名称，并将其赋值给变量`file`。2. 使用`int(input())`函数获取用户输入的下载数量，并将其转换为整数赋值给变量`numPic`。3. 使用`input()`函数获取用户输入的存储图片的文件夹名称，并将其赋值给变量`file`。- 创建一个以二进制写入模式打开的文件对象`fp`，使用`open()`函数。
2024-05-08 21:19:52
680
原创 “民族英雄事迹”—静态网页爬取一
首先定义了一个名为`get_data`的函数，该函数接收一个关键词作为参数。在函数内部，定义了一个`headers`字典，代码使用了`requests`库来发送HTTP请求，模拟浏览器访问，以获取网页内容。然后定义了一个名为`run`的函数，该函数主要是用来接收用户输入的历史人物关键词，接下来利用`requests.get`方法发送HTTP GET请求，然后构造了一个URL，使用传入的关键词作为URL的一部分。获取到的响应结果存储在`res`变量中。并调用`get_data`函数进行查询。
2024-05-08 21:18:55
110
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人