13.爬虫训练场集成文件采集案例,来学习一下怎么实现的

本篇博客,我们在 爬虫训练场 项目中集成文件下载案例,便于大家学习文件采集。
文章分为三部分,分别是普通文件,MP4 文件,M3U8格式视频文件。

普通文件

在爬虫训练场集成普通文件时非常简单的,在 app 目录新建 file 文件夹,然后再新增 __init__.py 文件和 index.py 文件。

index.py 文件先声明蓝图对象。

from flask import Blueprint, request
from flask import render_template

f = Blueprint('file'
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
1. 网站选择 我们可以选择网站 https://finance.yahoo.com/quote/GOOG/history/ 进行股票数据的采集。该网站提供了谷歌公司(GOOG)的股票历史数据,包括每日的开盘价、收盘价、最高价、最低价、成交量和调整后的收盘价等。 2. 网页分析 我们首先打开该网站,可以看到页面上有一个日期选择器,可以选择需要采集的时间范围。我们可以利用 Python 的 requests 和 BeautifulSoup 库来模拟网页请求和解析网页内容。 3. 代码实现 首先,我们需要导入必要的库。 ```python import requests from bs4 import BeautifulSoup ``` 然后,我们需要定义一个函数,用于获取网页内容。该函数接收一个 URL 参数,并返回该 URL 对应的网页内容。 ```python def get_page(url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'} response = requests.get(url, headers=headers) if response.status_code == 200: return response.content else: return None ``` 接下来,我们需要编写一个函数,用于解析网页内容。该函数接收一个 HTML 参数,并返回一个字典列表,包含每日的股票数据。 ```python def parse_page(html): soup = BeautifulSoup(html, 'html.parser') table = soup.find('table', {'data-test': 'historical-prices'}) rows = table.tbody.find_all('tr') data = [] for row in rows: cols = row.find_all('td') if len(cols) == 7: date = cols[0].text.strip() open_price = cols[1].text.strip() high_price = cols[2].text.strip() low_price = cols[3].text.strip() close_price = cols[4].text.strip() adj_close_price = cols[5].text.strip() volume = cols[6].text.strip() data.append({ 'date': date, 'open_price': open_price, 'high_price': high_price, 'low_price': low_price, 'close_price': close_price, 'adj_close_price': adj_close_price, 'volume': volume }) return data ``` 最后,我们需要编写一个主函数,用于调用上述两个函数,并输出采集的股票数据。 ```python def main(): base_url = 'https://finance.yahoo.com/quote/GOOG/history?p=GOOG' start_date = '20220101' end_date = '20220131' url = '{}&period1={}&period2={}&interval=1d&filter=history&frequency=1d'.format(base_url, start_date, end_date) html = get_page(url) data = parse_page(html) for item in data: print(item) ``` 我们可以将上述代码保存为一个 Python 文件,运行该文件即可输出采集的股票数据。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

梦想橡皮擦

如有帮助,来瓶可乐

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值