爬取本地网页评分大于3的代码

from bs4 import BeautifulSoup

info =[]

with open('D:/BaiduYunDownload/Python实战::四周实现爬虫系统/课程资料/课程源码及作业参考答案/week1/1_2/1_2code_of_video/web/new_index.html', 'r') as some_data:
    Soup = BeautifulSoup(some_data, 'lxml')
    image = Soup.select('body > div.main-content > ul > li > img')
    somepagraph = Soup.select('body > div.main-content > ul > li > div.article-info > h3 > a')
    cate = Soup.select('body > div.main-content > ul > li > div.article-info > p.meta-info')
    score = Soup.select('body > div.main-content > ul > li > div.rate > span')

for imageone, somepagraphone, cateone, scoreone in zip(image, somepagraph, cate, score):
    data = {
        'image':imageone.get('src'),
        #对图片的爬取
        'somepagraph':somepagraphone.get_text(),
        'cate':list(cateone.stripped_strings),
        #对一对多的爬取
        'score': scoreone.get_text()
    }

    info.append(data)

for i in info:
    if float(i['score']) > 3:
        print(i['somepagraph'],':', i['score'])
在Python中,你可以使用`requests`库来获取网页的源代码,然后再用`BeautifulSoup`库来解析网页,从而实现爬取股票信息的目的。以下是一个简单的例子,展示了如何使用这些库来爬取一个股票网页的源代码: ```python import requests from bs4 import BeautifulSoup # 目标股票网站的URL,这里以示例为目的,实际URL需要根据你要爬取的网站来替换 url = 'http://finance.yahoo.com/quote/AAPL' # 发送HTTP请求 response = requests.get(url) # 检查请求是否成功 if response.status_code == 200: # 获取网页的源代码 html_content = response.text # 使用BeautifulSoup解析网页代码 soup = BeautifulSoup(html_content, 'html.parser') # 根据网页结构提取你想要的信息,以下是一个示例,实际的选择器需要根据网页的具体结构来定 stock_info = soup.select_one('#quote-header-info').get_text() print(stock_info) else: print('网页请求失败,状态码:', response.status_code) ``` 在使用上述代码之前,请确保你已经安装了`requests`和`BeautifulSoup`库。如果尚未安装,可以使用pip进行安装: ```bash pip install requests pip install beautifulsoup4 ``` 这段代码是一个基础的爬虫示例,实际应用中可能需要处理更复杂的情况,如登录、处理JavaScript生成的内容(可能需要使用Selenium或Pyppeteer等工具)、遵守robots.txt协议、设置合理的请求间隔以免对服务器造成过大压力等。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值