python学习 之爬虫网页练习

import re

import requests

def get_url():

    response = requests.get('http://qq.yh31.com/zjbq/2892370.html')

    response.encoding='utf-8'

    re_s =r'<img src="(.*?)"' #匹配 待改进

    url_list = re.findall(re_s, response.text)
    return url_list

def get_gif(url,name):
    response = requests.get(url)
    response.encoding ='utf-8'
    with open('D:\\dm\\%d.jpeg'%name, 'wb') as f:
        f.write(response.content)



if __name__ == "__main__":
    url_list = get_url()
    i = 0;
    for url in url_list:
        com_url = 'http://qq.yh31.com' + url
        get_gif(com_url,i)
        i+=1;
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
当然!我可以为您提供一些关于Python爬虫数据练习的建议。以下是一些常见的练习项目,您可以根据自己的兴趣和需求选择其中之一或多个进行练习: 1. 爬取网页数据:使用Python的 requests 库或者 scrapy 框架,爬取一个网页的内容,并将其保存到本地文件或者数据库中。 2. 数据解析:在上述爬取的网页数据中,解析出您感兴趣的信息。可以使用正则表达式、BeautifulSoup 或者 lxml 等库来解析 HTML 或 XML 数据。 3. 图片爬取:通过爬虫程序下载某个网站上的图片。您可以使用 requests 库下载图片,也可以使用第三方库如 urllib 或者 wget。 4. 数据存储:将爬取到的数据存储到数据库中,如 MySQL、SQLite 或者 MongoDB。您可以使用 Python 的数据库模块(如 pymysql、sqlite3 或 pymongo)来实现数据存储功能。 5. 动态网页爬取:对于使用 JavaScript 动态生成内容的网页,您可以使用 Selenium 或者 Pyppeteer 等工具来模拟浏览器行为,以获取动态生成的数据。 6. API 数据爬取:通过调用API接口获取数据。许多网站提供API接口供开发者获取数据,您可以使用 Python 的 requests 库来发送请求,并处理返回的 JSON 数据。 请注意,在进行爬虫练习时,务必遵守网站的爬虫规则和法律法规,不要对目标网站造成不必要的压力或侵犯其合法权益。 希望这些练习能帮助您提升Python爬虫的技能!如果您有任何进一步的问题,请随时提问。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值