西南科技大学 Python程序设计 大作业参考 电影数据爬取

一定自己去浏览器里面用开发者工具找自己的UA伪装到head中未填写的'User-Agent': ""后半部分中

import json
import requests

if __name__ == '__main__':
    url = 'https://movie.douban.com/j/chart/top_list?'

    param = {
        'type': '24',
        'interval_id': '100:90',
        'action': '',
        'start': '0',  # 从库中第几部电影取
        'limit': '20',  # 一次请求取出的个数
    }
    head = {
        'User-Agent': ""
    }
    response = requests.get(url=url,params=param,headers=head)
    list_data = response.json()
    fp = open('./douban.json','w',encoding='utf-8')
    json.dump(list_data,fp=fp,ensure_ascii=False)
    print('over')
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
很抱歉,作为AI语言模型,我无法提供一个完整的Python程序设计大作业。但是,我可以给你一些大作业的思路和建议: 1. 数据分析和可视化项目:可以选择一个感兴趣的数据集,例如气象数据、股票数据等,使用Python数据分析库(如Pandas、NumPy等)对数据进行清洗、处理、分析和可视化,并撰写详细的报告,介绍数据的背景、目的、分析方法和结论等。你还可以使用Matplotlib、Seaborn等可视化库来绘制各种图表。 2. 文本处理和自然语言处理项目:可以选择一个语料库,如维基百科、推特、新闻等,使用Python的自然语言处理库(如NLTK、Spacy、Gensim等)对文本进行处理、分析和可视化,并完成相关的任务,如文本摘要、情感分析、语言生成等。你还可以使用相关的可视化库来绘制词云、关系图等。 3. 机器学习项目:可以选择一个数据集,使用Python的机器学习库(如Scikit-learn、TensorFlow等)来构建和训练机器学习模型,如分类、回归、聚类等,并进行性能评估和调参。你还可以使用相关的可视化库来绘制学习曲线、特征重要性等。 4. 网络爬虫项目:可以选择一个网站,使用Python的网络爬虫库(如Requests、BeautifulSoup等)来爬取并保存网站上的信息,如文章、图片等。你还可以使用相关的库来实现自动登录、代理IP等功能。需要注意的是,爬虫项目需要遵守伦理和法律规定,不要侵犯他人隐私和知识产权。 以上只是一些思路和建议,具体的大作业需根据自己的兴趣和能力来确定。在完成大作业过程中,记得及时向老师、同学或网络上的社区寻求帮助和反馈,不要抄袭或剽窃他人作业,做一个诚实、负责任的程序设计者。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值