基于hadoop短视频数据爬虫可视化分析系统的设计与实现

精彩专栏推荐订阅：在 下方专栏👇🏻👇🏻👇🏻👇🏻

💖🔥作者主页：计算机毕设木哥🔥 💖

一、项目介绍

随着互联网的快速发展，短视频平台如抖音、快手等已经成为人们分享生活、获取信息的主要方式之一。在这些平台上，每天都有大量的短视频被上传和分享，其中包含了丰富的信息，如人们的兴趣爱好、生活方式、新闻事件等。然而，由于短视频数量巨大，人工处理和分析这些视频数据几乎是不可能的。因此，设计并实现一个能够自动爬取、存储、分析和可视化短视频数据的系统就显得尤为重要。

基于Hadoop的短视频数据爬虫可视化分析系统可以有效地解决上述问题。该系统可以自动从短视频平台爬取数据，并将数据存储到Hadoop分布式文件系统中。然后，利用Hadoop的MapReduce编程模型对数据进行处理和分析，最后通过可视化技术将分析结果呈现出来。这样的系统对于企业和研究机构具有重要的应用价值，如市场调研、舆情监控、社交分析等。此外，该选题还可以帮助学生深入理解Hadoop、爬虫技术、数据分析和可视化等相关技术，提高其实践能力和综合素质。

二、开发环境

• 开发语言：Python
• 数据库：MySQL
• 系统架构：B/S
• 后端：Django
• 前端：Vue

三、项目展示

注册登录页面：

首页模块：



管理员模块：

四、代码展示

def produce_json(dic: dict) -> dict:
    try:
        data = {
        'bvid': dic['bvid'],
        'title': dic['videoData']['title'],
        'state': dic['videoData']['stat'],
        'tags': [],
        }
        for tag in dic['tags']:
            data['tags'].append(tag['tag_name'])
    except KeyError as e:
        print("produce_json failed")
        data = {
            'bvid': '',
            'title': '',
            'state': '',
            'tags': [],
        }

        # for item in dic['related']:
        #     data['related'].append({
        #         'bvid': item['bvid'],
        #         'title': item['title']
        #     })
            
        # bvList = []
        # for item in data['related']:
        #     bvList.append(item['bvid'])
    return data

def get_related(dic: dict) -> set:
    bvList = []
    try:
        for item in dic['related']:
            bvList.append(item['bvid'])
    except KeyError as e:
        print("get_related failed")
        pass
    return bvList

# 广度优先遍历进行爬取
def width(bvid: str, passList: set, queue: set, count: int):
    if len(queue) == 0:
        queue.add(bvid)
        passList.add(bvid)
    with open('result_2.txt', 'ab') as f:
        while queue and count < 300000:
            bvid = queue.pop()
            passList.add(bvid)
            dic = get_dict(bvid)
            f.write(json.dumps(produce_json(dic), ensure_ascii=False).encode('utf-8'))
            f.write(',\n'.encode('utf-8'))
            count = count + 1
            child = set(get_related(dic)).difference(passList)
            if len(child) != 0:
                queue.update(child)


def main():
    with open('passList.dat', 'rb') as f1:
        passList.update(pickle.load(f1))
    with open('queue.dat', 'rb') as f2:
        queue.update(pickle.load(f2))
    with open('count.dat', 'rb') as f3:
        count = pickle.load(f3)
    source = "BV1JB4y1s7Dk"
    width(source, passList, queue, count)

    


if __name__ == '__main__':
    try:
        main()
    except:
        print("interupted")
        with open('passList.dat', 'wb') as f1:
            pickle.dump(passList, f1)
        with open('queue.dat', 'wb') as f2:
            pickle.dump(queue, f2)
        with open('count.dat', 'wb') as f3:
            pickle.dump(count, f3)

五、项目总结

本文旨在设计并实现一个基于Hadoop的短视频数据爬虫可视化分析系统，以解决当前短视频数据利用效率低下的问题。该系统可实现自动化数据爬取、存储、处理和可视化，对于短视频数据分析具有重要的应用价值。

在本文中，我们首先介绍了短视频数据爬虫的相关背景知识，包括其应用领域、现状和发展趋势。然后，我们明确阐述了本次研究的目的和研究问题，即如何设计一个可视化分析系统来提高短视频数据爬虫的效率和质量。接着，我们对已有的短视频数据爬虫相关研究进行了梳理和评价，指出了其优点和不足之处。

针对本次研究的目的和研究问题，我们采用了Hadoop、可视化分析等技术和方法。首先，我们使用Python的Scrapy框架来设计并实现了一个短视频爬虫，可以自动从短视频平台爬取数据。然后，我们将爬取的数据存储到Hadoop分布式文件系统中。接着，我们使用Hadoop的MapReduce编程模型对数据进行处理和分析，并通过可视化技术将分析结果呈现出来。

在系统设计方面，我们详细阐述了可视化分析系统的设计和实现过程，包括数据采集、数据预处理、数据可视化和数据分析等。在数据采集阶段，我们设计了特定的数据采集脚本，可以从短视频平台获取特定信息。在数据预处理阶段，我们使用了一些技术手段对原始数据进行清洗和过滤，以得到更加准确和有用的信息。在数据可视化阶段，我们使用Python的可视化库将数据分析结果以图表、图像等形式展示出来。最后，在数据分析阶段，我们对可视化结果进行深入挖掘和分析，以得到有价值的结论。

大家可以帮忙点赞、收藏、关注、评论啦👇🏻👇🏻👇🏻👇🏻