基于python的用户画像系统设计与实现

已于 2022-05-27 08:04:23 修改
阅读量2k 收藏 30
点赞数 2
分类专栏： python 毕业设计 文章标签： python 毕业设计
于 2022-05-26 23:27:55 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40306397/article/details/124994661
版权
实验要求
  • 编程语言：python
  • 爬取内容：爬取用户基础属性和UP主属性
  • 数据存储：mysql
  • 生成用户画像和UP主的画像
  • flask前端展示人员画像
爬虫
  • 爬取哔哩哔哩用户收藏夹内容和关注列表，代码如下：

def shoucangjia(cookie, mysql_handler, uid):
    import requests
    media_ids = get_media_id(cookie, uid)
    for media_id in media_ids:
        # url = "https://api.bilibili.com/x/v3/fav/resource/list?media_id=756273631&pn=1&ps=20&keyword=&order=mtime&type=0&tid=0&platform=web&jsonp=jsonp"
        url = f"https://api.bilibili.com/x/v3/fav/resource/list?media_id={media_id}&pn=1&ps=20&keyword=&order=mtime&type=0&tid=0&platform=web&jsonp=jsonp"

        payload = {}
        headers = {
            'authority': 'api.bilibili.com',
            'accept': 'application/json, text/plain, */*',
            'accept-language': 'zh-CN,zh;q=0.9',
            'cookie': cookie,
            'origin': 'https://space.bilibili.com',
            'referer': f'https://space.bilibili.com/{uid}/favlist',
            'sec-ch-ua': '" Not A;Brand";v="99", "Chromium";v="100", "Google Chrome";v="100"',
            'sec-ch-ua-mobile': '?0',
            'sec-ch-ua-platform': '"Windows"',
            'sec-fetch-dest': 'empty',
            'sec-fetch-mode': 'cors',
            'sec-fetch-site': 'same-site',
            'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.127 Safari/537.36'
        }

        response = requests.request("GET", url, headers=headers, data=payload)
        time.sleep(2)
        print(response.text)
        for it in response.json()['data']['medias']:
            title = it['title']
            intro = it['intro']
            mid = it['upper']['mid']
            print('收藏夹中内容是')
            print('title: {}'.format(title))
            print('intro: {}'.format(intro))
            print('mid: {}'.format(mid))
            insert_sql = "INSERT INTO bilibili_shoucang (title,intro,uid,mid) VALUES( '%s','%s','%s','%s');" % (title,intro,uid, mid)
            print("insert_sql: {}".format(insert_sql))
            mysql_handler.insert_data(insert_sql)
            with open('./data/收藏夹.txt', 'a', encoding='utf8') as f:
                f.write(intro + '\n')
def guanzhu(cookie, mysql_handler, uid):
    import requests

    url = f"https://api.bilibili.com/x/relation/followings?vmid={uid}&pn=1&ps=20&order=desc&order_type=attention&jsonp=jsonp&callback=__jp13"

    payload = {}
    headers = {
        'authority': 'api.bilibili.com',
        'accept': '*/*',
        'accept-language': 'zh-CN,zh;q=0.9',
        'cookie': cookie,
        'referer': f'https://space.bilibili.com/{uid}/fans/follow',
        'sec-ch-ua': '" Not A;Brand";v="99", "Chromium";v="100", "Google Chrome";v="100"',
        'sec-ch-ua-mobile': '?0',
        'sec-ch-ua-platform': '"Windows"',
        'sec-fetch-dest': 'script',
        'sec-fetch-mode': 'no-cors',
        'sec-fetch-site': 'same-site',
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.127 Safari/537.36'
    }

    response = requests.request("GET", url, headers=headers, data=payload)
    time.sleep(2)
    print(response.text)
    ob = re.search('__jp13\((.*?)}}\)', response.text)
    if ob:
        str_data = ob.group(1) + '}}'
        # print(str_data)
        # print(type(str_data))
        json_da = json.loads(str_data)
        for it in json_da['data']['list']:
            # print('it: {}'.format(it))
            uname = it['uname']
            sign = it['sign']
            mid = it['mid']
            print('关注人员有')
            print('uname：{}'.format(uname))
            print('sign：{}'.format(sign))
            print('mid：{}'.format(mid))
            insert_sql = 'INSERT INTO bilibili_guanzhu(uname,sign,uid,mid) VALUES( "%s","%s","%s","%s");' % (uname,sign,uid,mid)
            print("insert_sql: {}".format(insert_sql))
            mysql_handler.insert_data(insert_sql)
            with open('./data/关注.txt', 'a', encoding='utf8') as f:
                f.write(sign + '\n')
  • 我们通过分析视频题目得到用户的偏好
  • 我们再通过关注列表的用户首页视频数据得到用户偏好
  • 通过这些偏好来确定用户爱好属性最后通过这些属性来生成用户画像，还需要爬取up主的主页视频内容来分析他的用户画像，代码如下：
def get_guanzhushufansshu(cookie, mid):
    import requests

    url = f"https://api.bilibili.com/x/relation/stat?vmid={mid}&jsonp=jsonp"

    payload = {}
    headers = {
        'authority': 'api.bilibili.com',
        'accept': 'application/json, text/plain, */*',
        'accept-language': 'zh-CN,zh;q=0.9',
        'cookie': cookie,
        # 'cookie': '_uuid=284A9C35-410F10-EDF6-3C17-A54AB9E37FC100821infoc; b_nut=1643015606; buvid3=DA5BB132-6D37-E925-D4B3-2C8A4E90E3E206238infoc; buvid4=113A9242-DF44-71D7-411B-D2635313C53406238-022012417-49/i0Y3vQxJnoCHY0LiQLA%3D%3D; rpdid=|(u|kk)Jl)m|0J\'uYRRR)))mJ; i-wanna-go-back=-1; nostalgia_conf=-1; buvid_fp_plain=undefined; SESSDATA=23090d69%2C1666616262%2Cebd78%2A41; bili_jct=164fb21485e3237e504b7289f12e3522; DedeUserID=478755531; DedeUserID__ckMd5=7b252a2e31a4618c; sid=6lg80kg6; CURRENT_QUALITY=64; buvid_fp=5817007307836e6434cf19e36092363c; CURRENT_BLACKGAP=0; blackside_state=0; b_ut=5; is-2022-channel=1; CURRENT_FNVAL=4048; bp_video_offset_478755531=656642964180697100; fingerprint3=1aef2ae9098ea1c4d68da3b9ae656903; fingerprint=a6a9cadc0142d2671c783db7928ea24c; b_lsid=878109938_180A6C3B44F; innersign=1; PVID=2',
        'origin': 'https://space.bilibili.com',
        'referer': f'https://space.bilibili.com/{mid}',
        'sec-ch-ua': '" Not A;Brand";v="99", "Chromium";v="100", "Google Chrome";v="100"',
        'sec-ch-ua-mobile': '?0',
        'sec-ch-ua-platform': '"Windows"',
        'sec-fetch-dest': 'empty',
        'sec-fetch-mode': 'cors',
        'sec-fetch-site': 'same-site',
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.127 Safari/537.36'
    }

    response = requests.request("GET", url, headers=headers, data=payload)

    # print(response.text)
    guanzhushu = response.json()['data']['following']
    print('关注数：{}'.format(guanzhushu))
    fansshu = response.json()['data']['follower']
    print('粉丝数：{}'.format(fansshu))
    return guanzhushu,fansshu
def gethuozanshubofnagshuyuedushu(cookie, mid):
    import requests

    url = f"https://api.bilibili.com/x/space/upstat?mid={mid}&jsonp=jsonp"

    payload = {}
    headers = {
        'authority': 'api.bilibili.com',
        'accept': 'application/json, text/plain, */*',
        'accept-language': 'zh-CN,zh;q=0.9',
        'cookie': cookie,
        # 'cookie': '_uuid=284A9C35-410F10-EDF6-3C17-A54AB9E37FC100821infoc; b_nut=1643015606; buvid3=DA5BB132-6D37-E925-D4B3-2C8A4E90E3E206238infoc; buvid4=113A9242-DF44-71D7-411B-D2635313C53406238-022012417-49/i0Y3vQxJnoCHY0LiQLA%3D%3D; rpdid=|(u|kk)Jl)m|0J\'uYRRR)))mJ; i-wanna-go-back=-1; nostalgia_conf=-1; buvid_fp_plain=undefined; SESSDATA=23090d69%2C1666616262%2Cebd78%2A41; bili_jct=164fb21485e3237e504b7289f12e3522; DedeUserID=478755531; DedeUserID__ckMd5=7b252a2e31a4618c; sid=6lg80kg6; CURRENT_QUALITY=64; buvid_fp=5817007307836e6434cf19e36092363c; CURRENT_BLACKGAP=0; blackside_state=0; b_ut=5; is-2022-channel=1; CURRENT_FNVAL=4048; bp_video_offset_478755531=656642964180697100; fingerprint3=1aef2ae9098ea1c4d68da3b9ae656903; fingerprint=a6a9cadc0142d2671c783db7928ea24c; b_lsid=878109938_180A6C3B44F; innersign=1; PVID=2',
        'origin': 'https://space.bilibili.com',
        'referer': f'https://space.bilibili.com/{mid}',
        'sec-ch-ua': '" Not A;Brand";v="99", "Chromium";v="100", "Google Chrome";v="100"',
        'sec-ch-ua-mobile': '?0',
        'sec-ch-ua-platform': '"Windows"',
        'sec-fetch-dest': 'empty',
        'sec-fetch-mode': 'cors',
        'sec-fetch-site': 'same-site',
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.127 Safari/537.36'
    }

    response = requests.request("GET", url, headers=headers, data=payload)

    # print(response.text)
    huozanshu = response.json()['data']['likes']
    print('获赞数：{}'.format(huozanshu))
    bofangshu = response.json()['data']['archive']['view']
    print('播放数：{}'.format(bofangshu))
    yuedushu = response.json()['data']['article']['view']
    print('获赞数：{}'.format(yuedushu))
    return huozanshu,bofangshu,yuedushu
def get_up_info(cookie, mid):
    import requests

    url = f"https://api.bilibili.com/x/space/arc/search?mid={mid}&ps=30&tid=0&pn=1&keyword=&order=pubdate&jsonp=jsonp"

    payload = {}
    headers = {
        'authority': 'api.bilibili.com',
        'accept': 'application/json, text/plain, */*',
        'accept-language': 'zh-CN,zh;q=0.9',
        'cookie': cookie,
        # 'cookie': '_uuid=284A9C35-410F10-EDF6-3C17-A54AB9E37FC100821infoc; buvid3=DA5BB132-6D37-E925-D4B3-2C8A4E90E3E206238infoc; b_nut=1643015606; buvid4=113A9242-DF44-71D7-411B-D2635313C53406238-022012417-49/i0Y3vQxJnoCHY0LiQLA%3D%3D; rpdid=|(u|kk)Jl)m|0J\'uYRRR)))mJ; i-wanna-go-back=-1; nostalgia_conf=-1; buvid_fp_plain=undefined; SESSDATA=23090d69%2C1666616262%2Cebd78%2A41; bili_jct=164fb21485e3237e504b7289f12e3522; DedeUserID=478755531; DedeUserID__ckMd5=7b252a2e31a4618c; sid=6lg80kg6; CURRENT_QUALITY=64; buvid_fp=5817007307836e6434cf19e36092363c; blackside_state=0; CURRENT_BLACKGAP=0; b_ut=5; is-2022-channel=1; CURRENT_FNVAL=4048; bp_video_offset_478755531=656642964180697100; fingerprint3=1aef2ae9098ea1c4d68da3b9ae656903; fingerprint=a6a9cadc0142d2671c783db7928ea24c; innersign=1; PVID=3; b_lsid=2E10610AD3_1809868C916',
        'origin': 'https://space.bilibili.com',
        'referer': f'https://space.bilibili.com/{mid}/video',
        'sec-ch-ua': '" Not A;Brand";v="99", "Chromium";v="100", "Google Chrome";v="100"',
        'sec-ch-ua-mobile': '?0',
        'sec-ch-ua-platform': '"Windows"',
        'sec-fetch-dest': 'empty',
        'sec-fetch-mode': 'cors',
        'sec-fetch-site': 'same-site',
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.127 Safari/537.36'
    }

    response = requests.request("GET", url, headers=headers, data=payload)

    print(response.text)
    text = ''
    for m in response.json()['data']['list']['vlist']:
        description = m['description']
        title = m['title']
        print('description: {}'.format(description))
        print('title: {}'.format(title))
        text += '{},{}'.format(title, description)
    return text

  • 最后需要和up的用户画像做一个相似度判断，画像如下：
    用户画像
    UPUP主画像

  • 最后就是前后端和数据库的功能展示了，如下：
    关注
    收藏
    flask

最后

本文的目的只有一个就是学习更多知识，如果有人利用本文技术去进行非法商业获取利益带来的法律责任都是操作者自己承担，和本文以及作者没关系，对本文有任何疑问可以+v讨论：zgffzgffzgff。

v(z_xiansheng88)
关注
  • 2
    点赞
  • 踩
  • 30
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
利用Python搭建用户画像系统
wenyusuran的专栏
07-20 1万+
用户画像是当下很多企业都会提及的概念，多数情况下会和大数据以及营销挂钩。本文将对用户画像的相关知识进行进行简单的介绍，并利用Python去实现一个简单的用户画像系统。 1.什么是用户画像 用户画像可以理解成是海量数据的标签，根据用户的目标、行为和观点的差异，将他们区分为不同的类型，然后每种类型中抽取出典型特征，赋予名字、照片、一些人口统计学要素、场景等描述，形成一个人物原型 。 用户画像 =...
python实现用户画像
08-30
利用python相关技术搭建的用户画像web轻量级应用
毕设开源 基于大数据的用户画像分析系统
pshfka的博客
06-15 894
Hi，大家好，这里是丹成学长，今天做一个电商销售预测分析，这只是一个demo，尝试对电影数据进行分析，并可视化系统🧿选题指导, 项目分享：见文末用户画像是指根据用户的属性、用户偏好、生活习惯、用户行为等信息而抽象出来的标签化用户模型。通俗说就是给用户打标签，而标签是通过对用户信息分析而来的高度精炼的特征标识。通过打标签可以利用一些高度概括、容易理解的特征来描述用户，可以让人更容易理解用户，并且可以方便计算机处理。标签化就是数据的抽象能力互联网下半场精细化运营将是长久的主题。
Python 生成用户画像.pdf
02-17
Python 生成用户画像.pdf Python 生成用户画像.pdf Python 生成用户画像.pdf
基于python与知识图谱的推荐系统设计与实现
06-02
综上所述，"基于python与知识图谱的推荐系统设计与实现"项目旨在结合Python的强大功能和知识图谱的语义理解能力，构建一个高效且智能的推荐系统，以满足日益增长的个性化需求。通过这样的系统，不仅可以提高用户满意...
Python+Spark+Hadoop大数据基于用户画像电影推荐系统设计+sql数据库（高分毕设）
最新发布
08-11
Python+Spark+Hadoop大数据基于用户画像电影推荐系统设计+sql数据库（高分毕设），含有代码注释，新手也可看懂，个人手打98分项目，导师非常认可的高分项目，毕业设计、期末大作业和课程设计高分必看，下载下来，...
基于python微博的网络舆情话题分析和用户画像系统
05-28
【作品名称】：基于python微博的网络舆情话题分析和用户画像系统 【适用人群】：适用于希望学习不同技术领域的小白或进阶学习者。可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。 【项目介绍】： ...
用户画像数据建模方法
AriesSurfer的专栏
09-24 4807
作者：百分点技术总监郭志金 从1991年TimBerners-Lee发明了万维网（World WideWeb）开始，到20年后2011年，互联网真正走向了一个新的里程碑，进入了“大数据时代”。经历了12、13两年热炒之后，人们逐渐冷静下来，更加聚焦于如何利用大数据挖掘潜在的商业价值，如何在企业中实实在在的应用大数据技术。伴随着大数据应用的讨论、创新，个性化技术成为了一个重要落地点。相比传统的
Python用户画像学习文章
02-23
用户画像案例分析，详细讲解各行业应用技巧，包括《大数据用户画像的方法及营销实践》、《电商平台下用户画像的设计与分析》等文章
基于移动互联网行为分析的用户画像系统设计.pdf
10-20
随着大数据时代的到来,能够牢牢的抓住老客户、吸引新客户、读懂用户的偏好兴趣以及挖掘用户的潜在价值,这些对于运营商的的发展至关重要。而达成这一目标需要对用户市场进行细分实现精细化营销,应用数据挖掘技术对用户进行画像,实现用户细分,其研究和发展在实现运营商精确营销、提高工作效率、减少经营成本方面具有重要的指导意义和实用价值。本文以移动互联网用户行为作为研究对象,以用户画像理论作为理论依据,提出了用户画像系统的建设思路,采用标签化方法对用户行为以及用户偏好特征进行描述。本文首先对用户画像系统进行整体的阐述,分别从具象的语义化以及抽象的数学模型来对用户画像系统进行概述,再者从动态性以及时空局限性对用户画像的特性进行描述,最后从建模的角度,将用户画像系统分为静态信息画像以及动态信息画像,对其中的用到的建模方法以及所使用的数据挖掘算法进行了详细的介绍。其次对用户画像的整体架构上进行了描述。分别从系统的总体设计和功能架构,以及业务架构方面将用户画像系统的设计思路进行详细的描述。再者文中结合运营商的经营特点以及业务经验,将用户画像系统分别从基础属性、业务属性、产品属性、渠道属性详细的阐述了用户静态信息标签构建的方法以及具体的分类。然后通过数据挖掘方法的方法实现中文分词,利用LDA聚类模型获得分词向量化从而获得用户文本的特征向量,接着利用改进的TF-IDF分类方法实现对用户不同维度信息的预测,从而构建了用户的互联网基础属性特征。其次通过对用户上网日志的解析和网络爬虫数据的匹配,构建内容的评分模型,实现对移动客户的特征、偏好等信息进行高度总结,从而生成用户移动互联网偏好特征标签,全面丰富了用户动态信息标签的构建。在此基础上,提出了用户画像系统运用列数据库对画像数据进行存储,标签元数据管理以及标签生命周期管理、查询机制和更新机制一系列完整的规范化的用户画像系统管理流程,从而构建一个完整闭环的用户画像系统。最后以营销过程中流量提升以及手机阅读软件用户量提升为例描述了用户画像系统在移动营销业务中的应用。
实战案例，手把手教你用 Python 构建电商用户画像
Python学习与数据挖掘
01-30 4040
大家好，本文以真实案为例手把手教你搭建电商系统的用户画像。 先来看该电商用户画像用到的标签。 数据内容包括user_id（用户身份）、item_id（商品）、IDbehavior_type（用户行为类型，包含点击、收藏、加购物车、支付四种行为，分别用数字1、2、3、4表示）、user_geohash（地理位置）、item_category（品类ID，即商品所属的品类）、Time（用户行为发生的时间），其中user_id和item_id因为涉及隐私，做了脱敏处理，显示的是数字编号。 下面是具体的代码实现过程。
python案例：用户画像分析
Sun123234的博客
03-09 1366
python案例：用户画像分析
python客户画像_Python 生成用户画像
weixin_39893205的博客
12-24 940
Python生成用户画像张志鹏[1]【期刊名称】《《信息周刊》》【年(卷),期】2019(000)030【摘要】近年来,数据的爆发量成指数级增长,人们对数据的分析利用也更加重视,大数据下的数据分析也显得更具有价值。无论是人们生活日常使用APP还是购物,从中产生的数据都是非常有价值的,如果可以对这些用户的数据进行一个系统的分析,去刻画一个用户画像,就可以给予一个用户精准的定位,例如,消费能力,大致年...
python实现用户画像分析案例
weixin_38754337的博客
06-02 3910
来源：大话数据分析拿到一组用户的交易数据，我们如何做数据分析？常规地做法是做用户画像，比如分别对性别、年龄、受教育水平、婚姻状况等做描述统计分析，研究不同的用户特征对于交易金额的影响。本文使用Python对一组交易金额数据做数据分析，通过对数据进行预处理，包括数据类型转换、重复值判断、缺失值处理、数据分组，对用户做初步画像，下面一起来学习。示例工具：anconda3.7本...
实战干货｜Python数据分析消费者用户画像
z099164的博客
12-12 1825
今天给大家介绍一个聚类和降维结合的项目，分为两块内容：直接使用原数据，经过数据预处理和编码后，基于原生的K-Means和PCA/T-SNE实现用户的聚类使用基于Transformer的预训练模型转换后的高维数据，再使用K-Means和PCA/T-SNE实现用户的聚类本文先介绍第一种方案的完整过程。
基于用户画像的PythonDjango框架的电影推荐系统设计与实现
毕业作品网站
09-26 1869
安 装 包 下 载 地 址 ： https://downloads.mysql.com/archives/get/p/25/file/mysql- installer-community-5.6.45.0.msi。安装包下载地址： https://www.oracle.com/java/technologies/javase/javase-jdk8- downloads.html。安装包下载地址：https://github.com/tporadowski/redis/releases。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

v(z_xiansheng88)

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值