大数据作业：相亲数据的可视化分析（个人）

本文链接：https://blog.csdn.net/qq_63245028/article/details/130365418

本文介绍了一位学生使用Python爬取珍爱网多个城市的相亲信息，进行了数据清洗、分析并存储到SQLite数据库中。之后，通过Echarts展示了数据的可视化，包括婚姻状况、学历分布和年龄分布的图表。项目涉及网页数据提取、正则表达式以及前端框架的应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前言

个人大数据的期末大作业，用python按城市寻找爬取、分析和保存了珍爱网相亲的征婚信息，然后进行数据可视化分析。

一、数据的爬取，分析，清洗与保存

1.数据的爬取

网站来源如下

def getDate(baseurl):
    datalist = []
    citylist = ['beijing/'
     ,'shanghai/','tianjin/','changchun/','shijiazhuang/','lanzhou/','xining/',
     'xian/','zhengzhou/','jinan/','taiyuan/','hefei/','changsha/','wuhan/','nanjing/','chengdu/','guiyang/','kunming/',
     'hangzhou/','nanchang/','guangzhou/','fuzhou/'
                ]
    for i in citylist:          
        url1 = baseurl + i
        for j in range(1,7):
             url = url1 + str(j)
             html = askURL(url)

2.数据的分析

1.数据的清洗

分析数据中用到了正则表达式查找筛选指定字符串。但因为珍爱网的每一栏都是采用相同的标签和class，这样就不知道是在哪里结束。所以正则表达式后面加上下一栏标签内的文字，就能分清在哪里结束了。图1

因为相亲男女的其他各栏属性都相同，但其中有一栏男士对应的是月薪，女士对应的是学历。所以可以分开处理。男士的学历和女士的月薪就标记为“未知”。图2

#详情链接
findLink = re.compile(r'<a href="(.*?)" target="_blank">')
#图片的链接
findImgSrc = re.compile(r'<img.*src="(.*?)"',re.S)#re.S 让换行符包含在字符中
#姓名
findName = re.compile(r'<a href="http://album.zhenai.com/u/.*" target="_blank">(.*)</a>')
#性别
findGender = re.compile(r'<span class="grayL">性别：</span>(.*)</td> <td><span class="grayL">居住地：')
#居住地
findPlace = re