人生苦短 我用Python
这不是快过年了吗?
又到了一年一度的亲戚大考验环节…
没对象的他们会问你,找对象了吗?
你要是学计算机专业的,他们会问你,会修电脑吗?
出去学了点啥他们也会要求“才艺展示一下
我相信大家都躲不过去
既然躲不过去,那直接上猛药给亲戚吓一跳吧
用python直接来采集一波相亲网站,并做数据分析
又给亲戚露一手,又向他们表达了自己单着是客观不可抗力
这波,啊这波,我看谁还敢催我找对象???
环境开发:
Python 3.8
Pycharm
模块使用:
import parsel --> pip install parsel
import requests --> pip install requests
import csv
import re
思路流程:
一. 数据来源分析:
1. 明确需求:
采集数据是什么 —> 资料数据 <静态网页>
都是在网页源代码里面
二. 代码实现步骤:
1.发送请求,模拟浏览器对于url地址发送请求
2.获取数据,获取服务器返回响应数据
3.解析数据,提取我们想要数据内容
4.保存数据,把数据内容保存本地
开始代码:导入数据请求模块
import requests
# 导入数据解析模块
import parsel
# 导入csv
import csv
# 导入正则
import re
f = open('data.csv', mode='a', encoding='utf-8', newline='')
csv_writer = csv.DictWriter(f, fieldnames=['昵称',
'性别',
'年龄',
'身高',
'体重',
'出生日期',
'生肖',
'星座',
'籍贯',
'所在地',
'学历',
'婚姻状况',
'职业',
'年收入',
'住房'