- 明确需求(抓取内容: 视频数据/音频数据/图片)
- 发送请求: 对应分析得到url
- 获取数据: response.text[文本数据 网页源代码] response.json()[json字典数据] response.content(二进制数据)
- 解析数据(提取我们想要数据内容) 解析方式: css xpath re
- 保存数据(保存csv表格) 视频/图片/音频/文字…文件 本地 数据库
数据来源分析
爬虫: 对于网页上面的数据内容进行采集程序
1. 确定爬取的内容是什么东西?
二手房源的基本数据
2. 通过开发者工具进行抓包分析, 分析这些数据内容是可以哪里获取
通过开发者工具, 分析可得 >>> 我们想要的房源数据内容(房源详情页url) 就是来自于 网页源代码
如果你要爬取多个房源数据, 只需要在列表页面 获取所有的房源详情页url
代码实现步骤:
发送请求 >>> 获取数据 >>> 解析数据 >>> 保存数据
📢爬虫代码 (https://jq.qq.com/?_wv=1027&k=dwzSWSBK)
代码部分
import pprint # 格式化输出模块 内置模块
import requests # 数据请求模块 第三方模块
import parsel # 数据解析模块 第三方模块
import csv # csv模块 内置模块 不需要安装
f = open('房源.csv', mode='a', encoding='utf-8', newline='')
csv_writer = csv.DictWriter(f, fieldnames=[
'上次交易',
'交易权属',
'产权所属',
'单价',
'售价',
'套内面积',
'建筑类型',
'建筑结构',
'建筑面积',
'户型结构',
'房屋年限',
'房屋户型',
'房屋朝向',
'房屋用途',
'房本备件',
'房源核验码',
'所在楼层',
'抵押信息',
'挂牌时间',
'标题',
'梯户比例',
'装修情况',
'详情页',
'配备电梯',
])
csv_writer.writeheader() # 写入表头
for page in range(1, 11):
print(f'===================正在爬取第{
page}页数据内容===================')
# 1. 发送请求
url = f'https://cs.\*\*\*\*.com/ershoufang/pg{
page}/' # 确定请求的url地址
# 模拟浏览器发送请求 需要对于python代码进行伪装
# headers:请求头 字典数据类型 键值对形式
# header作用: 伪装
# 加那些参数: cookie User-Agent(UA) referer host
# 参数意思是什么
# cookie: 用户信息, 常用于检测是否登陆账号
# User-Agent: 浏览器基本身份标识(用户代理)
# referer: 防盗链 告诉服务器我们发送请求的url地址是从哪里跳转过来 (动态网页)
# host: 域名
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.99 Safari/537.36'
}
response = requests.get(url=url, headers=headers)
# 2. 获取数据, 获取网页源代码 response.text
# print(response.text) # 返回数据字符串数据类型
# 3. 解析数据 解析方式: css xpath re
# css选择器: 根据标签属性内容提取数据
selector = parsel.Selector(response.text) # 返回对象
# attr 属性选择器 getall() 获取所有 返回数据列表 人家语法就是这样 a::attr(href) 取a标签里面href属性
href = selector.css('.sellListContent li .title a::attr(href)').getall()
# print(href)
# 列表 数据容器(一个箱子) 'https://cs.\*\*\*\*.com/ershoufang/104107916240.html' 元素(箱子里面东西)
# for 循环 遍历就是从这个箱子里面一个一个拿东西出来
for link in href:
# 4. 发送请求, 对于房源详情页url地址发送请求
# 5.获取数据, 获取网页源代码response.text
response_1 = requests.get(url=link, headers=headers)
# 6. 解析数据提取我们想要数据
# print(response\_1.text)
selector_1 = parsel.Selector(response_1.text) # 返回对象
# get() 取一个
title = selector_1.css('.title .main::text').get() # 标题
price = selector_1.css('.price .total::text').get() # 售价
price_1 = selector_1
一、Python所有方向的学习路线
Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、Python必备开发工具
工具都帮大家整理好了,安装就可直接上手!
三、最新Python学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、Python视频合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
六、面试宝典
简历模板![在这里插入图片描述](https://img-blog.csdnimg.cn/646863996ac44da8af500c049bb72fbd.png#pic_center)
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!