pycharm获取贝壳网页网址

目录

（一）获取贝壳网页网址

1.新建python文件，取名贝壳租房

2.获取贝壳网租房的网页地址成都租房信息_成都出租房源|房屋出租价格【成都贝壳租房】

3.复制网页的cURL地址

4．访问解析网页内容网址，复制右边转换的代码

（二）解析网页的内容

1．添加贝壳网租房网页地址

2．拼接地址，实现（1-6）翻页

3．贝壳租房地址打印成功

4.使用POST获取请求内容

5.打印状态码

6.状态码打印成功

7.查看网页内容

8.网页内容

（三）贝壳租房信息下载

1．使用etree解析网页

2.定位租房信息，复制租房信息的xpath路径

3.使用xpath解析

4.复制xpath路径

5.完善xpath路径

6.使用for循环遍历地址内容

7.获取小区名称，并打印小区名称

8.小区名称结果

9.获取小区地址的xpath路径

10.获取小区地址，并打印小区地址

11.返回小区地址结果

12.获取小区价格的xpath路径

13.获取小区价格，并打印租房价格

14.添加数组

15.使用csv格式定义写入方法

16.调用方法，写入数组

17.执行结果

18.打开贝壳租房CSV文件

---

（一）获取贝壳网页网址

1.新建python文件，取名贝壳租房

2.获取贝壳网租房的网页地址成都租房信息_成都出租房源|房屋出租价格【成都贝壳租房】

3.复制网页的cURL地址

4．访问解析网页内容网址，复制右边转换的代码

（二）解析网页的内容

1．添加贝壳网租房网页地址

beike_address = https://cd.zu.ke.com/zufang/pg'

2．拼接地址，实现（1-6）翻页

for i in range(1,6) :
beike_url = beike_address+str(i)
print (beike_url)

3．贝壳租房地址打印成功

4.使用POST获取请求内容

response = requests. post(beike_url, cookies=cookies,
headers=headers, data=data)

5.打印状态码