爬取贝壳网的40000条基本数据

最新推荐文章于 2024-01-17 14:06:10 发布

仇振杰

最新推荐文章于 2024-01-17 14:06:10 发布

阅读量1.1k

点赞数 2

文章标签：爬虫正则表达式

本文链接：https://blog.csdn.net/weixin_46238738/article/details/118477846

版权

本文介绍了如何爬取贝壳网的40000条基本数据，包括设置User-Agent避免404错误，使用BeautifulSoup筛选网页数据，利用正则表达式提取所需信息，并提供了完整代码示例。数据可以保存为Excel或SQLite数据库，但文中并未展示具体保存过程。

摘要由CSDN通过智能技术生成

总共分为四部分:
1.获得网页URL
2.获得网页数据
3.过滤数据,获得需要的数据
4.完整代码

一,获得网页URL

#先导入库
import urllib.request,urllib.error
from bs4 import BeautifulSoup
import re

#建立一个主函数,该代码都所有函数都在主函数执行
def main():
    baseurl="https://sjz.ke.com/ershoufang/pg/"  #获得贝壳网网址


def Geturl(baseurl):
    headers = {
        "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.114 Safari/537.36 Edg/91.0.864.59"}
    repo=urllib.request.Request(baseurl,headers=headers)
    html=''
    try:
        reponse=urllib.request.urlopen(repo)
        html=reponse.read().decode("utf-8")

    except urllib.error.URLError as e:
        if hasattr(e, "code"):
            print(e.code)
        if hasattr(e, "reason"):
            print(e.reason)
    return html

User-Agent数据在右击检查中的network里面截取:
如果