Python爬虫获取楼盘信息

    在一家线上租房的公司已经实习两周了。作为实习生,所以日常的工作主要是收集和整理全国各小区的信息,比如小区的建成年代,是否有电梯,小区的门牌数等。因为我不太喜欢用复制粘贴这种效率低的工作方式,所以写了一个简单的Python程序,相对那些高端爬虫比较简单,但是还挺实用。通过以下的代码可以爬取网站上的相关信息啦。

    

def get_shanghai_beike_info(key):
    url1 = 'https://sh.ke.com/ershoufang/rs'+urp.quote(key) **这里key是小区的名称,也是函数的参数,这句语句可以生成进入搜索对应的小区的网址
    req1 = request.urlopen(url1)  **request这条语句,如果发现结果中包括没有找到,其实就是指没有找到这个小区的信息,那么函数返回'None'
    res1 = req1.read()
    bs1 = BeautifulSoup(res1,'lxml')
    condition = bs1.get_text().find('没有找到')
    if condition < 0: ##如果发现没有 '没有找到',也就是搜索页面中有这个小区,那么在这个解析下来的lxml中找到对应Tag中电梯、建成年代和楼层高度的信息
        info_lift_1 = bs1.find_all('div',class_ = 'houseInfo')
        if len(info_lift_1) > 1:
            info_lift_2 = str()
            for i in np.arange(len(inf
  • 2
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值