python爬虫---爬取链家新房

最新推荐文章于 2024-08-13 21:38:27 发布
最新推荐文章于 2024-08-13 21:38:27 发布
阅读量1k 收藏 6
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/python20180218/article/details/90750801
版权 
import re
import requests
import redis
from lxml import etree
from fake_useragent import UserAgent
import re
import pymysql
class CoityArea:
    def __init__(self):
        #初始化Redis链接
       self.r=self.get_redis()
    def __call__(self, *args, **kwargs):
       self.get_city_area()
    #redis数据库连接
    def get_redis(self):
        return  redis.Redis(host='127.0.0.1',port=6379,db=1)
    def get_city_area(self):
        base_url="https://bj.lianjia.com/zufang/"
        html_xml=self.get_html(base_url)
        city_area_list=html_xml.xpath('//ul[@data-target="area"]//li[position()>1]/a/text() | //ul[@data-target="area"]//li[position()>1]/a/@href')
        # print(city_area_list)
        # print(len(city_area_list))
        for city_area in city_area_list:
            if "zufang" in city_area:
                city_area="https://bj.lianjia.com"+city_area
                # print(city_area)
            #将城区信息插入数据库
            self.r.rpush("city_area_list",city_area)
    #获取指定的url对应的html页面
    def get_html(self,url):
        headers={
            'User-Agent':UserAgent().random
        }
        response = requests.get(url,headers=headers)
        html=response.text
        # print(html)
        return etree.HTML(html)
class BusinessCicle(CoityArea):
    def __call__(self, *args, **kwargs):
        self.get_business_cicle()
    #通过城区的url获取商圈的url
    def get_business_cicle(self):
        #查询城区信息
        city_area_list=self.r.lrange("city_area_list",0,-1)
        # print(city_area_list)
        for index in range(0,len(city_area_list),2):
            #获取城区的url和城区的名称
            city_area_url=city_area_list[index].decode('utf-8')
            city_area_name=city_area_list[index+1].decode('utf-8')
            # print(city_area_url)
            # print(city_area_name)
            #获取城区的html_xml对象
            html_xml=self.get_html(city_area_url)
            #获取商圈信息
            business_cicle_list=html_xml.xpath('//ul[@data-target="area"]/li[@data-type="bizcircle"][position()>1]/a/@href | //ul[@data-target="area"]/li[@data-type="bizcircle"][position()>1]/a/text()')
            # print(business_cicle_list)
            for index in range(len(business_cicle_list)):
                #将城区和商圈用“-”链接起来
                business_cicle=business_cicle_list[index]
                if index%2==1:
                    business_cicle=city_area_name+"-"+business_cicle_list[index]
                # print(business_cicle)
                # count+=1
                self.r.rpush("business_cicle",business_cicle)
class Lian(CoityArea):
    def __call__(self, *args, **kwargs):
        self.count = 1
        self.conn_mysql()
        self.count_ucid=1
        self.get_page_url()

    def get_page_url(self):#查询数据库的商圈信息。
        business_cicle_list=self.r.lrange("business_cicle",0,-1)
        # print(business_cicle_list)
        for index in range(0,len(business_cicle_list),2):
            business_cicle_url=business_cicle_list[index].decode("utf-8")
            business_cicle_name=business_cicle_list[index+1].decode('utf-8')
            #拼接完整的商圈url
            business_cicle_url="https://bj.lianjia.com"+business_cicle_url
            # print('================={}开始下载==================='.format(business_cicle_name))
            # print(business_cicle_url,business_cicle_name)
            html_xml=self.get_html(business_cicle_url)
            #获取做大的页码
            max_page=html_xml.xpath('//div/@data-totalpage')
            # print(max_page)
            #如果获取不到最大页码，则max_page为空列表，跳过本次循环。
            if not max_page:
                continue
            max_page=int(max_page[0])
            # print(max_page,type(max_page))
            #循环生成分页url
            for page in range(1,max_page+1):
                print('============第{}页开始下载============='.format(page))
                page_url=business_cicle_url+"pg{}".format(page)
                # print(page_url)
                self.get_data(page_url)
                # break
            # break
    def get_data(self,page_url):#获取数据：
        html_xml=self.get_html(page_url)
        #缩小范围
        div_list_all=html_xml.xpath('//div[@class="content__list"]//div[@class="content__list--item"]')
        for div_list in div_list_all:
            #获取图片信息：
            pic=div_list.xpath('.//img/@data-src')[0]
            floor_pic=pic.replace('250x182','2000x1200')
            # print(floor_pic)
            #获取标题
            floor_name = div_list.xpath('.//img/@alt')[0]
            # print(floor_name)
            # 3 获取价格：
            floor_price = div_list.xpath('.//span[@class="content__list--item-price"]/em/text()')[0]
            # print(floor_price)
            # 4 获取标签：
            floor_lable = div_list.xpath(".//p[@class='content__list--item--bottom oneline']/i/text()")
            floor_lable = "/".join(floor_lable)#将标签转换为字符串格式
            # print(floor_lable)
            # 5 发布时间；
            floor_time = div_list.xpath(".//p[@class='content__list--item--time oneline']/text()")
            floor_time = floor_time[0] if floor_time else ''
            # print(floor_time)
            # 6 获取位置信息,
            floor_city = div_list.xpath('.//p[@class="content__list--item--des"]//text()')[1]#区的信息
            floor_local = div_list.xpath('.//p[@class="content__list--item--des"]//text()')[3]#商圈的信息
            floor_area = div_list.xpath('.//p[@class="content__list--item--des"]//text()')[6].strip()#房屋的面积
            floor_toward = div_list.xpath('.//p[@class="content__list--item--des"]//text()')[8].strip()#朝向
            floor_room = div_list.xpath('.//p[@class="content__list--item--des"]//text()')[10].strip()#房屋
            # print(floor_room)
            room=re.findall("(\d+)室",floor_room)
            hall=re.findall("(\d+)厅",floor_room)
            tolit=re.findall("(\d+)卫",floor_room)
            room=room[0] if room else 0
            hall=hall[0] if hall else 0
            tolit=tolit[0] if tolit else 0
            # print(room,hall,tolit)

            #详情url：
            detail_url=div_list.xpath('.//p[@class="content__list--item--title twoline"]//a[                      @target="_blank"]/@href')[0]
            # print(detail_url)
            detail_url="https://bj.lianjia.com"+detail_url
            # print(detail_url)
            fang_dict={
                "floor_pic":floor_pic,"floor_name":floor_name,"floor_price":floor_price,
                "floor_lable":floor_lable,"floor_time":floor_time,"floor_city":floor_city,
                "floor_local":floor_local,"floor_area":floor_area,"floor_toward":floor_toward,
                "room":room,"hall":hall,"tolit":tolit,"detail_url":detail_url
            }
            self.parse_detail_info(fang_dict)
    def parse_detail_info(self,fang_dict):
        # print(fang_dict)
        detail_url=fang_dict['detail_url']
        print(detail_url)
        #获取详情url对应的xml对象
        html_xml=self.get_html(detail_url)
        floor = html_xml.xpath('//ul/li[@class="fl oneline"][8]/text()')
        floor=floor[0] if floor else ''
        # print(floor)
        #获取经纪人电话号码：,不在页面中，电话号码在接口中
        # phone=html_xml.xpath('//p[@class="content__aside__list--bottom oneline phone"]//text()')
        # print(phone)
        ucid_id=self.get_ucid(html_xml)
        # print(ucid_id)
        #获取house_code
        house_code = re.findall('zufang/(.*?).html',detail_url)[0]
        # print(house_code)
        #拼接完整的经纪人url
        agent_url="https://bj.lianjia.com/zufang/aj/house/brokers?house_codes={}&position=bottom&ucid={}".format(house_code,ucid_id)
        #获取接口的信息
        try:
            headers={'User-Agent':UserAgent().random}
            json_data=requests.get(agent_url,headers=headers).json()
            # print(json_data)
            phone = json_data.get("data")[house_code][house_code].get("tp_number")
            # print(phone)
        except Exception as e:
            print(e)
        #将电话和字典放在字典当中：
        else:
            fang_dict['floor']=floor
            fang_dict['phone']=phone
            self.insert_mysql(fang_dict)
    def insert_mysql(self,fang_dict):
        #将数据拿取出来放入sql语句中
        floor_pic=fang_dict['floor_pic']
        floor_name=fang_dict['floor_name']
        floor_price=fang_dict['floor_price']
        floor_lable=fang_dict['floor_lable']
        floor_time=fang_dict['floor_time']
        floor_city=fang_dict['floor_city']
        floor_local=fang_dict['floor_local']
        floor_area=fang_dict['floor_area']
        floor_toward=fang_dict['floor_toward']
        room=fang_dict['room']
        hall=fang_dict['hall']
        tolit=fang_dict['tolit']
        detail_url=fang_dict['detail_url']
        floor=fang_dict['floor']
        phone=fang_dict['phone']

        sql="""
        insert into lianjia (floor_pic, floor_name, floor_price, floor_lable, floor_time, floor_city, 
 floor_local, floor_area, floor_toward, room, hall, tolit, detail_url,floor,phone) values 
("{}", "{}", "{}", "{}", "{}", "{}", "{}", "{}", "{}", {}, {}, {}, "{}", "{}", "{}")
        """.format(floor_pic,floor_name,floor_price,floor_lable,floor_time,floor_city,floor_local,floor_area,floor_toward,room,hall,tolit,detail_url,floor,phone)
        # print(sql)
        # try:
        #     self.cur.execute(sql)
        #     self.conn.commit()
        #     print(self.count,sql)
        #     self.count+=1
        # except Exception as e:
        #     print(e)
        #     self.conn.rollback()

    def conn_mysql(self):
        #创建数据库连接对象
        self.conn=pymysql.Connect(host='127.0.0.1',user='root',password='admin',database='02180530',charset='utf8')
        #创建操作数据库对象
        self.cur=self.conn.cursor()
    def get_ucid(self,html_xml):
        try:
            ucid_id =html_xml.xpath('//div[@class="phone__hover--wrapper"]/span[@class="contact__im im__online"]/@data-info')[0]
            # print(ucid_id)
            self.count_ucid=1
            return ucid_id
        except Exception as e:
            print(e)
            if self.count_ucid==3:
                return ''
            else:
                self.count_ucid+=1
                return self.get_ucid(html_xml)
if __name__ == '__main__':
    # city=CoityArea()
    # city()
    #实例化BusinessCicle bc为当前类，调用时触发
    # bc=BusinessCicle()
    # bc()
    lian=Lian()
    lian()

"""
https://bj.lianjia.com/zufang/aj/house/brokers?house_codes=BJ2262932561259143168&position=bottom&ucid=1000000023007453

https://bj.lianjia.com/zufang/aj/house/brokers?house_codes=BJ2259430864331218944&position=bottom&ucid=1000000020276829

"""
Mis相遇
关注
python爬虫 --爬取链家项目【初级版】
D_wart的博客
12-26 645
爬取链家项目需要用到代理池 ，代理池具体怎么设置可以去翻我之前的文章 import hashlib import requests from lxml import etree import pymongo import time,re def get_proxies(): try: response = requests.get('http://localhost:500...
基于bs4的python爬虫-链家新房（广州页面）
yuiyake的博客
11-19 1328
概述 基于bs4解析的python爬虫，没有用别的框架，用了requests库抓取，实现了链家新房数据爬取并保存到mysql数据库中，图片url也存入数据库，图片本体保存在本地，还码了一个gui可视化饼图。 效果图 控制台 饼图 数据库 图片保存到本地 ...
python爬取链家新房数据
03-07
python爬取链家新房数据，由于在网上没有搜索到相关代码，所以自己写了一个
Python爬虫实战，链家二手房数据轻松抓取！
最新发布
weixin_42684533的博客
08-13 1245
随着大数据时代的到来，数据分析已经成为各行各业的重要竞争力。而数据采集作为数据分析的前置步骤，其重要性不言而喻。今天，我们就来聊聊如何使用Python爬虫技术，轻松抓取链家二手房数据。。
python 爬取链家网信息
12-10
python3爬取链家网新房信息，然后解析入库，该资源仅用于学习研究所用，代码比较简单，还望轻喷，想免费分析，无奈CSDN强制要求资源分。所以大家不要怪我啊！
链家新房爬虫
a345198433的博客
07-23 209
# 链家新房爬虫 **今日目标** 爬取最新地区以及对应的房价 ```python import requests import re import csv class LianjiaSpider(object): def __init__(self): self.url='https://cq.lianjia.com/ersho...
python 链家爬虫代码
12-24
爬虫代码，使用python，xpath，爬取链家租房信息等，存储到tet文档中。
python爬虫爬取链家网房价信息
yggdrasil0117的博客
11-16 1389
链家房价
用Python爬虫爬取链家网上的房源信息
shayebuhui_a的博客
12-21 9779
相信有很多朋友在学习python后，一定都有过使用这门语言编写爬虫的想法。刚刚学习了python的小编也是如此。这里小编就以python新手的身份分享一下我们使用python爬虫爬取链家网上的房源信息的过程。如有大佬路过，求大佬指出其中需要改进的地方，小菜我感激不尽。 编写爬虫之前，我们首先应该搞清楚爬虫到底是干什么的。这里语言表达力不足的小编只好借用度娘上的答案向大家介绍一下： 网络爬虫，又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者...
Python-链家网和贝壳网房价爬虫
08-10
链家网和贝壳网房价爬虫，采集北京上海广州深圳等21个中国主要城市的房价数据（小区，二手房，出租房，新房），稳定可靠快速！支持csv,MySQL, MongoDB,Excel, json存储，支持Python2和3，图表展示数据，注释丰富
python 爬虫实践 （爬取链家成交房源信息和价格）
热门推荐
caca95的博客
08-30 2万+
简单介绍 简单介绍下，我们需要用到的技术，python 版本是用的pyhon3，系统环境是linux,开发工具是vscode；工具包：request 爬取页面数据，然后redis 实现数据缓存，lxml 实现页面数据的分析，提取我们想要的数据，然后多线程和多进程提升爬取速度，最后，通过celery 框架实现分布式爬取，并实际部署下，下面就按这个逻辑顺序，进行介绍； request爬取页面数据...
链家爬虫，Python版
03-28
链家爬虫，Python版，很久前的代码，可以学习参考，适合入门的小伙伴
python爬虫，链家
weixin_41312918的博客
08-27 313
# -*- coding: utf-8 -*- """ Spyder Editor This is a temporary script file. """ import json import requests from requests.exceptions import RequestException import re import time import pymysql impo...
python链家爬虫
小鲸鱼的天空
12-18 654
1、爬虫code # coding=utf-8 import requests import re import pymysql def get_info(url): response = requests.get(url) response.encoding = 'utf-8' title_add = r'alt="(.*?)" data-apart-layout...
Python链家租房信息爬虫
Joovo的博客
03-11 2709
爬取链家某地区(杭州,南京等)租房信息爬虫。链家只开放了前100页供查看，每夜30条，因此实际上只爬取了前3000条信息。 对于项目需求需要分析某地区某段时间内发布的租房信息，爬取对应的名称name，地区dist，面积square，价格price，备注detail，用pandas.DataFrame.to_excel()保存为 excel 文件。并发下载使用futures.ThreadPoolEx...
python - 爬虫入门练习 爬取链家网二手房信息
dixian4894的博客
11-10 307
import requests from bs4 import BeautifulSoup import sqlite3 conn = sqlite3.connect("test.db") c = conn.cursor() for num in range(1,101): url = "https://cs.lianjia.com/ershoufang/...
利用python爬取租房信息网_python爬取链家租房信息
weixin_39862899的博客
12-11 526
importrequests as rqfrom bs4 importBeautifulSoupimportjsonimporttimeimportpandas as pdhome_url= 'https://bj.lianjia.com/zufang'headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWe...
python项目实战:爬取链家二手房租赁信息
weixin_33869377的博客
04-03 215
2019独角兽企业重金招聘Python工程师标准>>> ...
链家爬虫python_Python爬虫实战：爬取链家网二手房数据
weixin_39960700的博客
02-05 564
前言本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。买房装修，是每个人都要经历的重要事情之一。相对于新房交易市场来说，如今的二手房交易市场一点也不逊色，很多二手房的信息刚刚挂出来，就被其他购房者拿下了。 项目目标爬取链家网二手房信息受害者地址https://cs.lianjia.com/ershoufang/pg%7B%7D/ 基本环境配置pyt...
链家网页爬虫_爬虫实战1-----链家二手房信息爬取
06-12
对于链家网页爬虫，我们可以使用 Python 的 requests 和 BeautifulSoup 库来实现。以下是爬取链家二手房信息的步骤： 1. 分析链家二手房信息的网页结构：打开链家二手房信息的网页，右键选择“检查”，可以看到网页...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值