【Python爬虫练习】python爬取安居客二级网页二手房信息（selenium）

在每次进行爬虫代码的编写之前，我们的第一步也是最重要的一步就是分析我们的网页。

在我们本次的例子中，我们需要在每一页获取每一个具体房源的链接，然后进入到二级网页获取详细的信息，然后再返回上一级网页重复此过程。

通过分析我们发现在爬取过程中速度比较慢，所以我们还可以通过禁用谷歌浏览器图片、JavaScript等方式提升爬虫爬取速度。

爬取的网站首页地址：https://beijing.anjuke.com/sale/p1/#filtersort

 话不多说，直接上代码：

import requests
from selenium import webdriver

options = webdriver.ChromeOptions()
options.add_argument('user-agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36"')
#禁禁用谷歌浏览器图片、JavaScript,提升爬取速度
prefs = {
              'profile.default_content_setting_values': {
                'images': 2,
                'javascript': 2        #2即为禁用的意思
                }
 }
options.add_experimental_option('prefs', prefs)
driver = webdriver.Chrome(chrome_options = options)
#爬取每一个标题的链接，进入以后获取相应的内容后再返回上一级，重复以上动作
for page in range(1,4):
    driver.get('https://beijing.anjuke.com/sale/p'+str(page)+'/#filtersort')#
    for num in range(1,61):
        search=driver.find_element_by_xpath('//*[@id="houselist-mod-new"]/li['+str(num)+']/div[2]/div[1]/a')#[@href]//*[@id="houselist-mod-new"]/li[1]/div[2]/div[1]/a 

#//*[@id="houselist-mod-new"]/li[3]/div[2]/div[1]/a          第一个标题
#//*[@id="houselist-mod-new"]/li[60]/div[2]/div[1]/a          最后一个标题
        driver.get(search.get_attribute('href'))#获取子页面链接

        title=driver.find_element_by_css_selector('#content > div.clearfix.title-guarantee > h3').text
        print(title)
        content=driver.find_element_by_css_selector('#content > div.wrapper > div.wrapper-lf > div.houseInfoBox > div > div.houseInfo-wrap > ul').text
        print(content)
        driver.back()           #后退，返回上一级目录页
driver.quit()

有不清楚的地方大家可以留言，另外代码没有做优化，大家自己感兴趣可以优化一下，以及进行一些更多的操作。