在每次进行爬虫代码的编写之前,我们的第一步也是最重要的一步就是分析我们的网页。
在我们本次的例子中,我们需要在每一页获取每一个具体房源的链接,然后进入到二级网页获取详细的信息,然后再返回上一级网页重复此过程。
通过分析我们发现在爬取过程中速度比较慢,所以我们还可以通过禁用谷歌浏览器图片、JavaScript等方式提升爬虫爬取速度。
爬取的网站首页地址:https://beijing.anjuke.com/sale/p1/#filtersort
话不多说,直接上代码:
import requests
from selenium import webdriver
options = webdriver.ChromeOptions()
options.add_argument('user-agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36"')
#禁禁用谷歌浏览器图片、JavaScript,提升爬取速度
prefs = {
'profile.default_content_setting_values': {
'images': 2,
'javascript': 2 #2即为禁用的意思
}
}
options.add_experimental_option('prefs', prefs)
driver = webdriver.Chrome(chrome_options = options)
#爬取每一个标题的链接,进入以后获取相应的内容后再返回上一级,重复以上动作
for page in range(1,4):
driver.get('https://beijing.anjuke.com/sale/p'+str(page)+'/#filtersort')#
for num in range(1,61):
search=driver.find_element_by_xpath('//*[@id="houselist-mod-new"]/li['+str(num)+']/div[2]/div[1]/a')#[@href]//*[@id="houselist-mod-new"]/li[1]/div[2]/div[1]/a
#//*[@id="houselist-mod-new"]/li[3]/div[2]/div[1]/a 第一个标题
#//*[@id="houselist-mod-new"]/li[60]/div[2]/div[1]/a 最后一个标题
driver.get(search.get_attribute('href'))#获取子页面链接
title=driver.find_element_by_css_selector('#content > div.clearfix.title-guarantee > h3').text
print(title)
content=driver.find_element_by_css_selector('#content > div.wrapper > div.wrapper-lf > div.houseInfoBox > div > div.houseInfo-wrap > ul').text
print(content)
driver.back() #后退,返回上一级目录页
driver.quit()
有不清楚的地方大家可以留言,另外代码没有做优化,大家自己感兴趣可以优化一下,以及进行一些更多的操作。