用Jupyter—Notebook爬取网页数据实例11

用selenium库爬取安居客售房信息

在这里插入图片描述

#引入selenium、 pandas、openpyxl库
from selenium import webdriver
import pandas as pd
import openpyxl
#定义存储变量
xq=[]
hxmj=[]
dj=[]
zj=[]
#获取网页源代码
for i in range(1,6):
    url='https://shanghai.anjuke.com/sale/p'+str(i)
    browser=webdriver.Chrome()
    browser.get(url)
#解析源代码,提取所需数据信息     
    for i in browser.find_elements_by_class_name('list-item'):
        xq.append(i.find_elements_by_class_name('details-item')[1].text)
        hxmj.append(i.find_elements_by_class_name('details-item')[0].text)
        dj.append(i.find_elements_by_class_name('pro-price')[0].find_elements_by_class_name('unit-price')[0].text)
        zj.append(i.find_elements_by_class_name('pro-price')[0].find_elements_by_class_name('price-det')[0].text)
pd.DataFrame({'小区':xq,'户型/面积':hxmj,'单价':dj,'总价':zj})              
data=pd.DataFrame({'小区':xq,'户型/面积':hxmj,'单价':dj,'总价':zj})  
writer=pd.ExcelWriter('anjuke.xlsx')
data.to_excel(writer,'爬虫数据')
writer.save()
已标记关键词 清除标记
©️2020 CSDN 皮肤主题: 游动-白 设计师:上身试试 返回首页