用Jupyter—Notebook爬取网页数据实例11

最新推荐文章于 2022-08-18 15:51:04 发布

HongMeng07

最新推荐文章于 2022-08-18 15:51:04 发布

阅读量1.1k

点赞数

分类专栏：学习实例文章标签： python 大数据

本文链接：https://blog.csdn.net/HongMeng07/article/details/110413868

版权

学习实例专栏收录该内容

13 篇文章 15 订阅

订阅专栏

用selenium库爬取安居客售房信息

在这里插入图片描述

#引入selenium、 pandas、openpyxl库
from selenium import webdriver
import pandas as pd
import openpyxl
#定义存储变量
xq=[]
hxmj=[]
dj=[]
zj=[]
#获取网页源代码
for i in range(1,6):
    url='https://shanghai.anjuke.com/sale/p'+str(i)
    browser=webdriver.Chrome()
    browser.get(url)
#解析源代码，提取所需数据信息     
    for i in browser.find_elements_by_class_name('list-item'):
        xq.append(i.find_elements_by_class_name('details-item')[1].text)
        hxmj.append(i.find_elements_by_class_name('details-item')[0].text)
        dj.append(i.find_elements_by_class_name('pro-price')[0].find_elements_by_class_name('unit-price')[0].text)
        zj.append(i.find_elements_by_class_name('pro-price')[0].find_elements_by_class_name('price-det')[0].text)
pd.DataFrame({'小区':xq,'户型/面积':hxmj,'单价':dj,'总价':zj})              
data=pd.DataFrame({'小区':xq,'户型/面积':hxmj,'单价':dj,'总价':zj})  
writer=pd.ExcelWriter('anjuke.xlsx')
data.to_excel(writer,'爬虫数据')
writer.save()