python如何爬取注释的网页_python基础课程4（看代码看注释）--爬虫爬取网页信息...

#主要用的python库：安装必要的库requests：用来获取页面信息； BeautifulSoup：用来获取页面结构的详细信息

#先获取链接，再到一个列表，进入标签，然后到class。。。。。就可以了(省略)

#安装

import requests

from bs4 import BeautifulSoup

url = "https://hz.lianjia.com/zufang/"

responce=requests.get(url)#获取到页面信息200，页面信息存储在text中

#查看页面信息存储位置，response.text

responce.text

soup = BeautifulSoup(responce.text,'lxml')#解析使用lxml格式的文本存储,使文本结构化了

links_div=('div',class_="pic-panel")##class加下划线是因为class是python里的关键字，此class非彼class

#从列表框里生成另一个列表推导式，利用列表生成式

links =[div.a.get('herf') for div in links_div]

print(links,len(links))##30个链接，访问这些链接可以得到详细的租房信息

#links_div[1].a.get('herf')##仅仅提取了这个链接就够了

##上述代码封装成函数,名字为get_links，作用为获取下边所有租房页面的链接，返回一个链接列表