import requests
from lxml import etree
from fake_useragent import UserAgent
import random
import time
class LianjiaSpider(object):
def __init__(self):
self.url='https://nc.lianjia.com/ershoufang/pg{}/'
#功能函数:随机获取User-Agent
def get_headers(self):
ua=UserAgent()#创建UserAgent对象
headers={
"User-Agent": ua.random}#随机获取请求头
return headers
#获取页面
def get_html(self,url):
#设置超时时间为5秒,尝试次数为3次
for i in range(3):
try:
res = requests.get(url
xpath爬取链家二手房
最新推荐文章于 2023-12-29 10:31:10 发布
本文介绍了如何利用XPath语法在Python中爬取链家网站上的二手房数据,包括房源价格、位置和面积等关键信息,从而实现自动化房产数据收集。
摘要由CSDN通过智能技术生成