python爬虫selenium页面滑动案例，作为一个Python程序员你还不会JetPack

定义翻页函数

def up_page(self):

time.sleep(1)

点击下一页

self.driver.find_element(By.XPATH,‘//*[text()=“下一页”]’).click()

定义保存页面源码函数

def save_page(self, n=1):

time.sleep(2)

保存数据

with open(f’第{n}页.html’, ‘w’, encoding=‘utf-8’) as f:

f.write(self.driver.page_source)

定义总的执行函数

def run(self):

try:

self.save_page() # 第一页

for n in range(2, 6): # 第二三四五页

self.scroll()

self.up_page()

self.save_page(n)

except Exception as e:

print(e)

finally:

self.clear_driver()

if name == ‘main’:

lianjia = LianJia()

lianjia.run()

获取页面源码则对浏览器驱动对象self.driver调用page_source属性。

执行JavaScript代码使用execute_script() 方法。

其中还涉及一点关于翻页的简单的JavaScript代码语句ÿ