python之selenium连接浏览器自动爬取内容

from selenium import webdriver
from lxml import etree
from time import sleep
import requests
if __name__ == '__main__':
    # 打开浏览器创建浏览器对象b
   b=webdriver.Chrome()
#    最大化窗口全屏
   b.maximize_window()
#     输入网址,回车发送请求
   b.get('http://spbfy.chinacourt.gov.cn/index.shtml')
   sleep(1)
#     源码输出
   print(b.page_source)
   html=etree.HTML(b.page_source)
   names=html.xpath('//*[@id="layout"]/div[7]/div[2]/div[2]/div[2]/ul/li[6]/span/a')
   print()
# 进入点击页面
   js='document.querySelector("#layout > div.index_right > div:nth-child(2) > div.list_br > div.list.dian_a.font14 > ul > li:nth-child(6) > span > a").click();'
   b.execute_script(js)
   sleep(5)
   # 爬取内容

   html = requests.get("http://spbfy.chinacourt.gov.cn/article/detail/2017/03/id/3201603.shtml")
    # print html.text
   etree_html = etree.HTML(html.text)
   content = etree_html.xpath('//*[@id="container"]/div//text()')
   print(len(content))
   for each in content:
       replace = each.replace('\n', '').replace(' ', '')
       if replace == '\n' or replace == '':
        continue
       else:
          print(replace)
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

长不大的树袋熊

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值