python爬虫之中国新闻网(简洁版)

注释挺详细了,直接上全部代码,欢迎各位大佬批评指正。

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
from time import sleep
from lxml import etree
import os
import requests
import csv

#创建一个无头浏览器对象
chrome_options = Options()
#设置它为无框模式
chrome_options.add_argument('--headless')
#如果在windows上运行需要加代码
chrome_options.add_argument('--disable-gpu')
browser = webdriver.Chrome(chrome_options=chrome_options)
#设置一个10秒的隐式等待
browser.implicitly_wait(10)
def start_get(url):
	 browser.get(url)
        sleep(1)
        # 翻到页底
     browser.execute_script('window.scrollTo(0,document.body.scrollHeight)')
        sleep(1)
		#拿到页面源代码
     source = browser.page_source
     parse_page(source)


# 对新闻列表页面进行解析
def parse_page(html):
    # 创建etree对象
    tree = etree.HTML(html)
    new_lst = tree.xpath('//div[@class="content_list"]//a')
    for one_new in new
  • 3
    点赞
  • 26
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值