python3 selenium刷新页面问量

seleniu为何物

selenium 是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE（7, 8, 9, 10, 11），Mozilla Firefox，Safari，Google Chrome，Opera等。selenium 是一套完整的web应用程序测试系统，包含了测试的录制（selenium IDE）,编写及运行（Selenium Remote Control）和测试的并行处理（Selenium Grid）。
Selenium的核心Selenium Core基于JsUnit，完全由JavaScript编写，因此可以用于任何支持JavaScript的浏览器上。
selenium可以模拟真实浏览器，自动化测试工具，支持多种浏览器，爬虫中主要用来解决JavaScript渲染问题。
这里要说一下比较重要的PhantomJS,PhantomJS是一个而基于WebKit的服务端JavaScript API,支持Web而不需要浏览器支持，其快速、原生支持各种Web标准：Dom处理，CSS选择器，JSON等等。PhantomJS可以用于页面自动化、网络监测、网页截屏，以及无界面测试。

安装selenium

在安装python目录下的Scripts目录中打开命令行

windows

.\pip3.8.exe install -i https://pypi.tuna.tsinghua.edu.cn/simple selenium

linux

pip3.8 install -i https://pypi.tuna.tsinghua.edu.cn/simple selenium

等等安装完成后就可以在程序中使用了。

代码示例

执行上代码，刷新csdn页面访问量。

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time    : 2020/5/9 11:25
# @Author  : juweigang
# @File    : flashcsdn2.py
# @Software: win10 Tensorflow1.13.1 python3.8

from selenium import webdriver
import time
import threading
import requests
from bs4 import BeautifulSoup

headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36 QIHU 360EE'}

# 根据页面url获取目标文字的连接地址
def geturl(url):
    # 请求详细页面
    r = requests.get(url, headers=headers)
    # 改编码
    r.encoding = "UTF-8"
    # html.parser表示解析用的解析器
    soup = BeautifulSoup(r.text, "html.parser")
    #logging.info(soup)
    ans = soup.select(".csdn-tracking-statistics .content a")
    # 用来储存最后需要写入文件的字符串
    mlist = [];
    for tag in ans:
        # 获取a标签中的href内容，并进行目标字符串拼接
        mlist.append(tag.get('href'))
    # 返回目标字符串
    return mlist

def flashcsdn():
    driver = webdriver.Chrome(r'C:\Program Files (x86)\Google\Chrome\Application\chromedriver.exe')
    url = 'https://blog.csdn.net/princejwg?t=1'
    j = geturl(url)
    js = 'window.open("https://blog.csdn.net/princejwg");'
    driver.execute_script(js)
    for k in range(10):
        driver.execute_script('window.open("{url}");'.format(url=j[k]))
        time.sleep(2)
    driver.quit()


def myfunc():
    while True:
        flashcsdn()
        time.sleep(200)

if __name__ == "__main__":
    threads = []
    for i in range(3):
        t = threading.Thread(target=myfunc())
        threads.append(t)
    for t in threads:
        t.start()
        t.join()