按阅读次数排列 csdn 搜索结果

经常在CSDN博客里查找文章，但是系统里一直没有找到结果按文章阅读数排序的方法。因此自己写个简单的小爬虫脚本，输入要查找的关键字和想要获取的条目，打印出排名前几的博客网址。

当前是第一版本，支持输入两个参数：搜索关键字和期待结果数目， 屏幕上打印出阅读数排名前几的博客网址。

后续版本计划更新：

1. 第一页之后的结果遍历，当前只处理第一页的搜索结果

2. 不带阅读数的结果项解析，有些结果表项没有阅读数信息，需要打开博客去解析阅读数

3. 健壮性保护：

    I. 增加输入参数合法性校验

    II. 网页加载超时异常处理

    III. 元素找不到异常处理

    IV. xxx

4. help命令添加

5. 反爬虫机制

import sys
import time
import re
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.keys import Keys


class Csdn():
    def __init__(self, searchStr, displayCount):
        self.searchStr = searchStr
        self.displayCount = displayCount
        self.retList = []
        options = Options()
        options.add_argument('--headless')
        options.add_argument('--disable-gpu')
        options.add_argument('log-level=3')
        self.driver = webdriver.Chrome(executable_path=r'C:\softPackage\chromedriver_win32\chromedriver.exe', options=options)
        
    def sortResult(self):
        def sortKey(item):
            counts = re.findall(r"\d+", item[0])
            return int(counts[0])
        self.retList.sort(key=sortKey, reverse=True)
        
    def desplayResult(self):
        if self.displayCount > len(self.retList):
            self.displayCount = len(self.retList)
        for retItem in self.retList[:self.displayCount]:
            print("%10s"%retItem[0], retItem[1])
        
    def run(self):
        driver = self.driver
        driver.get('https://blog.csdn.net/')
        driver.find_element_by_id('toolber-keyword').send_keys(self.searchStr)
        driver.find_element_by_id('toolber-keyword').send_keys(Keys.RETURN)
        time.sleep(1)
        handles = driver.window_handles
        driver.switch_to.window(handles[-1])
        items = driver.find_elements_by_xpath("//dd[@class='author-time']")
        # 作者： hpu11 日期：2018-06-07 https://blog.csdn.net/hpu11/article/details/80609571 225次阅读
        for item in items: 
            strs = item.text.split()
            self.retList.append((strs[4], strs[3]))
        self.sortResult()
        self.desplayResult()
        driver.quit()


if __name__ == '__main__':
    searchStr = sys.argv[1]
    displayCount = int(sys.argv[2])
    csdn = Csdn(searchStr, displayCount)
    csdn.run()

 

结果显示如下：