python分析谷歌浏览器的历史记录

在Windows上分析谷歌浏览器Chrome历史记录的Python3.6脚本，分析过程如下：

1.1 Chrome的历史记录数据库

Chrome的数据存储在本地的SQLite数据库中。所以这里我们需要做的就是写一段能够连接到数据库的Python代码，从而查询需要的字段和提取需要的数据，这些数据包括网站访问的URL及其对应的全部访问量。我们把这些找出来作为原始数据。

在一个Windows电脑上，这个数据库通常可以在下面的路径下找到。

C:\Users\<YOURUSERNAME>\AppData\Local\Google\Chrome\UserData\Default

因为我的代码主要针对在Windows平台下的Chrome,我将会将这个代码留给你在Linux和Mac平台下进行稍微的改进。下面的代码给出了在Windows下的路径。

data_path=os.path.expanduser('~')+r"\AppData\Local\Google\Chrome\UserData\Default"
files=os.listdir(data_path)
history_db=os.path.join(data_path,'history')

现在我们有了路径和数据库的名字，我们会在里面进行一些SQL操作。为了实现这一点，你需要导入Python自带的sqlite3库。这些变量是不需要加以说明的。如果需要的话，可以参考sqlite3库的文档。

c=sqlite3.connect(history_db)
cursor=c.cursor()
select_statement="SELECTurls.url,urls.visit_countFROMurls,visitsWHEREurls.id=visits.url;"
cursor.execute(select_statement)
results=cursor.fetchall()

这里最重要的东西就是select_statement.我怎么能够知道从表中获取哪一个字段呢？好的，你可以下载SQLite浏览器并看一下概要图，或者获取这个表格并且运行控制台表中的一个主要的部分。

所以，当程序运行的时候，fetchall函数返回一系列的元组。我们继续进行并尝试着把它打印出来。你会得到很多具有网站数据的元组和在特定期间或者间隔内URL被访问的次数。尽管它可以帮助我们得到这些历史记录的要点，但是用这种格式是没有什么用的。网页是重复的，但是我不知道为什么访问量在这个列表中是分散的。然而，我们可以循环网页每一次出现的次数，进行计数，并把这两个联系在一起，作为字典中的键值对。

1.2 解析网页URL

如果你在控制台中打印出了这个元组，我们可以发现，这个数目会比我们预期的少很多。这是由于程序对HTTP,HTTPS，包括很多子域名进行了不同的计数。尽管下面的解析部分不是以Python方式进行的，但是我决定将一个将网页分割成不同部分的函数，并返回一个简单的无修饰的域。为了一致性，我建议你使用urlparse库的netloc函数来解析网页，这种方式更好一些。

defparse(url):
   try:
      parsed_url_components=url.split('//')
      sublevel_split=parsed_url_components[1].split('/',1)
      domain=sublevel_split[0].replace("www.","")
      return domain
   except IndexError:
      print"URLformaterror!

创建并选择网页，计数字典
从上面的分析可以知道，现在我们必须做的就是循环元组的列表，获取网页URL并解析它，然后把它作为字典的键加入到字典中；对于网页URL的出现次数，你可以简单的增加一个增量计数器作为字典的值。

sites_count={}   #dictmakesiterationseasier:D
for url, count in results:  
        url = parse(url)  
        if url in sites_count:  
            sites_count[url] += 1  
        else:  
            sites_count[url] = 1  

因为Python的字典内部是无序的，为了一个明确的结果应该按值对字典进行排序。我将会采用OrderedDict方法来进行排序。

sites_count_sorted=OrderedDict(sorted(sites_count.items(),key=operator.itemgetter(1),reverse=True))

1.3分析并画出这些结果

现在我们有了可以画出这些结果的所有数据，你需要做的就是尽力来感受这个结果图是什么样的，当你找到你最常访问的网站时，你会感受到这一点。使用matplotlib库进行绘图，我几乎没有任何的经验，所以下面是我画的最简单的图了。

plt.bar(range(len(sites_count_sorted)),sites_count_sorted.values(),align='edge')
plt.xticks(rotation=45)
plt.xticks(range(len(sites_count_sorted)),sites_count_sorted.keys())
plt.show()

具体的代码如下：

import os  
import sqlite3  
import operator  
from collections import OrderedDict  
import matplotlib.pyplot as plt  
#url:http://www.baidu.con
def parse(url):  
    try:  
        parsed_url_components = url.split('//')  #['http:', 'www.baidu.com/']
        sublevel_split = parsed_url_components[1].split('/', 1)   #['www.baidu.com', '']
        domain =sublevel_split[0].replace("www.", "")   #'baidu.com'
        return domain
    except IndexError:  
        print('URL format error!') 

def analyze(results):  
    prompt =input("[.] Type <c> to print or <p> to plot\n[>] ")

    if prompt == "c":
        with open('./history.txt','w') as f:
            for site, count in sites_count_sorted.items():
                f.write(site+'\t'+str(count)+'\n')
    elif prompt == "p":
        plt.bar(range(len(results)), results.values(), align='edge')  
        plt.xticks(rotation=45)  
        plt.xticks(range(len(results)), results.keys())  
        plt.show()
    else:  
        print("[.] Uh?")  
        quit()  

if __name__=='__main__':
    #path to user's history database (Chrome)  
    data_path = os.path.expanduser('~')+r"\AppData\Local\Google\Chrome\User Data\Default"  
    #data_path=r'C:\Users\Administrator\AppData\Local\Google\Chrome\User Data\Default'
    files=os.listdir(data_path)
    history_db = os.path.join(data_path, 'history')  

    #querying the db  
    c = sqlite3.connect(history_db)  
    cursor = c.cursor()  
    select_statement = "SELECT urls.url, urls.visit_count FROM urls, visits WHERE urls.id = visits.url;"  
    cursor.execute(select_statement)  
    
    results = cursor.fetchall() #tuple  

    sites_count = {} #dict makes iterations easier :D  

    for url, count in results:  
        url = parse(url)  
        if url in sites_count:  
            sites_count[url] += 1  
        else:  
            sites_count[url] = 1  

    sites_count_sorted = OrderedDict(sorted(sites_count.items(), key=operator.itemgetter(1), reverse=True))  

    analyze (sites_count_sorted)

Note: 在程序运行时，不要使用谷歌浏览器，可能会遇到数据库不能访问的错误。
推荐使用Anaconda软件,可以进行调试python代码。