python爬虫学习第二十四天

今天的内容：MySQL里的“六度空间游戏”
这个内容今天可能做不完（今天有点累）

“维基百科六度分隔”问题，其目标是通过一些词条链接寻找两个 词条间的联系（即找出一条链接路径，只要点击链接就可以从一个维基词条到另一个维基 词条） 。 为了解决这个问题，我们不仅需要建立网络爬虫采集网页（之前我们已经做过） ，还要把之前采集的信息以某种形式存储起来，以便后续进行数据分析。

前面介绍过的自增的 id 字段、时间戳以及多份数据表在这里都要用到。为了确定最合理 的信息存储方式，你需要先想想游戏规则。一个链接可以轻易地把页面 A 连接到页面 B。 同样也可以轻易地把页面 B 连接到页面 A，不过这可能是另一条链接。我们可以这样识 别一个链接，即“页面 A 存在一个链接，可以连接到页面 B” 。也就是 INSERT INTO links (fromPageId, toPageId) VALUES (A, B);（其中， “A”和“B”分别表示页面的 ID 号

因此需要设计一个带有两张数据表的数据库来分别存储页面和链接，两张表都带有创建时 间和独立的 ID 号

创建页表
CREATE TABLE wikipediaPages(
id INT NOT NULL AUTO_INCREMENT,
url VARCHAR(255) NOT NULL,
created TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP,
PRIMARY KEY(id)
)

创建链接表
CREATE TABLE wikipediaLinks(
id INT NOT NULL,
fromPageId INT NULL,
toPageId INT NULL,
created TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP,
PRIMARY KEY(id)
)

练习 获取并存取贝肯数不超过 6 的词条
insertIfNotExist()函数用来向pages表中存放数据，存放前检查数据是否存在，存储完成后还返回了存储记录的id，设计很巧妙
insertLinks()啊还能输用来向links表中存放数据，一样存放前要检查
getLinks()函数作用是获取当前页面链接并建立路径信息

from urllib.request import urlopen
from bs4 import BeautifulSoup
import re
import pymysql

conn = pymysql.connect(user='root',password='Gaoji1996',charset='utf8')
cur = conn.cursor()
cur.execute("USE scraping")

pages = set()

def insertIfNotExist(url):
    cur.execute("SELECT* FROM wikipediaPages WHERE url = %s",(url))
    if cur.rowcount ==0:
        cur.execute("INSERT INTO wikipediaPages(url) VALUES(%s)",(url))
        conn.commit()
        return cur.lastrowid
    else:
        return cur.fetchone()[0]
    pass

def insertLinks(fromPageId,toPageId):
    cur.execute("SELECT* FROM wikipediaLinks WHERE fromPageId=%s AND toPageId=%s",(fromPageId,toPageId))
    if cur.rowcount ==0:
        cur.execute("INSERT INTO wikipediaLinks(fromPageId,toPageId) VALUES(%s,%s)",(int(fromPageId),int(toPageId)))
        conn.commit()
    pass

def getLinks(pageUrl,times):
    global pages
    if times>4:
        return
    html = urlopen("http://en.wikipedia.org"+pageUrl)
    bsObj = BeautifulSoup(html)
    currentPageId = insertIfNotExist(pageUrl)
    for link in bsObj.findAll("a",href=re.compile("^(/wiki/)((?!:).)*$")):
        print(link.attrs["href"])
        insertLinks(currentPageId,insertIfNotExist(link.attrs["href"]))
        if link.attrs["href"] not in pages:
            newLink = link.attrs["href"]
            pages.add(newLink)
            getLinks(newLink,times+1)
    pass
getLinks("/wiki/Kevin_Bacon",0)
cur.close()
conn.close()

今天到这里啦，打卡~