mysql web搜索系统_【20201011】做个搜索引擎（6）——网页蜘蛛代码编写（二）

介绍

介绍

上一堂课福哥给大家展示了一个半成品的蜘蛛对象Spider，今天我们继续。

做事要有目标，并努力使之达成！

今天我们的目标就是：实现网页的爬取分析并将内容保存到webpages数据表当中；

将提取出来的子级页面的超链接保存到webpages里面；

Spider对象

福哥对Spider对象的功能进行了完善，包括一些新的方法(函数)的定义和一些旧有的方法(函数)的改造，我们来一一把它们贴出来。

属性

charsets

charsets = {"utf-8":1, "gbk":2, "big5":3}

方法

analyzePage

# analyze page

def analyzePage(self, url):

title = self.chrome.title

keywords = ""

description = ""

charset = ""

metas = self.chrome.find_elements_by_tag_name("meta")

for meta in metas:

myName = meta.get_attribute("name")

myContent = meta.get_attribute("content")

myHttpEquiv = meta.get_attribute("http-equiv")

if myName == "keywords":

keywords = myContent

elif myName == "description":

description = myContent

elif myHttpEquiv is not None and myHttpEquiv.lower() == "content-type":

charset = myContent

return {"url": url, "title": title, "keywords": keywords, "description": description, "charset": charset}

findAllATags

# find all A tags

def findAllATags(self, domainName):

links = self.chrome.find_elements_by_tag_name("a")

for link in links:

myHref = link.get_attribute("href")

myWebPageType = self.isWebPage(myHref, domainName)

if myWebPageType == 1:

ret = self.saveWebPage(myHref)

print ret

elif myWebPageType == 2:

lnkRE = re.compile("^(http|https)\:\/\/([^\/]+)", re.M)

mats = lnkRE.search(myHref)

if mats:

ret = self.saveDomainPage(mats.group(2))

print ret

findDomainURL

# fetch a domain URL

def fetchDomainURL(self, domainName):

# open page of domain

url = "http://" + domainName

print ("打开网址：" + url)

self.chrome.get(url)

# analyze TKD

args = self.analyzePage(url)

# find all A tags

self.findAllATags(domainName)

findWebURL

def fetchWebURL(self, domainName, url):

# open page of url

print ("打开网址：" + url)

self.chrome.get(url)

# analyze TKD

args = self.analyzePage(url)

# find all A tags

self.findAllATags(domainName)

isWebPage

def isWebPage(self, url, domainName):

lnkRE = re.compile("^(http|https)\:\/\/([^\/]+)", re.M)

mats = lnkRE.search(url)

if mats:

if mats.group(2) == domainName:

return 1 # internal link

else:

return 2 # external link

return 3 # none http URL

saveWebPage

def saveWebPage(self, url):

print url

# try to insert url into webpages

try:

self.mysqlCS.execute("SELECT * FROM webpages WHERE url = %s", [url])

row = self.mysqlCS.fetchone()

if row is None:

self.mysqlCS.execute("INSERT INTO webpages (url, statusCode, charset, createDT) VALUES (%s, %s, %s, now())", [url, 200, 1])

self.mysqlCN.commit()

#print ("保存网页: " + url)

return self.mysqlCS.lastrowid

else:

return row[0]

except Exception as e:

print ("Fail to saveWebPage")

print e

exit()

return None

saveDomainPage

def saveDomainPage(self, domainName):

print domainName

# try to insert url into webpages

try:

self.mysqlCS.execute("SELECT * FROM websites WHERE domainName = %s", [domainName])

row = self.mysqlCS.fetchone()

if row is None:

self.mysqlCS.execute("INSERT INTO websites (domainName, weight, createDT) VALUES (%s, %s, now())", [domainName, 1])

self.mysqlCN.commit()

#print ("保存域名: " + domainName)

return self.mysqlCS.lastrowid

else:

return row[0]

except Exception as e:

print ("Fail to saveDomainPage")

print e

exit()

return None

讲解

今天更新的代码比较多，我们一点一点的介绍，大家要仔细听清楚了哦！

属性charsets

增加了一个属性charsets，是一个数据集合，用来将网页编码转换成整数的。

analyzePage

这个方法用来分析当前打开的页面的信息，将它们提取出来组合成一个数据集合返回给调用的代码使用。

提取的信息包括网页标题(title)、关键字(keywords)、描述(description)、编码(charset)等等信息，这些都是我们写入webpages数据表时候需要的数据。

findAllATags

这个方法昨天已经实现了，今天进行了一些调整，主要作用就是在当前打开的页面上扫描所有A标签(超链接)，并根据超链接的href参数判断链接是内链(internal link)还是外链(external link)，如果是内链直接保存到webpages数据表，如果是外链则保存网址的域名到websites数据表。

findDomainURL

这个方法昨天已经实现了，今天增加了analyzePage环节(暂时没有使用)，且将findAllATags方法单独提出来了。

findWebURL

这个方法是个新方法，功能和findDomainURL方法类型，用来采集普通网页网址的。

isWebPage

这个方法有声明没有实现，今天福哥将它的业务逻辑实现了，作用就是判断URL里面的域名和传入的域名是否一致，一致就是内链，反之就是外链。

saveWebPage

这个方法有声明没有实现，今天福哥把它的功能写出来了，简单来说就是判断url是否在webpages数据表里，在了就直接取它的自增列的值，不在的话就先写入webpages数据表，再拿它的自增列的值。

saveDomainPage

这个方法也有声明也没有实现，今天福哥把它的功能完成了，简单来说就是判断domainName是否在websites数据表里，在了就直接取它的自增列的值，不在的话就先写入websites数据表，再拿它的自增列的值。

总结

写逻辑是福哥最习惯的环节，比码汉字、截图要舒服多了！理科男基本都是和福哥一个类型的吧？我们喜欢逻辑思维，喜欢找规律，喜欢设计规则。写代码满足了我们的这个需求，做一个项目的过程就好像是建立一个系统，指定系统内的规则，有一种造物主的赶脚！

福哥一开始会将代码和设计思路都写出来供童鞋们参考，在后面福哥就会慢慢地逐渐减少现成的代码的提供量了，相对的功能的设计思路会更加详细，这还是为了帮助童鞋们自己开动脑筋去思考为目的！

P.S.

微信公众号的文章发出去之后是不能编辑的，但是福哥偶尔会修复一些描述不到位、示例不正确、结构不清晰等等的文章错误，这些只能在网站上才能看到最新版本内容，望大家知晓~~【20201011】做个搜索引擎(6)--网页蜘蛛代码编写(二) 第 1 页​m.tongfu.net