python关键字库名叫什么_Python采集站长工具关键词库

建立关键词库是SEO重要工作之一。如何获得更多关键词?通常是找到一批母词，用它们作为词根，使用拓词工具拓展出更多长尾关键词。

那么，词根从哪里来呢?比较好的来源之一就是竞争对手的关键词库。今天就来谈一谈如何使用Python采集竞争对手站长工具(chinaz.com)关键词库。

经测试，在不登陆站长工具网站的情况下，只能最多访问前10页的关键词列表。登陆状态下则最多访问前57页关键词列表。想要访问更多，则需要开通VIP。

目前没有开通VIP，所以就只能采集登录状态下前57页关键词，一共1140个有百度指数的关键词。示例代码如下：

import re,time,requests,random

import browsercookie

class ZhanZhang(object):

def __init__(self):

self.headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36'}

self.domains = [domain.rstrip() for domain in open('domains.txt',encoding='utf-8-sig')]

def get_cookies(self):

cookies = browsercookie.chrome()

cookies = [cookie for cookie in cookies if 'chinaz.com' in str(cookie)]

cookies = requests.utils.dict_from_cookiejar(cookies)

return cookies

def curl(self,url,retries = 3,num = 1):

cookies = self.get_cookies()

try:

response = requests.get(url, cookies = cookies, headers = self.headers, timeout=5)

response.encoding = 'utf-8'

html = response.text

except:

html = None

if retries > 0:

print('请求失败，重试第%s次' % num)

return self.curl(url, retries - 1, num + 1)

return html

def page(self,host):

html = self.curl('http://rank.chinaz.com/?host=%s' % host)

time.sleep(random.uniform(1,2))

data = re.search('共(\d+?)页',html)

if data:

num = data.group(1)

if int(num) > 57:

num = 57

else:

num = 1

page = ['http://rank.chinaz.com/%s-0--%s' % (host,i) for i in range(1,int(num)+1)]

return page

def words(self,host):

words = []

pages = self.page(host)

for url in pages:

html = self.curl(url)

time.sleep(random.uniform(1,3))

kws = re.findall('

([\s\S]*?)', html)

for kw in kws:

keys = re.findall('class="ellipsis block">(.*?)

(.*?)

',kw)

words.append(keys)

return words

@property

def save_file(self):

with open('words.txt', 'w') as f:

for host in self.domains:

print('++++++开始采集%s的关键词++++++' % host)

words = self.words(host)

for line in words:

word,index = line[0]

data ='%s\t%s' % (word,index)

data += '\n'

f.write(data)

if __name__ == '__main__':

p = ZhanZhang()

p.save_file

代码运行需要安装requests库和browsercookie库，requests库用来处理请求，browsercookie库用来处理登陆后的cookie。待抓取的域名放在domains.txt文件中，一行一个，不带HTTP。脚本运行完毕，最终数据会写入words.txt文件中，包括关键词及整体百度指数。

这里以采集站长工具为例，同样的还可以采集其他类似网站，比如爱站网、5118等，多个网站综合起来，采集的关键词将更多更全一些。

PS：关注公众号后台回复关键词【站长工具】即可获得这份代码，不明白的地方可私信我。