接着直接进入主题，scrapy的启动文件begin.py：
'''
本scrapy的运行顺序：
》初始的begin.py ，打开tk界面，输入各个参数，保存在config文件，点击运行
》先进入pipeleines.py，调用open_spider，获取config里的数据，设定spider各个参数
》回到spider.py，正式开始运行parse
》程序结束时，再调用pipeleines.py的close_spider，log此次爬取日志'''
#设定log的输出设置
logging.basicConfig(level=logging.WARNING,
format='asctime: %(asctime)s \n' # 时间
'bug_line: line:%(lineno)d \n' # 文件名_行号
'level: %(levelname)s \n' # log级别
'message: %(message)s \n', # log信息
datefmt='%a, %d %b %Y %H:%M:%S',
filename='日志.log', # sys.path[1]获取当前的工作路径
filemode='a') # 如果模式为'a'，则为续写（不会抹掉之前的log）
#用以启动爬虫
from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings
from tieba.spiders.one_tieba_spider import One_tiebaSpider
from tieba.spiders.one_tiezi_spider import One_tieziSpider
#继承my_tk，完善run函数
class strat_scrapy(My_tk):
def __init__(self,tk):
super(strat_scrapy, self).__init__(tk)#继承已经设定好的tkinter界面
self.spider_pid=11111 #设定初始pid(没什么卵用，不让程序报错而已)
#点击【爬取】按钮调用的函数
def run(self):
# 对输入的参数进行筛查检测，填好了才能启动爬虫
if self.to_assert():
the_args=self.to_assert()
print('设定了爬取条件：',the_args)
if os.path.exists('爬虫日志'): # 如果存在日志，删掉
os.remove('爬虫日志')
super().run() #调用原先my_tk里的方法
# 启动爬虫！
self.start()
self.display_text()#弹出进度窗口
self.root.update() #刷新tk窗口
self.start_time = time.time() # 启动时的时间戳
time.sleep(4)
self.crawling_window.show_it()#tk的进度详情窗口，显示爬取进度
def to_assert(self):
'''对爬虫需要用的参数 进行判断整理，没问题时存放到list，4个参数齐全时，保存到config文件，然后返回list
否则弹出窗口，提示 参数可能有一个有问题'''
the_args=[]
# 排序输入的页数
the_pages = sorted([abs(int(self.beginvar.get())), abs(int(self.endvar.get()))])
the_args.append(the_pages)
#爬取的贴吧名不为空
if self.tiebavar.get()!='':
the_args.append(self.tiebavar.get())
#保存路径不存在，用回默认路径
if os.path.exists(self.pathvar.get()):
the_args.append(self.pathvar.get())
#选择爬取单个帖子的话，Tid=True，此时输入的tid没问题，就放进the_args
#如果是爬取贴吧，tid为None
if self.Tid:#762788222
if isinstance(self.tidvar.get(), int) and self.tidvar.get()!=0 \
and len(str(abs(self.tidvar.get())))>8:
the_args.append(self.tidvar.get())
else:
the_args.append('None')
#4个参数齐全，就保存 爬取信息 到config文件内
if len(the_args)>3:
kw = ['the_pages', 'tieba_name', 'save_path', 'tid']
config = dict(zip(kw, the_args))
config_file = Open_json('config')
config_file.rewrite(config)
return the_args
else:
messagebox.showerror("爬取条件有问题", "请正确输入贴吧名/保存路径/tid！！")
def start(self):
'''多进程启动sracpy'''
if self.Tid:
spider=One_tieziSpider
else:
spider =One_tiebaSpider
self.the_scrapy = multiprocessing.Process(target=start_crawl,args=(spider,))
self.the_scrapy.start()
self.spider_pid=self.the_scrapy.pid #设定pid，爬取窗口用以判断程序是否还在运行
def start_crawl(spider):
'''根据爬取贴吧/帖子 启动不同的scrapy'''
process = CrawlerProcess(get_project_settings())
process.crawl(spider)
process.start()
def begin():
#启动tk
root=Tk()
strat_scrapy(root)
root.mainloop()
if __name__ == '__main__':
# pyinstaller 打包多进程得有下面代码
multiprocessing.freeze_support()
begin()
所输入的参数，保存到文件config：
工具py文件，里面有多个scrapy运行时调用的函数：
'''存放各种所需工具的py文件
creat_dir：创建所需文件夹
Log_one_TieBa：爬取【贴吧】结束时记录
Log_one_TieZi：爬取【帖子】结束时记录
Log_Large_TieZi：爬取[贴吧]时，当前帖子页数>100，记录下该帖子
Open_csv： csv文件写入
Open_json： json文件读取、写入等
Crawling_item_counts：记录理论要爬取item数目
Record_Crawl： 记录返回item的信息(标题、发帖人等)
'''
###=========输入初始时间，返回格式化后(时分秒)的初始、结束、耗时=======#
def log_time(start_time):
end_time = time.time()
# 花费时间
Total_time = end_time - start_time
m, s = divmod(Total_time, 60)
h, m = divmod(m, 60)
elapsed_time = '%d时:%02d分:%02d秒' % (h, m, s)
# 格式化实际时间
start_time = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime(start_time))
end_time = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime(end_time))
return start_time,end_time,elapsed_time
###=========输入初始时间，返回格式化后(时分秒)的初始、结束、耗时=======#
###=========需要用上的文件夹，提前创建=======#
def creat_dir():
dirs=['爬取某个贴吧记录','爬取单个帖子记录','爬取进度详情']
for one in dirs:
if os.path.exists(one) is False:
os.mkdir(one)
creat_dir()
###=========需要用上的文件夹，提前创建========#
###=========爬取【贴吧】时用的log函数========#
class Log_one_TieBa:
'''实例化时(open_spider)，创建对应的csv文件，写入表头，并记录当前时间
爬虫结束时，调用log，把这次的爬取信息写入csv文件，并且写入到the_spider_counts，【进度详情】窗口结束时调用'''
def __init__(self, ):
#锁定每次爬取保存记录的文件
self.log_path = r'爬取某个贴吧记录/spider_TieBa.csv'
if not os.path.isfile(self.log_path): # 不存文件就创建并写入表头
header= ['贴吧名字', '页数范围', '理论爬取帖子数','实际爬取帖子数','返回item数量','开始时间', '结束时间', '总花费时间']
Open_csv(self.log_path).rewrite(header) #写入方式是 'w'
self.start_time = time.time()
def log(self,tieba_name, page_range,tiezi_count,actual_count,items_count):
start_time, end_time, elapsed_time=log_time(self.start_time)
data=[tieba_name,page_range,tiezi_count,actual_count,items_count,start_time, end_time, elapsed_time]
Open_csv(self.log_path).add(data) #写入方式是 ‘a'
## #爬虫结束时，调用的结束text
end_text='此次爬取的贴吧是:【%s】，页数:%s，实际爬取帖子数:%s，耗时:%s'%\
(tieba_name,page_range,actual_count,elapsed_time)
Open_json(r'爬取进度详情/the_spider_counts.json').add(end_text)
###=========爬取【贴吧】时用的log函数========#
###=========爬取【帖子】时用的log函数========#
class Log_one_TieZi:
'''实例化时(open_spider)，创建对应的csv文件，写入表头，并记录当前时间
爬虫结束时，调用log，把这次的爬取信息写入csv文件，并且写入到the_spider_counts，【进度详情】窗口结束时调用'''
def __init__(self):
# 锁定每次爬取保存记录的文件
self.log_path = r'爬取单个帖子记录/spider_TieZi.csv'
if not os.path.isfile(self.log_path): # 不存文件就创建并写入表头
header=['贴吧名字', '标题', '发帖人','帖子编号','页数', '爬取页数范围','理论item数','实际item数',
'开始时间', '结束时间', '总花费时间']
Open_csv(self.log_path).rewrite(header)#写入方式是 'w'
self.start_time = time.time()
def log(self,kw,tiezi_info,page_range,item_counts,return_items_count):
start_time, end_time, elapsed_time = log_time(self.start_time)
data=(kw, tiezi_info['title'],tiezi_info['author'] ,tiezi_info['tid'] ,tiezi_info['pages'],
page_range,item_counts,return_items_count,start_time, end_time, elapsed_time)
Open_csv(self.log_path).add(data)#写入方式是 ‘a'
#爬虫结束时，调用的结束text
end_text = '此次爬取的帖子tid为:【%s】，标题:%s，所在贴吧:%s，页数:%s，item数量:%s，耗时:%s' % \
(tiezi_info['tid'],tiezi_info['title'],kw, page_range, return_items_count, elapsed_time)
Open_json(r'爬取进度详情/the_spider_counts.json').add(end_text)
###=========爬取【帖子】时用的log函数========#
###=========爬取【贴吧】发现当前帖子页数>100时调用，记录========#
class Log_Large_TieZi:
def __init__(self):
self.log_path = r'爬取某个贴吧记录/Large_TieZi.csv'
def log(self,kw,the_tiezi):
# 创建每次爬取保存记录的文件
if not os.path.isfile(self.log_path): # 不存文件就写入表头
header= ['贴吧名字', '标题', '发帖人','帖子编号','回复数量','页数', '最后回复时间', '最后回复人']
Open_csv(self.log_path).rewrite(header)
data=(kw, the_tiezi['title'], the_tiezi['author'], the_tiezi['tid'], the_tiezi['reply_num'], the_tiezi['pages'],
the_tiezi['last_reply_time'], the_tiezi['last_reply_author'])
Open_csv(self.log_path).add(data)
###=========爬取【贴吧】发现当前帖子页数>100时调用，记录========#
###=======================自写的csv包，====================#
#方法有: rewrite创建文件重写内容；add添加新的一行
class Open_csv():
'''只适用于以excel格式写入csv文件'''
def __init__(self,file):
self.file=file
def rewrite(self,data):
with open(self.file, 'w', encoding='utf-8', newline='') as f: # 爬取贴吧日志 写入具体内容
csvwriter = csv.writer(f, dialect="excel")
csvwriter.writerow(data)
def add(self,data):
with open(self.file, 'a', encoding='utf-8', newline='') as f: # 爬取贴吧日志 写入具体内容
csvwriter = csv.writer(f, dialect="excel")
csvwriter.writerow(data)
###=================自写的csv包================#
###=======================自写的json包=====================#
'''方法有：
read 返回文件的所有内容，为list
rewrite 创建文件重写内容
add 添加新的一行
clear 清空所有内容'''
class Open_json():
'''只适用于json文件，读取read，写入/覆盖rewrite,添加新的行'''
def __init__(self,file):
self.file=file
def read(self):
with codecs.open(self.file, 'r', encoding='utf-8') as f:
data=[json.loads(line) for line in f.readlines()]
return data
def rewrite(self,data):
with codecs.open(self.file, 'w', encoding='utf-8') as f:
line = json.dumps(data, ensure_ascii=False)+"\n"
f.write(line)
def add(self,data):
with codecs.open(self.file, 'a', encoding='utf-8') as f:
line = json.dumps(data, ensure_ascii=False)+"\n"
f.write(line)
def clear(self):
a = open(self.file, 'w')
a.close()
###=======================自写的json包=====================#
###===============记录当前 理论爬取item的数量，用在进度条上================#
class Crawling_item_counts():
'''初始item数设为50， 调用update_items更新数量(初次调用时需-50)'''
def __init__(self,file_path):
self.file=Open_json(file_path)
self.file.rewrite(50)
def update_items(self,count):
old_count=self.file.read()[0]
old_count+=count
self.file.rewrite(old_count)
###===============记录当前 理论爬取item的数量，用在进度条上================#
###===============记录爬取完毕 返回的item信息，================#
#写入到文件，【进度详情】tree再调用显示
class Record_Crawl():
def __init__(self,file_path):
self.file=Open_json(file_path)
self.file.clear()
def tiezi_info(self,the_tiezi,situation=None):
'''实际记录其爬取记录的帖子情况有3种
1.被删：①帖子没进去第一页就被删；②再一次进入第一页被删
2.帖子爬过，没有变动
3.爬完了返回item'''
#爬完的帖子是没有设定situation的，而且有post_list
if situation==None:
start_page=the_tiezi['post_list'][0]['page']
end_page = the_tiezi['post_list'][-1]['page']
situation='此次爬取的页数是：% s~ %s'%(start_page,end_page)
#被删/爬过的帖子，是没有post_list的，所以删掉
the_tiezi.pop('post_list')
#补全帖子的信息
the_tiezi.update({'situation':situation})
#写入文件
self.file.add(the_tiezi)
###===============记录爬取完毕 返回的item信息，================#
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
