我有一个程序,从一个用户的1个网址,爬行整个网站,并返回一个所有网址的列表,其中一些分析数据为每个网址。在
一切看起来像:class Crawl(url_from_user):
self.result = [, , ]
class Page(url):
self.data_1 = "string_1"
self.data_2 = "string_2"
self.data_3 = "string_3"
类Crawl-为每个页面处理线程和所有公共输入/数据。在
类Page-为每个页面存储唯一的数据并处理HTML解析。在
我想把这个程序变成一个网站。
使用Django,我想创建一个页面,它将使用url_from_user并开始对站点进行爬网。
我想将结果存储在SQL数据库中,以便能够将其传递给不同的视图。在
问题是如何在爬网过程中动态显示结果,而尚未完成?
在抓取过程中,我可以在控制台中将结果显示为“stdout”。我可以在HTML页面显示未完成的结果吗?在
我的第一个想法是JQuery,但是JQuery是否可以挂接到stdout输出(或者更好,如果它可以使用Page的所有方法访问结果列表本身,那么当列表仍然随着运行Crawl而增长时,我就能够操纵列表的各个元素了)?在