关键词:履带;万维网;Python;Scrapy架构目录摘要Introduction-1课题的目的和意义的选区国内外文献看一篇论文研究content-22系统设计description-3 design-3系统设计的背景和意义Goals-3设计Principles-3可靠性Principles-3效率Principles-3实践Principles-33体系Analysis-4网络爬虫工作Principles-4可行性Analysis-5可行性研究Prerequisites-5技术Feasibility-5 Operation-5社会Feasibility-6经济可行性Feasibility-6软件操作和开发环境- 64开发技术和Tools-7发展技术Introduction-7Python语言Features-7Scrapy架构Technology-7开发工具介绍- 85系统设计为9履带architecture-9履带轮廓设计- 106详细设计和implementation-11履带modularization-11履带特定的流程设计11个URL crawling-11封装URL开始到一个响应包中(响应)-11履带解析响应包-12解析出项目(项目)和手它-12年管道处理返回的URL需要爬到调度器- 127履带爬行结果13百度Tieba-13豆瓣Album-14 Conclusion-15 References-16 Acknowledgements-17