Google资深工程师深度讲解Go语言-爬虫实战项目(十三)

一.为什么做爬虫项目

• 有一定复杂性
• 可以灵活调整醒目的复杂性
• 平衡语言/爬虫之间的比重

二.网络爬虫分类

• 通用爬虫:baidu,google
• 聚焦爬虫:从互联网获取结构化数据(知乎)

三.项目总体结构

四.go语言的爬虫库/框架

本课程主要:

1. 将不适用现成爬虫库/框架
2. 使用elasticSearch作为数据存储
3. 使用go语言标准模板实现http数据展示部分

爬取内容:内容:新闻,播客,社区

爬取人:

• qq空间,人人网,微博,Facebook;
• 相亲网站,求职网站,出于隐私和趣味性,本课程爬取相亲网站