先来说一下主要的技术点:
1. 输入起始网址,使用ssacnf函数解析出主机号和路径(仅处理http协议网址)
2. 使用socket套接字连接服务器,,获取网页html代码(使用http协议的GET请求),然后使用正则表达式解析出图片url和其他的url。
3. 下载图片至创建的文件夹中,同时其他的url push进队列。
4. 为了使爬虫能够连续的工作,这里使用了BFS宽度优先搜索,也就是说一开始输入的网址作为起始网址,push进队列,然后把能解析出来的网址在不重复的情况下都push进队列,每次取队列的top来执行下载操作,直到队列为空时终止。
下面附上技术点的学习资料供参考:
ssanf函数的用法: