字节跳动算法题面试，一个简单的爬虫框架，赶紧学习一下

* 一个用于获得Request请求的接口

* 实现getMethod方法获取Get方法

*/

public interface RequestSet {

public HttpGet getMethod(String url);

}

Saveutil接口用于自定义保存方式,需要实现save方法

package SaveUtil;

/*

* 数据储存的工具接口,必须实现保存方法

*/

public interface SaveUtil {

public void save(String url,String html);

}

Spider类,有五中构造方法,可以实现多种自定义操作,其中实现了上述自定义接口的默认实现类

package Spider;

import java.io.BufferedWriter;

import java.io.File;

import java.io.FileWriter;

import java.io.IOException;

import java.util.HashSet;

import java.util.Iterator;

import java.util.LinkedList;

import org.apache.http.client.config.RequestConfig;

import org.apache.http.client.methods.HttpGet;

import ChoosePackage.MyResourseChooser;

import ChoosePackage.ResourseChooser;

import DownloadPackage.HtmlDownloader;

import DownloadPackage.RequestSet;

import DownloadPackage.UrlGet;

import SaveUtil.MySaveUtil;

import SaveUtil.SaveUtil;

/*

* 用于爬取资源的类

*/

public class Spider{

public static void main(String[] args) {

new Spider(“http://www.bilibili.net”).spiderstart();

}

//种子url

String seed = null;

//用于保存数据的类,需要自己实现

private SaveUtil saveutil = null;

//html下载类

private HtmlDownloader downloader = null;

//url下载类

private UrlGet urldownloader = null;

//资源选择工具

private ResourseChooser resoursechooser = null;

//用于保存未下载的网页

LinkedList unvisited = new LinkedList();

//用于保存已下载的网页

HashSet visited = new HashSet();

//自定义储存方式,请求方式,资源筛选方式的构造方法

public Spider(SaveUtil saveutil,RequestSet request,ResourseChooser resoursechooser,String seed){

this.saveutil = saveutil;

this.downloader = new HtmlDownloader(request);

this.urldownloader = new UrlGet();

this.resoursechooser = resoursechooser;

this.seed = seed;

unvisited.add(seed);

}

//自定义储存方式,资源筛选方式的构造方法

public Spider(SaveUtil saveutil,ResourseChooser resoursechooser,String seed){

this.resoursechooser = resoursechooser;

this.downloader = new HtmlDownloader(new getRequest());

this.saveutil = saveutil;

this.urldownloader = new UrlGet();

this.seed = seed;

unvisited.add(seed);

}

//自定义储存方式,请求的构造方法

public Spider(SaveUtil saveutil,RequestSet requestset,String seed){

this.saveutil = saveutil;

this.downloader = new HtmlDownloader(requestset);

this.resoursechooser = new MyResourseChooser();

this.urldownloader = new UrlGet();

this.seed = seed;

unvisited.add(seed);

}

//自定义储存方式的构造方法

public Spider(SaveUtil saveutil,String seed){

this.saveutil = saveutil;

this.downloader = new HtmlDownloader(new getRequest());

this.resoursechooser = (new MyResourseChooser());

this.urldownloader = new UrlGet();

this.seed = seed;

unvisited.add(seed);

}

//默认的爬虫构造方法

public Spider(String seed){

this.saveutil = new MySaveUtil();

this.downloader = new HtmlDownloader(new getRequest());

this.resoursechooser = (new MyResourseChooser());

this.urldownloader = new UrlGet();

this.seed = seed;

unvisited.add(seed);

}

//开始爬取的方法

private void spiderstart(){

String html = null;

while(!unvisited.isEmpty()){

String url = unvisited.poll();

System.out.println(“开始获取”+url);

if(resoursechooser.isNeed(url)){

try{

html = downloader.downloadhtml(url);

}catch(RuntimeException e){

System.out.println(url+“连接获取失败”);

continue;

}

visited.add(url);

LinkedList urls = new LinkedList();

try{

urls = urldownloader.geturls(html);

}catch(RuntimeException e){

System.out.println(url+“的html页面为空”);

continue;

}

Iterator it = urls.iterator();

while(it.hasNext()){

String newurl = it.next();

if(resoursechooser.isNeed(newurl)&&!visited.contains(newurl)&&!unvisited.contains(newurl)){

newurl = resoursechooser.process(newurl);

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Python开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加V获取：vip1024c （备注Python）

文末有福利领取哦~

👉一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

👉二、Python必备开发工具

👉三、Python视频合集

观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

👉 四、实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。（文末领读者福利）

👉五、Python练习题

检查学习结果。

👉六、面试资料

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

👉因篇幅有限，仅展示部分资料，这份完整版的Python全套学习资料已经上传

一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

👉因篇幅有限，仅展示部分资料，这份完整版的Python全套学习资料已经上传

一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
[外链图片转存中…(img-Fo98AOK2-1712522249038)]