头歌educoder-旅游网站大数据分析 - 数据清洗

最新推荐文章于 2024-03-12 12:13:25 发布

爱说6

最新推荐文章于 2024-03-12 12:13:25 发布

阅读量1.7k

点赞数 3

分类专栏： educoder头歌答案文章标签： java eclipse hadoop hbase

本文链接：https://blog.csdn.net/m0_61567376/article/details/131174370

版权

第1关：清洗HTML文档中无意义数据

package step1;
import java.io.File;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.safety.Whitelist;
public class Task {
    
    //通过filePath文件路径获取Docment对象
    public Document getDoc(String filePath) throws IOException{
        /**********   Begin   **********/
        File input = new File(filePath);
        Document doc = Jsoup.parse(input,"UTF-8","http://www.educoder.net/");
        return doc;
        /**********   End   **********/
    }
    /**
     * 获取清理后的信息
     * @param doc
     * @return
     */
    public List<String> cleanHTML(Document doc){
        /**********   Begin   **********/
        List<String> list=new ArrayList<>();
        list.add(Jsoup.clean(doc.toString(), Whitelist.basic()));
        list.add(Jsoup.clean(doc.toString(), Whitelist.