![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据采集
DowneyWillian
这个作者很懒,什么都没留下…
展开
-
使用web方式查看hadoop,namenode
记录一下hadoop使用web的一些端口:使用web方式查看hadoop:(浏览器输入)localhost:8088或localhost:8042有些版本是:localhost:7363使用web方式查看namenode:localhost:50070或localhost:9000...原创 2020-03-10 11:49:15 · 2010 阅读 · 0 评论 -
数据采集过程介绍
数据采集过程介绍简介网站页面分析(AnalyseSite Page)链接抽取(Extract URL)链接过滤(Filt URL)内容抽取(Extract Content)爬取URL队列(Crawl URL Queue)数据(Data)数据的总体采集过程如下:简介网络数据多种多样、组成复杂,对于不同的目的有不同的利用价值和使用方式,所以网络数据的利用必须经过再次地采集和筛选过程,才能从庞大而又...原创 2019-06-11 21:53:53 · 7487 阅读 · 0 评论