- 博客(4)
- 收藏
- 关注
RSS订阅原创 2020-12-11
1.网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 2.网络爬虫按照系统结构和实现技术，大致可以分为以下几种类型：通用网络爬虫（General Purpose Web Crawler）、聚焦网络爬虫（Focused Web Crawler）、增量式网络爬虫（Incremental Web Crawler）、深层网络爬虫（Deep Web Crawler）
2020-12-11 14:15:55
67
原创 2020-11-17
Hadoop是Apache软件基金会所开发的并行计算框架与分布式文件系统。 Hadoop 最核心的模块包括Hadoop Common、HDFS与MapReduce。HDFS是Hadoop分布式文件系统（Hadoop Distributed File System）的缩写，为分布式计算存储提供了底层支持。采用Java语言开发，可以部署在多种普通的廉价机器上，以集群处理数量积达到大型主机处理性能。HDFS 架构原理HDFS采用master/slave架构。一个HDFS集群包含一个单独的NameNode和多个Da
2020-11-17 15:52:40
114
原创 2020-11-10
Hadoop 是大规模并行执行框架，把超级计算机的能力带给大众，致力于加速企业级应用的执行。由于 Hadoop 提供如此广泛的功能，可以适用于解决大量问题，也可以说，Hadoop 是基础框架。Hadoop 提供所有这些功能，因此应该将 Hadoop 归类为一个生态系统，它包含大量的组件，从数据存储到数据集成、数据处理以及数据分析师的专用工具。 hadoop2.0它是基于YARN框架构建的。YARN的全称是Yet-Another-Resource-Negotiator。Yarn可以运用在S3|Spark等上。
2020-11-10 14:37:02
52
原创 2020-10-27
大数据（big data），IT行业术语，是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。大数据具有的4V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）。 
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人