- 博客(4)
- 收藏
- 关注
RSS订阅原创 2021-03-04
网络爬虫 网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 一、网路爬虫是什么？ 网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。（百度蜘蛛） 二、存在几种类型 1、通用网络爬虫 通用.
2021-03-04 12:12:52
213
1
原创 2020-11-17
HDFS体系结构 1.HDFS设计理念1）低成本：兼容廉价的硬件设备2)处理大规模数据:典型文件大小GB-TB级别;关注横向扩展。3)批量数据访问:批量读而非随机读;关注吞吐量而非响应时间。4)高容错:副本冗余机制。5)适应场景:大文件访问;静态数据访问。6)不适合的场景:存储大量小文件;随机读取，低延迟读取。 2.HDFS体系结构 HDFS由一个Namenode、 个 Secondary NameNode、 若干Datanodes和Client组成，采用主从结构，存储的基本单位是块。 如果把HDF...
2020-11-17 16:03:23
211
原创 2020-11-10
大数据的核心是Hadoop生态系统。我们通常可能会根据特定的用特来描述软件工具，比如：Oracle是数据库、Apache Tomcat 是 Web 服务器。不过，Hadoop就有些复杂，Hadoop 是大量工具集合，这些工具可以协同工作来完成特定的任务。可以说Hadoop是一个数据管理系统，将海量的结构化和非结构化数据聚集在一起，这些数据涉及传统企业数据栈的几乎每一个层次，其定位是在数据中心占据核心地位。也可以说，Hadoop 是大规模并行执行框架，把超级计算机的能力带给大众，致力于加速企业级应用的执行。由
2020-11-10 14:42:49
94
原创 2020-10-28
**揭秘大数据** ——大数据概论 大数据专业课的学习让我对大数据的了解从表层进入到浅层。 
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人