- 博客(4)
- 收藏
- 关注
RSS订阅原创 网络爬虫
网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 中文名 网络爬虫 外文名 web crawler 别名 网络蜘蛛、蠕虫 拼音 wǎng luò pá chóng 目的 按要求获取万维网信息 快速 导航 面临的问题分类抓取目标分类网页搜索策略网页分析算法补充 产生背景 随着网络的迅速发展，万维网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的
2020-12-09 15:44:41
569
原创 HDFS
HDFS即Hadoop分布式文件系统（Hadoop Distributed Filesystem），以流式数据访问模式来存储超大文件，它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。 NDFS架构： 个
2020-11-17 18:46:25
59
原创 2020-11-10
大数据的核心是Hadoop生态系统。我们通常可能会根据特定的用特来描述软件工具，比如：Oracle是数据库、Apache Tomcat 是 Web 服务器。不过，Hadoop就有些复杂，Hadoop 是大量工具集合，这些工具可以协同工作来完成特定的任务。可以说Hadoop是一个数据管理系统，将海量的结构化和非结构化数据聚集在一起，这些数据涉及传统企业数据栈的几乎每一个层次，其定位是在数据中心占据核心地位。也可以说，Hadoop 是大规模并行执行框架，把超级计算机的能力带给大众，致力于加速企业级应用的执行。由
2020-11-10 14:08:16
141
原创 2020-10-29
大数据(big data),IT行业术语,是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 不过,“大数据”在经济发展中的巨大意义并不代表其能取代一切对于社会问题的理性思考,科学发展的逻辑不能被湮没在海量数据中。著名经济学家路德维希·冯·米塞斯曾提醒过:“就今日言,有很多人忙碌于资料之无益累积,以致对问题之说明与解决,丧失了其对特殊的经济意义的了解。”这确实是需要警惕的。 ...
2020-10-29 21:27:27
122
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人