大数据技术与应用
慕尔如星
这个作者很懒,什么都没留下…
展开
-
大数据分析的典型工具
Hadoop:是一个能够对大量数据进行分布式处理的软件框架,是一个能让用户轻松架构和使用的分布式计算平台。Spark:是一个基于内存计算的开源集群计算系统,目的是更快速地进行数据分析。Storm:是一种开源软件,一个分布式、容错的实时计算系统。Apache Drill:Drill项目帮助Google实现海量数据集的分析处理,包括分析抓取Web文档、跟踪安装在Android Market...原创 2019-03-04 20:51:17 · 686 阅读 · 0 评论 -
八爪鱼爬虫软件
前市面上常见的爬虫软件一般可以划分为云爬虫和采集器两种:所谓云爬虫就是无需下载安装软件,直接在网页上创建爬虫并在网站服务器运行,享用网站提供的带宽和24小时服务;采集器一般就是要下载安装在本机,然后在本机创建爬虫,使用的是自己的带宽,受限于自己的电脑是否关机。当然,以上不包括自己开发的爬虫工具和爬虫框架之类的。神箭手云爬虫简介:神箭手云是一个大数据应用开发平台,为开发者提...原创 2019-03-11 21:07:37 · 2925 阅读 · 0 评论