![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 96
陌上人如玉এ
前无颜,后无钱,小小少年,可怜可怜
还未老,想低保,小小年纪,苦恼苦恼
展开
-
【Hadoop】四、Hadoop生态综合案例 ——陌陌聊天数据分析
背景介绍陌陌作为聊天平台每天都会有大量的用户在线,会出现大量的聊天数据,通过对 聊天数据的统计分析 ,可以更好的对用户构建精准的用户画像,为用户提供更好的服务以及实现高ROI的平台运营推广,给公司的发展决策提供精确的数据支撑。FineBI的介绍:https://www.finebi.com/FineBI 是帆软软件有限公司推出的一款商业智能(BusinessIntelligence)产品。FineBI 是定位于自助大数据分析的BI 工具,能够帮助企业的业务人员和数据分析师,开展以问题导向的探索式分析。原创 2023-05-21 14:26:35 · 2045 阅读 · 0 评论 -
【Hadoop】三、数据仓库基础与Apache Hive入门
什么是HiveApache Hive是一款建立在Hadoop之上的开源数据仓库系统,可以将存储在Hadoop文件中的结构化、半结构化数据文件映射为一张数据库表,基于表提供了一种类似SQL的查询模型,称为Hive查询语言(HQL),用于访问和分析存储在Hadoop文件中的大型数据集。Hive核心是将HQL转换为MapReduce程序,然后将程序提交到Hadoop群集执行。Hive由Facebook实现并开源。为什么使用Hive使用Hadoop MapReduce直接处理数据所面临的问题。原创 2023-05-21 14:17:17 · 869 阅读 · 0 评论 -
【Hadoop】二、Hadoop MapReduce与Hadoop YARN
分布式计算概念分布式计算是一种计算方法,和集中式计算是相对的。随着计算技术的发展,有些应用需要非常巨大的计算能力才能完成,如果采用集中式计算,需要耗费相当长的时间来完成。分布式计算将该应用分解成许多小的部分,分配给多台计算机进行处理。这样可以节约整体计算时间,大大提高计算效率。MapReduce介绍Hadoop MapReduce是一个分布式计算框架,用于轻松编写分布式应用程序,这些应用程序以可靠,容错的方式并行处理大型硬件集群(数千个节点)上的大量数据(多TB数据集)。原创 2023-05-21 14:04:02 · 1890 阅读 · 2 评论 -
【Hadoop】一、Apache Hadoop、 HDFS
Hadoop介绍狭义上Hadoop指的是Apache软件基金会的一款开源软件。用java语言实现,开源 允许用户使用简单的编程模型实现跨机器集群对海量数据进行分布式计算处理Hadoop核心组件Hadoop HDFS(分布式文件存储系统):解决海量数据存储Hadoop YARN(集群资源管理和任务调度框架):解决资源任务调度Hadoop MapReduce(分布式计算框架):解决海量数据计算官网 http://hadoop.apache.org。原创 2023-05-21 13:57:25 · 994 阅读 · 0 评论