- 博客(6)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 Hive基础之Hive是什么以及使用场景
Hive是什么1）Hive由facebook开源，构建在Hadoop (HDFS/MR)上的用于管理和查询结果化/非结构化的数据仓库；2）一种可以存储、查询和分析存储在Hadoop 中的大规模数据的机制；3）Hive 定义了简单的类SQL 查询语言，称为HQL，它允许熟悉SQL 的用户查询数据；4）允许用Java开发自定义的函数UDF来处理内置无法完成的复杂的分析工作；5）Hi
2018-01-03 13:17:55
16944
原创 YARN环境搭建
YARN环境搭建1）mapred-site.xmlmapreduce.framework.nameyarn2）yarn-site.xmlyarn.nodemanager.aux-servicesmapreduce_shuffle3) 启动YARN相关的进程sbin/start-yarn.sh4）验证jpsResou
2018-01-03 12:08:17
452
原创 分布式资源调度YARN
YARN产生背景Hadoop1.x中的MapReduce构成图如下：在Hadoop1.x中MapReduce是Master/Slave结构，在集群中的表现形式为：1个JobTracker带多个TaskTracker；JobTracker：负责资源管理和作业调度； 只存在一个JT--------宕掉后，整个架构无法完成作业运行
2018-01-03 10:54:00
651
原创 分布式文件系统HDFS
传统分布式文件系统，以多副本方式进行存储时存在以下缺点：不管文件多大，都存储在一个节点上，在进行数据处理的时候很难进行并行处理，节点可能成为网络瓶颈，很难进行大数据的处理。存储负载很难均衡，每个节点的利用率很低。HDFS架构（1）1 Master(NameNode/NN) 带 N个Slaves(DataNode/DN)（2）1个文件会被拆分成多个Bloc
2018-01-02 21:59:12
271
原创 Hadoop概述
Hadoop是Apache开源的一个可靠的、可扩展的，分布式计算的开源软件。Hadoop能够搭建大型数据仓库，PB级数据的存储、处理、分析、统计等业务。如：搜索引擎，日志分析，商业智能、数据挖掘等。Hadoop包括以下几个模块：Hadoop Common：The common utilities that supportthe other Hadoop modules.（支持其他H
2018-01-02 21:56:59
541
原创 Servlet+Ajax实现智能搜索提示框
Maven构建项目pom.xml中依赖引入 javax.servlet servlet-api 2.5 javax.servlet.jsp jsp-api 2.1
2018-01-02 09:17:53
339
EV录屏 EVCapture_3.9.7
2020-12-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人