- 博客(6)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 Hive基础之Hive是什么以及使用场景
Hive是什么 1）Hive由facebook开源，构建在Hadoop (HDFS/MR)上的用于管理和查询结果化/非结构化的数据仓库； 2）一种可以存储、查询和分析存储在Hadoop 中的大规模数据的机制； 3）Hive 定义了简单的类SQL 查询语言，称为HQL，它允许熟悉SQL 的用户查询数据； 4）允许用Java开发自定义的函数UDF来处理内置无法完成的复杂的分析工作； 5）Hi
2018-01-03 13:17:55
16942
原创 YARN环境搭建
YARN环境搭建 1）mapred-site.xml mapreduce.framework.name yarn 2）yarn-site.xml yarn.nodemanager.aux-services mapreduce_shuffle 3) 启动YARN相关的进程 sbin/start-yarn.sh 4）验证 jps Resou
2018-01-03 12:08:17
452
原创 分布式资源调度YARN
YARN产生背景 Hadoop1.x中的MapReduce构成图如下： 在Hadoop1.x中MapReduce是Master/Slave结构，在集群中的表现形式为：1个JobTracker带多个TaskTracker； JobTracker：负责资源管理和作业调度； 只存在一个JT--------宕掉后，整个架构无法完成作业运行
2018-01-03 10:54:00
651
原创 分布式文件系统HDFS
传统分布式文件系统，以多副本方式进行存储时存在以下缺点： 不管文件多大，都存储在一个节点上，在进行数据处理的时候很难进行并行处理，节点可能成为网络瓶颈，很难进行大数据的处理。存储负载很难均衡，每个节点的利用率很低。 HDFS架构 （1）1 Master(NameNode/NN) 带 N个Slaves(DataNode/DN) （2）1个文件会被拆分成多个Bloc
2018-01-02 21:59:12
271
原创 Hadoop概述
Hadoop是Apache开源的一个可靠的、可扩展的，分布式计算的开源软件。Hadoop能够搭建大型数据仓库，PB级数据的存储、处理、分析、统计等业务。如：搜索引擎，日志分析，商业智能、数据挖掘等。Hadoop包括以下几个模块： Hadoop Common：The common utilities that support the other Hadoop modules.（支持其他H
2018-01-02 21:56:59
541
原创 Servlet+Ajax实现智能搜索提示框
Maven构建项目pom.xml中依赖引入 javax.servlet servlet-api 2.5 javax.servlet.jsp jsp-api 2.1
2018-01-02 09:17:53
339
EV录屏 EVCapture_3.9.7
2020-12-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人