自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

zghgchao

技术开发,Java,大数据,Spark,hadoop

  • 博客(6)
  • 资源 (1)
  • 收藏
  • 关注

转载 Hive基础之Hive是什么以及使用场景

Hive是什么 1)Hive由facebook开源,构建在Hadoop (HDFS/MR)上的用于管理和查询结果化/非结构化的数据仓库; 2)一种可以存储、查询和分析存储在Hadoop 中的大规模数据的机制; 3)Hive 定义了简单的类SQL 查询语言,称为HQL,它允许熟悉SQL 的用户查询数据; 4)允许用Java开发自定义的函数UDF来处理内置无法完成的复杂的分析工作; 5)Hi

2018-01-03 13:17:55 16942

原创 YARN环境搭建

YARN环境搭建 1)mapred-site.xml mapreduce.framework.name yarn 2)yarn-site.xml yarn.nodemanager.aux-services mapreduce_shuffle 3) 启动YARN相关的进程 sbin/start-yarn.sh 4)验证 jps Resou

2018-01-03 12:08:17 452

原创 分布式资源调度YARN

YARN产生背景 Hadoop1.x中的MapReduce构成图如下: 在Hadoop1.x中MapReduce是Master/Slave结构,在集群中的表现形式为:1个JobTracker带多个TaskTracker; JobTracker:负责资源管理和作业调度;                     只存在一个JT--------宕掉后,整个架构无法完成作业运行

2018-01-03 10:54:00 651

原创 分布式文件系统HDFS

传统分布式文件系统,以多副本方式进行存储时存在以下缺点: 不管文件多大,都存储在一个节点上,在进行数据处理的时候很难进行并行处理,节点可能成为网络瓶颈,很难进行大数据的处理。存储负载很难均衡,每个节点的利用率很低。 HDFS架构 (1)1 Master(NameNode/NN) 带 N个Slaves(DataNode/DN) (2)1个文件会被拆分成多个Bloc

2018-01-02 21:59:12 271

原创 Hadoop概述

Hadoop是Apache开源的一个可靠的、可扩展的,分布式计算的开源软件。Hadoop能够搭建大型数据仓库,PB级数据的存储、处理、分析、统计等业务。如:搜索引擎,日志分析,商业智能、数据挖掘等。Hadoop包括以下几个模块: Hadoop Common:The common utilities that support the other Hadoop modules.(支持其他H

2018-01-02 21:56:59 541

原创 Servlet+Ajax实现智能搜索提示框

Maven构建项目pom.xml中依赖引入 javax.servlet servlet-api 2.5 javax.servlet.jsp jsp-api 2.1

2018-01-02 09:17:53 339

EV录屏 EVCapture_3.9.7

免费 好用的录屏软件,直播录屏、电脑桌面录屏,剪辑。EV录屏软件 是一款非常好用的桌面视频录制软件,这款软件可以帮助用户轻松的录制电脑屏幕,并且功能全免费无水印,是一款非常好用的桌面视频录制软件。

2020-12-11

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除