Hadoop
关注
分享
扫一扫
文章平均质量分 82
cloudera首席用户
程序员一枚，请多指教
展开
-
hive报错Unsupported SubQuery Expression : Correlating expression cannot contain unqualified column
hive报错Unsupported SubQuery Expression : Correlating expression cannot contain unqualified column错误语句：select * from awhere a.id IN (SELECT b.id FROM b WHERE b.x='1');原因：hive 1.1版本支持in，但是不支持in的子...原创 2018-12-13 10:57:17 · 15528 阅读 · 0 评论 -
hadoop概述
快速步入hadoop世界文章目录快速步入hadoop世界回顾：今天任务教学目标第一节：HADOOP背景介绍1.1 什么是HADOOP1.2 HADOOP产生背景1.3 HADOOP在大数据、云计算中的位置和关系1.4 国内外HADOOP应用案例介绍1.5 国内HADOOP的就业情况分析1.6 HADOOP生态圈以及各组成部分的简介第二节：分布式系统概述2.1 分布式软件系统2.2 常用分布式软...原创 2018-12-09 21:16:28 · 730 阅读 · 0 评论 -
hdfs使用
hdfs的使用文章目录hdfs的使用回顾：今天任务教学目标第一节：HDFS基本概念1.1 HDFS的介绍1.2 HDFS设计目标1.3 HDFS的特点1.4 hdfs核心设计思想及作用1.5 重要特性：第二节：HDFS的shell2.1 HDFS shell操作2.2 命令行客户端支持的命令参数2.3 常用命令参数介绍及命令案例第三节 HDFS工作机制详解3.1 HDFS概述3.2 写入过程分析...原创 2018-12-09 21:17:36 · 557 阅读 · 0 评论 -
HDFS的java api及namenode、datanode详解
HDFS的java api详解文章目录HDFS的java api详解回顾：今天任务教学目标第一节：使用java操作HDFS1.1 配置开发环境1.2 **HDFS控制（Java）**1.3 **代码演示**1.4 FileSystem1.5 FSDataInputStream1.6 **FSDataOutputStream**第二节：NameNode详解2.1 NameNode的功能2.2 Na...原创 2018-12-09 21:19:40 · 1323 阅读 · 0 评论 -
zookeeper详解
zookeeper详解文章目录zookeeper详解回顾：今天任务教学目标第一节：zookeeper概述1.1 什么是zookeeper1.2 zookeeper服务的应用场景1.3 zookeeper集群特性1.4 zookeeper数据结构1.5节点类型1.6 Zookeeper 数据结构特点1.7 如何使用第二节 zookeeper集群的配置2.1 集群安装2.2 集群的启动2.3 集群...原创 2018-12-09 21:20:07 · 232 阅读 · 0 评论 -
hadoop HA机制
HADOOP HA机制文章目录HADOOP HA机制回顾：今天任务教学目标第一节：HADOOP HA概述1.1 背景1.2 HA(High Available)概念第二节 HA集群配置2.1 基础配置2.2 hadoop配置2.3 HA 启动及测试回顾：今天任务1.什么是HA2.HA的实现场景3.配置HA环境教学目标1.理解HA的机制2.掌握HA环境的配置流程第一节：H...原创 2018-12-09 21:20:37 · 220 阅读 · 0 评论 -
CDH HIVE 在DataGrip中的配置
CDH HIVE 在DataGrip中的配置环境：CDH hive：1.1版本，并没有启用任何hive认证DataGrip : 2018.1.4下载官方驱动官方下载地址：https://www.cloudera.com/downloads/connectors/hive/jdbc/2-5-4.html 选择对应版本的驱动，放到指定位置解压到DataGrip的jdbc驱动文件夹，可...原创 2018-12-09 16:13:14 · 2182 阅读 · 0 评论 -
使用oozie时运行job异常
异常信息Call From cloudera/192.168.253.128 to 0.0.0.0:10020 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRe...原创 2018-12-11 20:19:13 · 655 阅读 · 0 评论 -
Hive窗口函数
文章目录作用和使用场景基本语法窗口查询的基本概念窗口函数LEADLAGFIRST_VALUELAST_VALUE聚合函数COUNTSUMMINMAXAVG分析函数rankrow_number作用和使用场景SQL 结构化查询语言是数据分析领域的重要工具之一。它提供了数据筛选、转换、聚合等操作，并能借助 Hive 和 Hadoop 进行大数据量的处理。但是，传统的 SQL 语句并不能支持诸如分组排...原创 2018-12-18 10:20:31 · 253 阅读 · 0 评论