2018年01月_爆发的~小宇宙

原创 hive jdbc 连接时抛异常

Exception in thread "main" java.sql.SQLException: Could not open client transport with JDBC Uri: jdbc:hive2://192.168.137.200:10000/default: java.net.ConnectException: Connection refused: connect ...

2018-01-18 15:22:02 13658 2

原创 sqoop的基本语法详解及可能遇到的错误

1 sqoop介绍Apache Sqoop是专为Apache Hadoop和结构化数据存储如关系数据库之间的数据转换工具的有效工具。你可以使用Sqoop从外部结构化数据存储的数据导入到Hadoop分布式文件系统或相关系统如Hive和HBase。相反，Sqoop可以用来从Hadoop的数据提取和导出到外部结构化数据存储如关系数据库和企业数据仓库。 Sqoop专为大数据批量传输设计，能够分割数...

2018-01-15 21:53:54 19094 5

原创 sqoop的安装部署

1 下载下载地址作者使用的是sqoop-1.4.6-cdh5.7.0.tar.gz版本2 上传到linux上，并解压[hadoop@zhangyu software]$ tar -xzvf sqoop-1.4.6-cdh5.7.0.tar.gz修改用户和用户组[hadoop@zhangyu software]$ sudo chown hadoop:hadoop sqo...

2018-01-15 18:17:00 722

原创 HiveServer2 JDBC客户端连接Hive数据库

官方地址1 简介两者都允许远程客户端使用多种编程语言，通过HiveServer或者HiveServer2，客户端可以在不启动CLI的情况下对Hive中的数据进行操作，连这个和都允许远程客户端使用多种编程语言如java，python等向hive提交请求，取回结果（从hive0.15起就不再支持hiveserver了），但是在这里我们还是要说一下hiveserverHiveServer...

2018-01-15 17:23:28 4128

原创 Hive的内置函数和自定义函数UDF

1 Hive的内置函数在Hive中给我们内置了很多函数官方地址也可以在启动hive后输入命令查看函数：SHOW FUNCTIONS;DESCRIBE FUNCTION <function_name>;DESCRIBE FUNCTION EXTENDED <function_name>;查看所有的内置函数hive> show fun...

2018-01-15 09:04:18 28892 3

原创 Hive-Import/Export（导入导出）

1 官方地址Hive 0.8.0 之后引入了EXPORT and IMPORT 命令。EXPORT命令将表或分区的数据连同元数据一起导出到指定的输出位置（HDFS上）。然后可以将此输出位置移至不同的Hadoop或Hive实例，并使用IMPORT命令进行导入操作。导出分区表时，原始数据可能位于不同的HDFS位置。还支持导出/导入分区子集的功能。导出的元数据存储在目标目录中，数据文件存储...

2018-01-11 20:01:00 5119

原创 Hive CLI 常用操作

1 官方地址地址及语法To get help, run "hive -H" or "hive --help".Usage (as it is in Hive 0.9.0):usage: hive -d,--define <key=value> Variable substitution to apply to Hive ...

2018-01-10 10:24:10 1075 2

原创 Hive常用的基础sql语法--聚合函数，分组函数的使用和多表查询

1 聚合函数一句话概括什么是聚合函数：多行合并为一行。（大家应该明白了吧）常用函数：sum，count，max，min，avg。hive> select * from emp;OK7369 SMITH CLERK 7902 1980/12/17 800.0 NULL 207499 ALLEN SALESMAN ...

2018-01-09 11:40:43 7483 2

原创 Hive常用的基础sql语法（DML）

数据的操作语言DML(Data Manipulation Language)1 LOAD（加载数据）加载文件到表中（Loading files into tables） -下面是官网上为我们列出的语法：LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partc...

2018-01-08 22:06:23 3905

转载 YARN的Memory和CPU调优配置详解

Hadoop YARN同时支持内存和CPU两种资源的调度，本文介绍如何配置YARN对内存和CPU的使用。YARN作为一个资源调度器，应该考虑到集群里面每一台机子的计算资源，然后根据application申请的资源进行分配Container。Container是YARN里面资源分配的基本单位，具有一定的内存以及CPU资源。在YARN集群中，平衡内存、CPU、磁盘的资源的很重要的，根据经验，每...

2018-01-05 19:55:10 538

原创 Hive常用的基础sql语法（DDL）

对于Hive的学习，官网可以说是最详细不过的了；不仅仅是Hive，对于大部分大数据的组件能够理解官网所介绍的那你估计就是大牛级别的了！下面我们就对官网上给我们列出的sql语法进行进一步了解。首先了解下Hive的数据存储结构，如下图： 1. Database:Hive中包含了多个数据库，默认的数据库为default，对应于HDFS目录是/user/hadoop/hive/warehou...

2018-01-04 22:09:10 3930 4

原创 Hive实现wordcount的统计

1 所需环境Hive的安装参考地址2 创建一个数据库创建wordcount数据库hive> create database wordcount;OKTime taken: 0.389 secondshive> show databases;OKdefaultwordcountTime taken: 0.043 seconds, Fetch...

2018-01-03 17:29:25 1696

原创启动hiveThe specified datastore driver (com.mysql.jdbc.Driver) was not found in the CLASSPATH

在进行hive-1.1.0-cdh5.7.0 的编译安装的时候再启动hive的时候出现下面的异常信息：[hadoop@zydatahadoop001 conf]$ hivewhich: no hbase in (/usr/java/jdk1.8.0_45/bin:/opt/software/hive/bin:/opt/software/hadoop-cdh/sbin:/opt/softw...

2018-01-02 23:43:14 6121 5

原创 hive-1.1.0-cdh5.7.0 的编译安装并修改元数据存储数据库为MySQL

1 准备工作1.1 配置jdk1.71.2 部署MySQL1.3 安装maven1.4编译安装 hadoop-2.6.0-cdh5.7.0.src.tar.gz1.5创建hadoop用户安装的目录结构：/opt/software参考该博客下载地址（hive-1.1.0-cdh5.7.0 和 hadoop-2.6.0-cdh5.7.0.src....

2018-01-02 21:06:54 2563 3