bigdata_hive进阶

一、hive分区

     分区操作属于hive操作的重量级操作

     分区在hdfs上物理结构是目录

     非严格模式：no~

表数据删除方法对比说明：

   drop，delete，truncate

    联系：都可以达到删除数据的目标。

    区别：Drop：把数据和元数据全删除；

               delete：按照条件删除数据；（只会删除实体数据）

              Truncate：截断数据，元数据不动，状态数据会删掉。

             

大数据环节中写入：

  1.是否要求输出目录存在；

  2.写模式，是覆盖写，还是增量写

二、DQL

1，各种join使用，Union

• inner join

将左表和右表满足联接条件的数据，全部查询出来

• left outer join

以左表为主，将左表数据全部保留，右表没有关联上数据字段置成NULL

• right outer join  同理

• full outer join
  • 没有关联上数据字段全部置成NULL
  • full join=inner join+left join+right join
• union [all]

• 将所有表数据，完全叠加在一起，不去重。（没有all则为去重）

  要求：所有表的字段和类型完全一致。

• 注意hive中子查询必学给与别名

2，内置函数（系统函数）

使用help解决一个函数不知道怎么用的问题：

desc function{方法}

          常用函数：

                   count：行数

                   IF( Test Condition, True Value, False Value ) ：判断

                  COALESCE( value1,value2,... )返回函数第一个不为空的值：        

                   case...when   ：判断

                   split：将字符串拆分成数组。

                   explode：表成生成函数

                   lateral view：与explode连用制表

三、自定义函数

        1.UDF(user defined function)

         2.流程

1. 自定义一个java类
2. 继承UDF类
3. 约定俗成的重写evaluate方法
4. 打包类所在项目成一个all-in-one的jar包并上传到hive所在机器（hdfs dfs -put）
5. 在hive中执行add jar操作，将jar加载到classpath中。（add jar /路径）
6. 在hive中创建模板函数，使得后边可以使用该函数名称调用实际的udf函数（

   create temporary function 方法名 as 方法类路径）

7. hive sql中像调用系统函数一样使用udf函数

      3.加入maven配置：

       

<project xmlns="http://maven.apache.org/POM/4.0.0"; xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"; 
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0http://maven.apache.org/xsd/maven-4.0.0.xsd";>
	<modelVersion>4.0.0</modelVersion>
	<groupId>com.tianliangedu.course</groupId>
	<artifactId>TlHadoopCore</artifactId>
	<version>0.0.1-SNAPSHOT</version>
<!-- 设置编码为 UTF-8 -->
	<properties>
	  <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
		<maven.compiler.encoding>UTF-8</maven.compiler.encoding>
	</properties>
	<!-- 首先配置仓库的服务器位置,首选阿里云，也可以配置镜像 -->
	<repositories>
		<repository>
			<id>nexus-aliyun</id>
			<name>Nexus aliyun</name>
			<url>http://maven.aliyun.com/nexus/content/groups/public</url>
		</repository>
	</repositories>
                
	<dependencies>
		<!-- 引入hadoop-cli-2.7.4依赖 -->
		<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-client</artifactId>
			<version>2.7.4</version>
			<scope>provided</scope>
		</dependency>
             
		<dependency>
			<groupId>org.apache.hive</groupId>
			<artifactId>hive-cli</artifactId>
			<version>1.2.1</version>
			<scope>provided</scope>
		</dependency>         
	</dependencies>
	<build>
		<finalName>TlHadoopCore</finalName>
		<plugins>
			<plugin>
				<artifactId>maven-assembly-plugin</artifactId>
				<configuration>
					<descriptorRefs>
						<descriptorRef>jar-with-dependencies</descriptorRef>
					</descriptorRefs>
				</configuration>
				<executions>
					<execution>
						<id>make-assembly</id>
						<phase>package</phase>
						<goals>
							<goal>assembly</goal>
						</goals>
					</execution>
				</executions>
			</plugin>
			<plugin>
				<artifactId>maven-compiler-plugin</artifactId>
				<version>2.3.2</version>
				<configuration>
					<source>1.7</source>
					<target>1.7</target>
					<encoding>UTF-8</encoding>
				</configuration>
			</plugin>
		</plugins>
	</build>
</project>