- 博客(45)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 hive动态分区
Hive动态分区有的时候我们原始表中的数据里面包含了 ‘‘日期字段 dt’’，我们需要根据dt中不同的日期，分为不同的分区，将原始表改造成分区表。hive默认不开启动态分区动态分区：根据数据中某几列的不同的取值 划分 不同的分区开启Hive的动态分区支持# 表示开启动态分区hive> set hive.exec.dynamic.partition=true;# 表示动态分区模式：strict（需要配合静态分区一起使用）、nostrict# strict： insert into t
2021-11-25 20:01:58
1073
原创 Hive分区和分桶
Hive 分区分区表实际上是在表的目录下在以分区命名，建子目录作用：进行分区裁剪，避免全表扫描，减少MapReduce处理的数据量，提高效率一般在公司的hive中，所有的表基本上都是分区表，通常按日期分区、地域分区分区表在使用的时候记得加上分区字段分区也不是越多越好，一般不超过3级，根据实际业务衡量建立分区表：create external table students_pt1( id bigint, name string, age int, gende
2021-11-25 19:23:40
217
原创 hive建表、内部表和外部表
Hive建表CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name // 定义字段名，字段类型 [(col_name data_type [COMMENT col_comment], ...)] // 给表加上注解 [COMMENT table_comment] // 分区 [PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)] // 分桶 [CLUSTE
2021-11-25 19:07:08
1084
原创 鼠标右键设置自定义文件打开方式
鼠标右键设置自定义文件打开方式这里以设置以Sublime Text 打开方式为例win+R 打开运行 输入regedit进入到注册表编辑器，如图：依次在左侧打开选项栏HKEY_CLASSES_ROOT*\shell鼠标右击shell，新建项–Sublime Text，然后在右侧窗口的“默认” 数据栏内输入（鼠标右击选项名称）如“用Sublime Text打开”。项的名称和键值可以任意，最好是和程序关联起来。其中键值将显示在右键菜单中。鼠标右击Sublime Text，新建项Comman
2021-11-21 20:57:22
2297
原创 IO流介绍
IO流Java IO原理及分类I/O是Input/Output的缩写， I/O技术是非常实用的技术，用于处理设备之间的数据传输。流的分类①按操作数据单位不同分为：字节流(8 bit)，字符流(16 bit)②按数据流的流向不同分为：输入流，输出流③按流的角色的不同分为：节点流，处理流一、字符流FileReader读入数据的实现 @Test public void fileReader() throws IOException { //1.实例化File
2021-11-21 20:29:27
230
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人