- 博客(6)
- 问答 (3)
- 收藏
- 关注
RSS订阅原创 hive元数据信息管理总结
hive元数据表 关系总览关键表总览表名称及其业务BUCKETING_COLS 存储bucket字段信息，通过SD_ID与其他表关联CDS 表示该分区、表存储的字段信息。一个字段CD_ID，与SDS表关联COLUMNS_V2 表示该分区、表存储的字段信息。存储字段信息，通过CD_ID与其他表关联DATABASE_PARAMS 描述数据库的属性信息DBS 存储hive的database信息DB_PRIVS 描述数据库的权限信息FUNCS 记录用户子集编写的函数信息，包括函数名、对应类名、
2020-06-08 13:05:09
979
原创 Flink整合CDH Hadoop编译&简单测试
准备工作maven3jdk1.8下载源码包Flink官网: https://flink.apache.org/下载地址: Apache Flink 1.10.0 Source Release配置支持CDH依赖maven默认不支持cdh的依赖下载，修改maven目录下conf中的settings.xml如下：（这里的cloudera-releases是flink源码中配置的id） nexus-aliyun *,!cloudera-releases,!c
2020-05-28 21:26:06
476
原创 flume taildir二次开发实现递归多层目录
以apache-flume-1.7.0为例，在TaildirSourceConfigurationConstants常数类中添加配置 public static final String SOURCE_RECURSIVE = "sourceRecursive"; public static final boolean DEFAULT_SOURCE_RECURSIVE = false;TaildirSource类中private boolean sourceRecurisive;confi
2020-05-25 23:12:57
416
原创 关于本地IDEA调试远程的flume
step1：在flume/bin/flume-ng文件中对如下配置进行修改：修改前：JAVA_OPTS="-Xmx20m"修改后：JAVA_OPTS="-Xmx20m -Xdebug -Xrunjdwp:transport=dt_socket,address=8000,server=y,suspend=y"step2：在idea的configuration添加remote的配置，修...
2020-04-27 22:11:24
311
原创 idea导入hive源码，编译后运行本地窗口
1.编译源码下载Hive源码:http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.16.2-src.tar.gz在IDEA打开项目，配置选择命令窗口：执行mvn clean compile install -Phadoop-2 -Dmaven.test.skip=true如果编译慢可以尝试切换网络2.配置准备IDEA需要配置...
2020-04-24 16:21:27
1472
转载 HDFS block损坏修复
HDFS block损坏修复校验[hadoop@hadoop001 hadoop]$ hdfs fsck /Connecting to namenode via http://yws76:50070/fsck?ugi=hdfs&path=%2FFSCK started by hdfs (auth:SIMPLE) from /192.168.0.76 for path / at S...
2020-04-18 00:03:35
276
空空如也
关于MFC，新建完成单文档程序后，添加了一个自定义控件，运行后提示创建空文档失败
2017-03-16
TA创建的收藏夹 TA关注的收藏夹
TA关注的人