ZhangWenXuan。-CSDN博客

原创 Hive有分区文件到时select不到数据问题-----修复分区命令 msck repair table xxxxx

问题：在导数据到hive分区表时，手动把HDFS路径建好了，然后把对应的文件添加到路径下。这时用select语句查询却查不到数据。原因：虽然分区文件有了，但是分区信息没有添加到hive元数据表中。解决方法：运行命令msck repair table xxxxx，修复hive分区将分区信息加到元数据表...

2019-08-02 14:42:30 3011

原创 Sqoop1.99.7接入kerberos提交到yarn任务认证失效问题

问题：kerberos的keytabs凭证有效时间只有24h，sqoop server启动后过了24小时提交任务报认证过期提交失败。原因：sqoop使用的jobClient是启动时创建的，并且每次submit,update或stop操作都没有刷新UGI。具体代码位置是org.apache.sqoop.submission.mapreduce.MapreduceSubmissionEngine...

2019-07-29 15:08:09 448

原创 Sqoop1.99.7：encoded string too long: xxxx bytes问题记录

版本：Sqoop1.99.7问题描述：在项目上需要从oracle交换数据到hive中，oracle表中有大字段（clob，blob等），在mapper阶段抛出了encoded string too long 错误。原因：因为Sqoop中间交换的数据格式默认使用的是CSVIntermediateDataFormatpublic void write(DataOutput out) 方法会把m...

2019-07-24 10:53:01 625

原创 JAVA后台发送HTTP请求中文乱码问题

1 。使用httpclientStringEntity stringEntity = new StringEntity((String) obj,SqoopConstant.DEFAULT_CHARSET);这里需要指定下编码。2. 使用RestTemplate如果使用string converter需要设置charset...

2019-07-24 10:36:18 904

原创 Hive count结果为0 但表中有数据

Compute simple queries using stats only 参数设为falsehive.compute.query.using.stats=false

2019-07-24 10:32:35 936

原创 Hdfs文件夹配额设置

在load hdfs文件到hive时报错The DiskSpace quota of is exceeded首先用hdfs用户登录清除配额上线hadoop dfsadmin -clrSpaceQuota hdfs://chinacreator/apps/hive/warehouse/frk.db/设置配额hadoop dfsadmin -se...

2019-07-24 10:30:58 1147

原创 docker手动打image

1.准备好war包2.将war包和Dockerfile放在同一目录下3. 编辑Dockerfile4 . 登录docker仓库docker login registry.c2cloud.cn5. build镜像docker build -t registry.c2cloud.cn/kcbdp/c2-bdg-dcs-service:1.1.1 ....

2019-07-24 10:28:44 416

原创 AOP问题记录

问题：当切面切的方法是实现类里的时候，方法调用时不进入切面（自调用不进入切面）原理：Spring Aop有2种代理方式, 一是基于 JDK Dynamic Proxy 技术而实现的；二是基于 CGLIB 技术而实现的如果一个类实现了某个接口会默认使用JDK Dynamic Proxy比如有2个方法methodA,methodB, 所切方法为 methodB(){}当内部类直接调用所切方...

2019-07-24 10:20:41 127

原创 HDFS命令操作报java.lang.OutOfMemoryError:java heap space

执行hadoop fs -ls / 时出现 java.lang.OutOfMemoryError:java heap space原因：目录下小文件过多，猜测可能是因为文件数据多大使得元数据过大导致加载到client客户端时会引起内存不足解决方案：修改/etc/hadoop/conf/hadoop-env.sh加大HADOOP_CLIENT_OPTS的配置...

2019-07-24 10:14:31 939

z19920904的博客