- 博客(6)
- 收藏
- 关注
原创 sqoop export SQLSERVER 存储过程参数限制
sqoop 从HDFS往SQLSERVER同步数据时,如果表字段过多,可能会报如下异常:com.microsoft.sqlserver.jdbc.SQLServerException: The incoming tabular data stream (TDS) remote procedure call (RPC) protocol stream is incorrect. Too many
2013-11-07 18:22:31 2403
原创 升级cloudera manager,启用HDFS HA和MR HA
由于集群采用的是CDH4.3版本,CDH4.3是基于hadoop 2.0的,本身就支持High Availability,只是之前配置起来比较麻烦,所以为了快速上线,就没有启用HA现在发现cloudera manager已经发布了4.7.2版本,大大精简了HA的配置原来的cloudera manager是4.6.0,从4升级到最新版本还是比较简单的,具体参考官方文档https:
2013-09-26 18:15:11 2222
原创 oozie服务在mysql重启之后也必须重启
由于mysql 的group_concat 函数的结果有长度限制,所以修改了group_concat_max_len参数然后重启了Mysql到晚上才发现oozie所有的任务都不执行了,于是赶紧重启oozie服务切记以后重启服务时相关的服务也要注意下
2013-09-13 22:39:23 1048
原创 修改oozie action node name的长度限制
在使用oozie的过程中,可能会遇到如下问题: E0724: Invalid node name, name [your action node name] must be 50 chars or less 可是去mysql里查看表结构,发现WF_ACTIONS表的name字段长度是varchar(255),于是去查看源代码,发现在core包里的ParamChe
2013-08-21 11:01:02 1001
原创 Hive分区表更改表结构
Hive的分区表更改表结构后需要注意的是旧分区的结构(包括序列化参数)都是不会更改的,因此如果需要往旧分区里重新insert或者load数据覆盖掉原来的数据,需要手动去数据库里修改hive的元数据。(基于hive-0.10,序列化参数应该是都不会变,但是在0.8.1里旧分区的结构好像也会随着表结构更改。)
2013-08-12 10:31:08 2160
原创 Hive中文注释问题
hive元数据建表之后需要修改一些字符集为了解决hive的specified key was too long; max key length is 767 问题(MySQL的varchar主键只支持不超过768个字节 或者 768/2=384个双字节 或者 768/3=256个三字节的字段,UTF-8是三字节的。),需要将数据库默认字符集改为latin1;alter databa
2013-08-05 10:25:38 4767 1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人