- 博客(6)
- 收藏
- 关注
RSS订阅原创 sqoop export SQLSERVER 存储过程参数限制
sqoop 从HDFS往SQLSERVER同步数据时，如果表字段过多，可能会报如下异常：com.microsoft.sqlserver.jdbc.SQLServerException: The incoming tabular data stream (TDS) remote procedure call (RPC) protocol stream is incorrect. Too many
2013-11-07 18:22:31
2366
原创 升级cloudera manager，启用HDFS HA和MR HA
由于集群采用的是CDH4.3版本，CDH4.3是基于hadoop 2.0的，本身就支持High Availability，只是之前配置起来比较麻烦，所以为了快速上线，就没有启用HA现在发现cloudera manager已经发布了4.7.2版本，大大精简了HA的配置原来的cloudera manager是4.6.0，从4升级到最新版本还是比较简单的，具体参考官方文档https:
2013-09-26 18:15:11
2200
原创 oozie服务在mysql重启之后也必须重启
由于mysql 的group_concat 函数的结果有长度限制，所以修改了group_concat_max_len参数然后重启了Mysql到晚上才发现oozie所有的任务都不执行了，于是赶紧重启oozie服务切记以后重启服务时相关的服务也要注意下
2013-09-13 22:39:23
1026
原创 修改oozie action node name的长度限制
在使用oozie的过程中，可能会遇到如下问题： E0724: Invalid node name, name [your action node name] must be 50 chars or less 可是去mysql里查看表结构，发现WF_ACTIONS表的name字段长度是varchar(255)，于是去查看源代码，发现在core包里的ParamChe
2013-08-21 11:01:02
968
原创 Hive分区表更改表结构
Hive的分区表更改表结构后需要注意的是旧分区的结构(包括序列化参数)都是不会更改的，因此如果需要往旧分区里重新insert或者load数据覆盖掉原来的数据，需要手动去数据库里修改hive的元数据。(基于hive-0.10，序列化参数应该是都不会变，但是在0.8.1里旧分区的结构好像也会随着表结构更改。)
2013-08-12 10:31:08
2124
原创 Hive中文注释问题
hive元数据建表之后需要修改一些字符集为了解决hive的specified key was too long; max key length is 767 问题(MySQL的varchar主键只支持不超过768个字节 或者 768/2=384个双字节 或者 768/3=256个三字节的字段，UTF-8是三字节的。)，需要将数据库默认字符集改为latin1;alter databa
2013-08-05 10:25:38
4715
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人