- 博客(3)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Datax解决MySQL抽数到HDFSNULL变为空字符
问题描述MySQL抽数到HDFSNULL变为空字符原因分析：HFDS Writer并未提供nullFormat参数：也就是用户并不能自定义null值写到HFDS文件中的存储格式。默认情况下，HFDS Writer会将null值存储为空字符串（‘’），而Hive默认的null值存储格式为\N。所以后期将DataX同步的文件导入Hive表就会出现问题。解决方案：一是修改DataX HDFS Writer的源码，增加自定义null值存储格式的逻辑:参考https://blog.csdn.net/u0
2022-04-13 17:12:52
926
原创 Apache ZooKeeper的简单介绍
简介 是一个**分布式**协调服务的开源框架，主要用来解分布式集群中应用系统的一致问题ZooKeeper本质上是一个分布式的小文件储存系统，提供基于类似文件系统的目录树方式的数据储存，并可以对树中的节点进行有效管理，从而来维护和监控储存的数据的状态变化，通过监控这些数据状态的变化，从而可以达到基于数据的集群管理ZooKeeper特性全局数据一致最重要的特征 zk集群中每个服务器保存一份相同的数据副本，client无论连接到哪个服务器，展示的数据都是一致的可靠性顺序性数据更新原子性实时
2020-12-26 13:43:59
229
原创 Linux里Hadoop中jps出现-- process information unavailable和快速解决办法
解决办法: 进入tmp目录: cd /tmp 删除该目录下 名称为hsperfdata_{username}的文件夹 rm -rfhsperfdata_{username}2.杀死所有进程的命令: rm -rf /tmp/hsperfdata_impala/*...
2020-03-03 10:57:37
319
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人