y_try的博客

问题描述 MySQL抽数到HDFSNULL变为空字符 原因分析： HFDS Writer并未提供nullFormat参数：也就是用户并不能自定义null值写到HFDS文件中的存储格式。默认情况下，HFDS Writer会将null值存储为空字符串（‘’），而Hive默认的null值存储格式为\N。所以后期将DataX同步的文件导入Hive表就会出现问题。 解决方案： 一是修改DataX HDFS Writer的源码，增加自定义null值存储格式的逻辑:参考https://blog.csdn.net/u0

简介 是一个**分布式**协调服务的开源框架，主要用来解分布式集群中应用系统的一致问题 ZooKeeper本质上是一个分布式的小文件储存系统，提供基于类似文件系统的目录树方式的数据储存，并可以 对树中的节点进行有效管理，从而来维护和监控储存的数据的状态变化，通过监控这些数据状态的变化，从而可以达到基于数据的集群管理 ZooKeeper特性 全局数据一致 最重要的特征 zk集群中每个服务器保存一份相同的数据副本，client无论连接到哪个服务器，展示的数据都是一致的 可靠性 顺序性 数据更新原子性 实时