hadoop
cyuyan2014
这个作者很懒,什么都没留下…
展开
-
Flume的可靠性保证:故障转移、负载均衡
为什么把能转载的文章给copy过来呢? 1是有时候博主突然给弄成vip或者找不到了。2是方便自己找,有印象。 Flume的一些组件(如Spooling Directory Source、File Channel)能够保证agent挂掉后不丢失数据。 1、负载均衡 1)Load balancing Sink Processor source里的event流经channel,进入sink组,在sink组内部根据负载算法(round_robin、random)选择sink,后续可以选择不同机器上的.转载 2020-09-27 14:08:22 · 212 阅读 · 0 评论 -
hive
日志记录了程序运行的过程,是一种查找问题的利器。 Hive中的日志分为两种 1. 系统日志,记录了hive的运行情况,错误状况。 2. Job 日志,记录了Hive 中job的执行的历史过程。 系统日志存储在什么地方呢 ? 在hive/conf/ hive-log4j.properties 文件中记录了Hive日志的存储情况, 默认的存储情况: hive.root.log转载 2017-08-07 20:46:49 · 294 阅读 · 0 评论 -
hive 教程
学习hive的时候,遇到许多坑。然后看到许多不错的文章,记下来,以后看。收藏夹里的太乱了。 1、 http://blog.csdn.net/strongyoung88/article/details/53743937 2、 http://www.yiibai.com/hive/hive_data_types.html 3、 http://blog.csdn.net/lifuxi原创 2017-08-05 10:00:57 · 526 阅读 · 0 评论 -
java8新知识,hadoop可用
转载自https://www.cnblogs.com/wenbronk/p/7300544.htmljdk8-lambda表达式的使用1, 遍历list集合 List<Integer> list = new ArrayList<>(); list.add(1); list.add(2); list.add(3); // 直接打印 list.forEach(...转载 2018-07-03 14:37:46 · 402 阅读 · 0 评论