Hadoop
Hadoop技术栈
Remoa
宠辱不惊,看庭前花开花落;去留无意,望天上云卷云舒。
展开
-
Hadoop基础知识
1、Hadoop与Spark大数据栈基本架构2、数据收集层(Sqoop/Canal、Flume、Kafka)3、数据存储层(HDFS、HBase、Kudu)4、资源管理与服务协调(YARN、ZooKeeper)5、计算引擎层(MapReduce/Tez、Spark、Impala/Presto、Storm/Spark Streaming)6、数据分析层(Hive/Pig/SparkSQL、Mahout/MLib、Apache Beam/Cascading)原创 2017-08-22 12:04:10 · 575 阅读 · 0 评论 -
Hue安装及配置
1、环境准备:2、安装hue:原创 2017-08-31 15:28:45 · 15752 阅读 · 1 评论 -
Hadoop学习(二)——Capacity Scheduler学习
1、Capacity Scheduler资源调度器的特点:2、官方文档查看:3、在Ambari上配置Resource Manager的Capacity Scheduler资源调度器:4、结果展示:原创 2017-10-23 18:18:16 · 2470 阅读 · 0 评论 -
Hadoop学习(三)——Hive学习1
1、UDTFs(表生成函数):2、Lateral View(侧视图):3、Union和Union all:4、Hive配置遇到的参数:原创 2017-10-25 16:19:48 · 1987 阅读 · 0 评论 -
JAVA程序员技术栈、业务栈、工具栈
1、技术栈2、业务栈3、工具栈原创 2017-11-19 13:50:57 · 10178 阅读 · 0 评论 -
Hadoop学习(四)——Hive学习2
1、报错:Hive import json data建表报错:2、报错:Hive load Json数据文件到表中,发现数据全部为null:3、数据标签:给vType字段打标签:4、报错:Sqoop从Hive中export数据到SqlServer时驱动问题:5、Hive启用事务:原创 2017-11-30 17:11:12 · 2557 阅读 · 0 评论 -
谷歌MapReduce论文学习
1、Abstract 摘要2、Introduction 介绍3、Programming Model 编程模型原创 2018-02-28 20:35:35 · 2181 阅读 · 0 评论