Bigdata
Oasen
黑森林法则
展开
-
数据转换工具 Sqoop
Apache Sqoop 是一种被设计用于 Apache Hadoop 和结构化数据库之间进行数据转移的工具。其可以将数据从 Hadoop 导出到关系型数据库,也可以将数据从关系型数据库导入到 Hadoop 中。官方网址:http://sqoop.apache.org/。 如图所示,Sqoop 的核心作用是 导入/导出。 导入数据:MySql,Oracle 等关系型数据库导入数据到 Hadoop...原创 2019-08-12 21:12:43 · 142 阅读 · 0 评论 -
大数据 WEB 工具 Hue
简介 使用浏览器进行查询,浏览和展示数据。 下载地址:http://gethue.com/category/release/ 文档地址:http://archive.cloudera.com/cdh5/cdh/5/hue-3.7.0-cdh5.3.6/manual.html#_install_hue 配置 预安装软件 yum install ant asciidoc cyrus-sasl-d...原创 2019-08-13 23:06:29 · 296 阅读 · 0 评论 -
任务调度框架 Oozie
简介原创 2019-08-13 22:43:34 · 520 阅读 · 0 评论 -
数据框架部分总结
spark的优化 1. 开发调优: 1) 避免创建重复的RDD 2) 尽可能复用同一个RDD 3) 对多次使用的RDD进行持久化 4) 尽量避免使用shuffle类算子 5) 使用map-side 的预聚合的shuffle 6) 使用高性能的算子 7) 广播大变量 8) 使用Kryo优化序列化性能 9) 优化数据结构 ...原创 2019-04-07 23:38:29 · 235 阅读 · 0 评论 -
文件收集框架 Flume
Flume 是一种分布式的,可靠且高效地收集、聚集和移动大量数据的工具。它具有基于流数据的简单灵活的体系结构。并且具有健壮性和容错性,可调整的可靠性机制和许多故障转移和恢复机制。它使用了一个简单的可扩展的数据模型,允许在线分析应用程序。 官网地址:http://flume.apache.org/ 用户手册地址:http://flume.apache.org/FlumeUserGuide.html ...原创 2019-08-12 22:56:55 · 176 阅读 · 0 评论