![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据协作框架
磨刀大神
重视代码品质,扩大技术视野,加深技术深度;
每天学习一点点,坚持下去,就是大神。
展开
-
sqoop2安装与配置以及常见问题
一、sqoop2的安装:安装sqoop2前,首先安装配置好Hadoop,sqoop2是在Hadoop的基础上运行的。1.sqoop2的版本:sqoop-1.99.7-bin-hadoop200.tar.gz 解压缩即可: tar -zxvfsqoop-1.99.7-bin-hadoop200.tar.gz2.环境变量的配置:vi /etc/profile 添加(根据自...原创 2019-04-04 23:41:40 · 8385 阅读 · 0 评论 -
sqoop2常用命令
1.开启sqoop2 server: sqoop.sh server start2.关闭sqoop2 server: sqoop.sh server stop3.开启sqoop2交互命令:sqoop2-shell4.设置server:set server --host localhost --port 12000 -webapp sqoop5.查看可配置的连接show connec...原创 2019-04-05 11:11:03 · 1807 阅读 · 0 评论 -
Oozie基础入门
工作流调度框架Oozie * 工作流 import -> hive -> export 将不同的业务进行编排 * 调度 作业/任务 定时执行 事件触发执行 时间 数据集调度框架 Linux crontab 规则 * * * * * cmd 前五个字段是设...原创 2019-07-01 23:20:34 · 250 阅读 · 0 评论 -
HUE基础入门
HUE是一个开源的Apache Hadoop UI系统,早期由Cloudera开发,后来贡献给开源社区。它是基于Python Web框架Django实现的。通过使用Hue我们可以通过浏览器方式操纵Hadoop集群。例如put、get、执行MapReduce Job等等。学习网站: http://gethue.com https://github.com/cloude...原创 2019-07-08 01:22:59 · 5547 阅读 · 0 评论 -
Sqoop1基础入门
1.数据来源与处理 RDBMS(Oracle,Mysql,DB2...) -> Sqoop (SQL to Hadoop) 文件(Apache,Nginx日志数据) -> Flume(实时抽取)2.任务调度 数据分析任务job比较多 执行时间,执行频率,job之间的相互依赖(工作流) Oozie框架执行调...原创 2019-06-30 00:57:22 · 467 阅读 · 0 评论 -
Flume基础入门
Flume Cloudera开发的框架,Flume是一个非常优秀日志采集组件,类似于logstash,我们通常将Flume作为agent部署在application server上,用于收集本地的日志文件。 实时收集数据 apache/ngnix Kafka/Flume + storm/spark spark streaming Web Server -&g...原创 2019-06-30 23:28:22 · 174 阅读 · 0 评论