Hadoop(HDFS文件系统)
Hive![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/45fe8abddf1e59c3c6cfabc96361acf4.png)
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/5384cfa41338f6eba800b5e0e1cf2483.png)
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/eb084728804ded74c78278a08508ab63.png)
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/c1145067a91565aec270b1215a949bb3.png)
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/c42886c385e3cd75afcc90d8eb242840.png)
Kafka
Flume
1.1Flume定义
Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构,灵活简单。
Flume 自带两种Channel:Memory Channel和File Channel。
Memory Channel是内存中的队列。Memory Channel在不需要关心数据丢失的情景下适用。如果需要关心数据丢失,那么Memory Channel就不应该使用,因为程序死亡、机器右机或者重启都会导致数据丢失。
File Channel将所有事件写到磁盘。因此在程序关闭或机器宕机的情况下不会丢失数据。
Azkaban
1.1什么是Azkaban
Azkaban是由Linkedin公司推出的一个批量工作流任务调度器,主要用于在一个工作流内以一个特定的顺序运行一组工作和流程,它的配置是通过简单的key:value对的方式,通过配置中的Dependencies 来设置依赖关系。Azkaban使用job配置文件建立任务之间的依赖关系,并提供一个易于使用的web用户界面维护和跟踪你的工作流。![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/2a2340953b00f8b444c2c723dfc074f7.png)
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/d73031dee5b7b625f3b076f6bc041c02.png)
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/9e3aec6d5aa7eb53b834dd4050400aaf.png)
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/c74bfe09d7e5cd86305a41fc2b750671.png)
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/55e2b2deac62cc02a05ec15d80c40cd2.png)
Sqoop![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/fce89140c21f21d32d7fa3f6c0348084.png)
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/628ec01e0fbe841c2751a0b8a33c4040.png)
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/1b156f54df823ff9b5beb8ec0d55856d.png)
Hbase