- 博客(2)
- 收藏
- 关注
原创 对kafka的一点总结
一、kafka概述 一句话讲,Kafka就是一种消息队列,常用在实时业务中写流处理应用。它分为三块,生产者producer,消费者consumer,消息代理broker,已发送的消息保存在一组服务器中。topic就是特定类型的消息流。producer发送消息到topic中,cumsumer来订阅。二、kafka和zookeeper的关系 kafka依赖zookeeper,z...
2018-08-03 14:34:38 235
原创 sqoop2用法介绍及问题解决方法
什么是sqoopsqoop通俗讲就是支持将mysql,oracle等关系型数据库数据导入到hdfs中的工具。用的是mapreduce这种计算模式,只要在一台服务器上安装,整个服务器集群都能开启服务。 我的项目中用到sqoop2 mysql中数据——>hdfs ——>hive 其中mysql数据到hdfs就是由sqoop完成,hdfs数据导入...
2018-07-25 18:39:47 1143
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人