- 博客(4)
- 收藏
- 关注
原创 STORM 拓扑构建
===========Storm概念及组件====================== 在Storm拓扑构建前我们先复习一下Storm概念及组件: Nimbus:负责资源分配和任务调度。 Supervisor:负责接受nimbus分配的任务,启动和停止属于自己管理的worker进程。 Worker:运行具体处理组件逻辑的进程。 Task:worker中每一个...
2018-03-23 22:18:30 315 1
原创 hive-on-spark配置和使用方法
hive-on-spark配置和使用方法:配置:1、将Hadoop/etc/hadoop/里面的core-site.xml和Hive/conf里的hive-site.xml复制到Spark/conf里2、注意:如果你的mysql数据库装在windows,需要设置字符集为latin1启动:$SPARK/bin/spark-sql \--master spark://node01:7077 \--ex...
2018-03-05 21:11:18 792
原创 kafka的介绍以及安装和基本使用
================kafka介绍===============scala 实现的分布式流式平台,暂存数据,消息中间件,消息队列有发布和订阅的特性多角色生产者(producer)和消费者(consumer) 由zookeeper(保存元数据,协调作用 )进行协调某一个节点是broker对消息保存是 根据topic进行分类jms :Java实现的技术规范 为什么要用消息队列:消息...
2018-03-05 20:49:05 524 1
原创 HDFS 的概念以及为分布式的安装
修改主机名:vi /etc/sysconfig/network 修改映射:vi /etc/hosts hadoop: Hadoop的特点: hadoop 是一个开源的 灵活的 可扩展的 可分布式存储和 就计算的平台 hadoop 允许使用简单模型出来集群上的海量数据集 Hadoop集群可以从单个节点扩展到上千的节点 Hadoop的集群容错 不依赖与硬件 而是依
2018-01-08 20:45:12 228
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人