- 博客(4)
- 收藏
- 关注
RSS订阅原创 STORM 拓扑构建
===========Storm概念及组件====================== 在Storm拓扑构建前我们先复习一下Storm概念及组件： Nimbus：负责资源分配和任务调度。 Supervisor：负责接受nimbus分配的任务，启动和停止属于自己管理的worker进程。 Worker：运行具体处理组件逻辑的进程。 Task：worker中每一个...
2018-03-23 22:18:30
305
1
原创 hive-on-spark配置和使用方法
hive-on-spark配置和使用方法：配置：1、将Hadoop/etc/hadoop/里面的core-site.xml和Hive/conf里的hive-site.xml复制到Spark/conf里2、注意：如果你的mysql数据库装在windows，需要设置字符集为latin1启动：$SPARK/bin/spark-sql \--master spark://node01:7077 \--ex...
2018-03-05 21:11:18
783
原创 kafka的介绍以及安装和基本使用
================kafka介绍===============scala 实现的分布式流式平台，暂存数据，消息中间件，消息队列有发布和订阅的特性多角色生产者（producer）和消费者（consumer） 由zookeeper（保存元数据，协调作用 ）进行协调某一个节点是broker对消息保存是 根据topic进行分类jms :Java实现的技术规范 为什么要用消息队列：消息...
2018-03-05 20:49:05
519
1
原创 HDFS 的概念以及为分布式的安装
修改主机名：vi /etc/sysconfig/network 修改映射:vi /etc/hosts hadoop: Hadoop的特点： hadoop 是一个开源的 灵活的 可扩展的 可分布式存储和 就计算的平台 hadoop 允许使用简单模型出来集群上的海量数据集 Hadoop集群可以从单个节点扩展到上千的节点 Hadoop的集群容错 不依赖与硬件 而是依
2018-01-08 20:45:12
223
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人