lubenweiniubi的博客

===========Storm概念及组件======================    在Storm拓扑构建前我们先复习一下Storm概念及组件：     Nimbus：负责资源分配和任务调度。      Supervisor：负责接受nimbus分配的任务，启动和停止属于自己管理的worker进程。     Worker：运行具体处理组件逻辑的进程。     Task：worker中每一个...

hive-on-spark配置和使用方法：配置：1、将Hadoop/etc/hadoop/里面的core-site.xml和Hive/conf里的hive-site.xml复制到Spark/conf里2、注意：如果你的mysql数据库装在windows，需要设置字符集为latin1启动：$SPARK/bin/spark-sql \--master spark://node01:7077 \--ex...

================​kafka介绍===============scala 实现的分布式流式平台，暂存数据，消息中间件，消息队列有发布和订阅的特性多角色生产者（producer）和消费者（consumer）  由zookeeper（保存元数据，协调作用 ）进行协调某一个节点是broker对消息保存是 根据topic进行分类jms :Java实现的技术规范   为什么要用消息队列：消息...

修改主机名：vi /etc/sysconfig/network修改映射:vi /etc/hostshadoop:Hadoop的特点：hadoop 是一个开源的  灵活的  可扩展的 可分布式存储和 就计算的平台hadoop 允许使用简单模型出来集群上的海量数据集Hadoop集群可以从单个节点扩展到上千的节点Hadoop的集群容错  不依赖与硬件  而是依