关闭
当前搜索:

Kafka 安装&常用操作命令

Kafka https://kafka.apache.org/ Apache Kafka是由Apache软件基金会开发的一个开源消息中间件项目,由Scala写成。Kafka最初是由LinkedIn开发,并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。—– from wikipedia Kafka 安装...
阅读(80) 评论(0)

Storm WordCount 代码

WordCountTopologMainpackage top.itning.storm;import org.apache.storm.Config; import org.apache.storm.LocalCluster; import org.apache.storm.topology.TopologyBuilder; import org.apache.storm.tuple.Fields...
阅读(64) 评论(0)

Storm 集群安装&常用操作命令

Apache Storm http://storm.apache.org/ 安装 备份 mv /export/servers/storm/conf/storm.yaml /export/servers/storm/conf/storm.yaml.bak 修改 vi /export/servers/storm/conf/storm.yaml #指定storm使用的zk集群storm.zoo...
阅读(59) 评论(0)

Storm 编程模型 核心组件 Stream Grouping 数据分组策略

官网: http://storm.apache.org/ Apache Storm是一个免费的开源分布式实时计算系统。Storm可以很容易地可靠地处理无限的数据流,从而实时处理Hadoop为批处理所做的事情。Storm很简单,可以和任何编程语言一起使用 Storm编程模型 其中Spout 一条一条从数据源获取外部数据 Spout 在内部发送Tuple给Bolt ; Bolt 根据业务进行处理...
阅读(116) 评论(0)

Hbase API

package cn.itcast_01_hbase;import java.util.ArrayList;import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.Cell; import org.apache.hadoop.hbase.CellUtil; import org.apache.hadoop...
阅读(209) 评论(1)

sqoop 安装

官网:http://sqoop.apache.org/ 下载:sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 1 cd SQOOP_HOME/conf $ mv sqoop-env-template.sh sqoop-env.sh 打开sqoop-env.sh并编辑下面几行: export HADOOP_COMMON_HOME=/home/hadoo...
阅读(58) 评论(0)

azkaban 编译使用方法

azkaban github 地址:https://github.com/azkaban/azkaban git clone 地址:https://github.com/azkaban/azkaban.git编译 $git clone https://github.com/azkaban/azkaban.git $cd azkaban $git checkout 版本号 版本号通过 https:...
阅读(375) 评论(0)

日志采集框架Flume

1. Source:采集源,用于跟数据源对接,以获取数据 2. Sink:下沉地,采集数据的传送目的,用于往下一级agent传递数据或者往最终存储系统传递数据 3. Channel:angent内部的数据传输通道,用于从source将数据传递到sink安装 解压 修改conf下的flume-env.sh,在里面配置JAVA_HOME # example.conf: A single-node F...
阅读(71) 评论(0)

hadoop集群安装 7节点;HA

教程使用版本: hadoop-2.8.1.tar.gz zookeeper-3.4.10.tar.gz Linux: Centos 7 x64 (CentOS-7-x86_64-DVD-1708) 前期准备:集群规划: 主机名 IP 安装的软件 运行的进程 node1 192.168.66.3 jdk、hadoop NameNode、DFSZKF...
阅读(148) 评论(1)
    个人资料
    • 访问:23917次
    • 积分:1205
    • 等级:
    • 排名:千里之外
    • 原创:103篇
    • 转载:1篇
    • 译文:0篇
    • 评论:3条
    个人介绍
    文章分类
    最新评论