Sid小杰的博客

转载注明出处

排序:
默认
按更新时间
按访问量

【十】storm+mysql集成

使用JdbcInsertBolt、JdbcLookupBolt请直接看官网官网介绍这里代码给的例子是wordcount,用的jdbcClient直接执行SQLspoutpackage integration.jdbc; import java.util.Map; import java.util...

2018-06-13 21:58:42

阅读数:27

评论数:0

【九】storm+redis集成

redis安装storm集成redismaven pom.xml<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org...

2018-06-13 03:41:12

阅读数:141

评论数:0

linux安装redis(单机版)及配置文件介绍。

环境ubuntu16.04解压tar -zxvf redis-3.2.6.tar.gz修改文件夹名称mv redis-3.2.6 redis编译cd /app/redismake编译好后会看到redis.conf和src文件安装cd /app/redis/srcmake install启动服务端c...

2018-06-13 00:53:59

阅读数:54

评论数:0

【六】storm的DRPC

一、RPC1.概述        远程过程调用协议,Remote Procedure Call。序列化的速度会 影响RPC的性能。常用的序列化:avro、thrift(hive、spark有用到这个)2.基于hadoop的RPC实现代码演示3.stormDRPC(分布式RPC)概述官网DRPC介绍...

2018-06-12 23:13:41

阅读数:21

评论数:0

【八】基于hadoop实现RPC代码演示

项目结构    maven<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-ins...

2018-06-11 15:57:30

阅读数:24

评论数:0

【七】storm的ack和fail机制代码演示

package com.sid.bigdata.storm.sum; import java.util.Map; import org.apache.storm.Config; import org.apache.storm.LocalCluster; import org.apache.st...

2018-06-11 14:49:26

阅读数:41

评论数:0

Logstash安装和基本使用

logstash是做数据采集的,类似于flume。官网http://www.elastic.co/cn/products/logstash解压 tar -zxvf logstash-2.4.1.tar.gz修改文件夹名字mv logstash-2.4.1 logstash控制台采集数据,控制台输出...

2018-06-10 22:57:43

阅读数:27

评论数:0

【五】storm调优,调整并行度

实际上就是用多线程。没有真的对集群做扩容。官网介绍http://storm.apache.org/releases/1.1.2/Understanding-the-parallelism-of-a-Storm-topology.htmlstorm中运行topology的实体主要有三个:worker...

2018-06-10 22:57:13

阅读数:29

评论数:0

Logstash整合kafka

环境ubuntu16.04kafka0.9.0.0logstash2.4.1zookeeper3.4.9JDK1.8启动zkcd /app/zookeeper/bin./zkServer.sh start启动kafkacd /app/kafkabin/kafka-server-start.sh -...

2018-06-10 22:55:41

阅读数:20

评论数:0

kafka安装及基本使用

概述kafka是一个分布式的流处理平台。它通常用于构建实时的数据管道,以及实时流处理。能够横向扩展,有容错机制,高速运行在生产上。特性:发布&订阅:像消息系统一样读写流数据。处理:数据流能够高效的被处理,接近实时。存储:数据流能够安全的在进行分布式中多副本的存储。kafka...

2018-06-10 22:54:40

阅读数:20

评论数:0

【二】storm本地开发

一、eclipse+maven构建storm项目前期准备JDK、IDEA、maven创建maven项目添加maven的storm依赖打开官网:http://storm.apache.org/releases/1.1.2/index.html打开pom.xml文件把官网的这个配置加进来,我这里用的是...

2018-06-10 22:54:01

阅读数:16

评论数:0

【四】storm作业提交到集群上运行

maven的pom.xml<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-ins...

2018-06-10 22:53:09

阅读数:42

评论数:0

【一】storm理论

storm的技术网站:官网:http://storm.apache.org/官网可以订阅邮件Github:  github.com/apache/stormwiki:  https://en.wikipedia.org/wiki/Storm_(event_processor)诞生于backtype...

2018-06-10 22:36:29

阅读数:22

评论数:0

【一】zookeeper安装

简介:zookeeper它致力于开发和管理开源的服务器,使得分布式框架高可靠。它提供一下服务:管理配置信息,命名服务,提供了分布式的同步服务,提供了组服务。下载:http://mirrors.hust.edu.cn/apache/zookeeper/解压:tar -zxvf zookeeper-3...

2018-06-09 17:00:20

阅读数:20

评论数:0

【三】storm安装高可用HA集群版

环境ubuntu16.04jdk1.8python3(2或3都行)zookeeper3.4.9使用storm1.1.1集群版:4台机器                nimbus            supervisor        zookeepernode1            Y   ...

2018-06-09 16:58:45

阅读数:47

评论数:0

eclipse中使用maven的报错处理

1.执行maven install报错:[ERROR] COMPILATION ERROR : [INFO] -------------------------------------------------------------[ERROR] No compiler is provided i...

2018-06-09 02:00:26

阅读数:13

评论数:0

linux安装maven

官网下载maven安装包http://maven.apache.org/download.cgi解压 tar -zxvf apache-maven-3.3.9-bin.tar.gz修改名字mv apache-maven-3.3.9 maven配置环境变量vi /etc/profileexport ...

2018-06-06 01:46:13

阅读数:24

评论数:0

linux安装python3

apt install yum下载https://www.python.org/downloads/解压tar -zxvf Python-3.6.0.tgz修改名字mv Python-3.6.0 python创建安装文件目录mkdir /app/python3安装cd /app/python./c...

2018-06-06 01:28:53

阅读数:40

评论数:0

【一】sqoop安装

环境ubuntu16.04下载http://www.apache.org/dyn/closer.lua/sqoop/解压文件tar -zxvf sqoop-1.99.7-bin-hadoop200.tar.gz 修改名字mv sqoop-1.99.7-bin-hadoop200 sqoop配置环境...

2018-06-06 00:42:29

阅读数:239

评论数:1

【一】hive安装

前期:请先安装jdk和hadoop和mysql环境ubuntu16.04下载http://mirrors.tuna.tsinghua.edu.cn/apache/hive/rz上传安装包到服务器解压tar -zxvf apache-hive-2.3.3-bin.tar.gz修改名字文件名字mv a...

2018-06-05 00:53:01

阅读数:37

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭