博客专栏  >  云计算/大数据   >  Hadoop生态

Hadoop生态

由浅入深,专注于研究Hadoop生态系统的每一项技术。。。

关注
20 已关注
110篇博文
  • Storm之——Storm整合kafka:java.lang.NoClassDefFoundError: com/google/common/base/Strings

    java.lang.NoClassDefFoundError: com/google/common/base/Strings 造成该错误的原因是没有加入guava的dependency,guava.j...

    2017-11-05 14:45
    326
  • Storm之——Kafka+Storm+HDFS整合实战

    一、系统规划 在基于Hadoop平台的很多应用场景中,我们需要对数据进行离线和实时分析,离线分析可以很容易地借助于Hive来实现统计分析,但是对于实时的需求Hive就不合适了。实时应用场景可以使用...

    2017-11-05 14:39
    332
  • Storm之——流组件简单串行编程实践

    Storm是一个分布式是实时计算系统,它设计了一种对流和计算的抽象,概念比较简单,实际编程开发起来相对容易。下面,简单介绍编程实践过程中需要理解的Storm中的几个概念: Topology Stor...

    2017-11-05 00:15
    311
  • Storm之——组合多种流操作

    Storm支持流聚合操作,将多个组件emit的数据,汇聚到同一个处理组件来统一处理,可以实现对多个Spout组件通过流聚合到一个Bolt组件(Sout到Bolt的多对一、多对多操作),也可以实现对多个...

    2017-11-05 00:23
    223
  • Storm之——搭建Storm集群

    一、机器规划 主机名 IP Zookeeper Nimbus Supbervisor liuyazhuang161 192.168.209.161 是 是 否 liuyazhuang1...

    2017-11-01 22:16
    109
  • Sqoop之——安装与使用

    一、Sqoop的使用 ----Sqoop是一个用来在hadoop体系和关系型数据库之间进行数据互导的工具 ----实质就是将导入导出命令转换成mapreduce程序来实现 Sqoop安装:安装在一台节...

    2017-10-29 23:39
    151
  • Kafka之——简单客户端编程

    今天,我们给大家带来一篇如何利用Kafka的API进行客户端编程的文章,这篇文章很简单,就是利用Kafka的API创建一个生产者和消费者,生产者不断向Kafka写入消息,消费者则不断消费Kafka的消...

    2017-10-29 11:13
    117
  • Storm之——编程案例

    一、程序需求 今天,我们再次为大家带来一篇关于Storm的文章,以便为大家起到复习Storm的效果。这篇文章的编程案例基于Maven实现,主要的功能是:从文件读取内容——>切分单词,去掉首尾空格并将...

    2017-10-29 11:30
    258
  • Kafka之——单机多broker实例集群搭建

    今天,就带着大家一起来实现Kafka集群的搭建,我们直接进入主题吧。 Kafka支持两种模式的集群搭建:可以在单机上运行多个broker实例来实现集群,也可在多台机器上搭建集群,这篇博文就给大家介绍下...

    2017-10-28 12:46
    147
  • Kafka之——集群搭建

    一、Zookeeper集群搭建 Kafka集群是把状态保存在Zookeeper中的,首先要搭建Zookeeper集群。 1、软件环境 (3台服务器-我的测试) 192.168.7.100 serve...

    2017-10-28 13:00
    158
  • Kafka之——安装并(单节点)配置启动Kafka

    1. 下载Kafka 从Kafka官网下载最新的Kafka,目前我下载的版本为kafka_2.10-0.8.1.1.tgz 2、解压Kafka tar -zxvf kafka_2.10-0.8.1....

    2017-10-26 00:07
    148
  • Storm之——简单编程案例

    一、案例概述 今天,就带着大家一起来实现一个简单的Storm实例,这个实例很简单,实现以下功能: 我们定义一个数组,比如:String[] words = {"iphone","xiaomi","m...

    2017-10-24 23:33
    125
  • Storm之——配置项详解

    Storm配置项详解: 配置项 配置说明 storm.zookeeper.servers ZooKeeper服务器列表 storm.zookeeper.port Z...

    2017-10-24 23:31
    96
  • Storm之——常见问题及解决办法

    在做Storm编程时,通常会遇到一些问题,那么,这里就给大家介绍几种常见的问题和对应的解决办法,供大家在日常学习和工作中参考。 1. 发布topologies到远程集群时,出现Nimbus host ...

    2017-10-24 23:25
    136
  • HBase之——Shell基础操作

    今天,接着上一篇博文继续,那么,接下来就给大家带来一篇HBase Shell基础操作的总结,不多说,直接列出HBase Shell基础操作的总结如下: 进入hbase命令行 ./hbase shell...

    2017-10-23 21:22
    150
  • HBase之——通过Java API与HBase交互

    不多说,直接上代码,大家自己看代码分析: import java.io.IOException; import org.apache.hadoop.conf.Configuration; impo...

    2017-10-23 22:14
    98
  • Storm之——单机环境部署

    从这篇博文开始,我们就进入Storm阶段的入门学习,最近,有些小伙伴发来私信说,博文写的太快,有些跟不上了,但是我还是希望大家能够跟上鄙人的速度,我们先把Hadoop生态的各项技术过一遍,把基础的知识...

    2017-10-23 23:15
    101
  • HBase之——单节点安装

    这边博文就带着大家一起学习如何安装HBase,首先,我们来学习如何在单节点上安装HBase,后续会带着大家一起学习如何搭建HBase集群。 一、配置服务器主机名和IP映射 1、配置主机名 vim /e...

    2017-10-22 13:18
    162
  • Hive之——整合MySQL存储元数据信息及基本操作示例

    一、概述 Hive在实际工作过程中,需要一个统一的存储媒介来存储元数据信息,这个存储媒介通常可以是MySQL数据,那么如何将Hive的元数据信息存储到MySQL中呢,今天,就带着大家一起学习大数据入门...

    2017-10-21 14:15
    154
  • Hive之——Join操作

    两个字段,第一个字段是学生名字,第二个是所选课程的ID号,表名叫stu name courseId zs1,1 zs2,2 zs3,3 zs4,4 create table stu(name str...

    2017-10-22 10:46
    232

Dubbo
2028913
JMS
138284
Netty
11209
Redis
1874945
Memcached
936473
设计模式
2241789
Mycat
2017875
Web前端
2270514
Linux
76180402
JVM
1544045
J2EE
72230784
Java
153405304
MySQL
129205606
img博客搬家
img撰写博客
img发布 Chat
img专家申请
img意见反馈
img返回顶部