皮皮王的专栏

本博客只是个人笔记,非正常实践时间,不对任何人负责,水平有限,只供参考,Nifi大师群:492666008...

排序:
默认
按更新时间
按访问量
RSS订阅

How to add the patch in apache community?

1、开发环境准备: 要对apache hadoop 源码进行开发,首先需要搭建本地hadoop源码开发环境。本地Linux系统需要安装JDK1.8, maven,ProtocolBuffer2.5.0,git以及一些Native lib包(libtool cmake zlib1g-dev ...

2017-04-14 15:39:56

阅读数 394

评论数 0

从无到有系列之flume的source-channel-sink汇总03

原文转载至:http://abloz.com/2013/02/26/flume-channel-source-sink-summary.html Component   Type Description Implementation Class ...

2016-12-08 15:21:10

阅读数 549

评论数 0

从无到有系列之flume-kafka整合01

一、服务器配置 版本介绍:apache-flume-1.6.0-bin + kafka_2.9.2-0.8.2.2 集群说明: 192.168.10.66   broker、consumer、zookeeper 、flume 192.168.10.67   broker、zookeeper ...

2016-12-08 14:42:21

阅读数 379

评论数 0

从无到有系列之storm-windows下demo运行02

转载自http://www.cnblogs.com/tovin/p/3971113.html   本文以一个简单的example来讲解如何开发storm应用程序 1、创建maven工程   在eclipse下创建maven工程,可以参照http://www.cnblogs.com/tovi...

2016-12-06 15:05:03

阅读数 1130

评论数 0

从无到有系列之kafka生产消费者demo02

(使用maven构建项目) POM.xml: 加入:        org.apache.kafka       kafka_2.10      0.8.2.0    生产者: package MavenDemo.Mdemo; import ja...

2016-12-06 12:19:20

阅读数 351

评论数 0

从无到有系列之Hive-hive全实战hive05

文章出处:http://blog.csdn.net/sdksdk0/article/details/51675005 作者: 朱培          ID:sdksdk0 Hive环境的搭建在这里也不重复说了,安装配置可以查看我的这篇文章:http://blog.csdn.net/...

2016-11-22 17:51:13

阅读数 1301

评论数 0

从无到有系列之Hive-内建操作符及函数开发hive04

第一部分:关系运算 Hive支持的关系运算符 •常见的关系运算符 •等值比较: = •不等值比较: •小于比较: •小于等于比较: •大于比较: > •大于等于比较: >= •空值判断: IS NULL...

2016-11-22 14:44:14

阅读数 257

评论数 0

从无到有系列之kafka安装部署01

安装Kafka   1. 下载kafka安装包,访问Kafka官网下载对应版本即可。这里使用的版本为2.9.2-0.8.1.1。     2.  使用下面的命令解压安装包 1 tar -zxvf kafka_2.9.2-0.8.1.1.tgz   3. 修改...

2016-11-18 11:39:11

阅读数 478

评论数 0

从无到有系列之flume-收集日志到hdfs02

1.向agent发送数据,并将数据输出至hdfs中 在$FLUME_HOME/conf目录下修改flume-conf.properties.template文件,复制并改名为flumetest2     a1.sources= r1 a1.sinks= k1 a1.channels= c1 ...

2016-11-17 18:07:19

阅读数 406

评论数 0

从无到有系列之flume-安装部署01

1.下载flume并解压:     wget 命令下载 wget http://www.apache.org/dyn/closer.cgi/flume/1.6.0/apache-flume-1.6.0-bin.tar.gz 手动下载: http://flume.apache.org/d...

2016-11-17 17:29:05

阅读数 269

评论数 0

从无到有系列之zeepelin-小试牛刀02

原文转载至:https://blog.sectong.com/blog/zeppelin_mysql.html

2016-10-20 17:58:58

阅读数 592

评论数 0

从无到有系列之zeepelin-安装部署01

转载至:https://www.iteblog.com/archives/1573

2016-10-20 11:45:59

阅读数 602

评论数 0

从无到有系列之spark-安装部署01

Spark 1.6.1分布式集群环境搭建 一、软件准备 scala-2.11.8.tgz spark-1.6.1-bin-hadoop2.6.tgz 二、Scala 安装 1、master 机器 (1)下载 scala-2.11.8.tgz, 解压到 /opt 目录下,即: /opt/scala...

2016-10-19 17:01:01

阅读数 412

评论数 0

从无到有系列之storm-安装部署01

Storm集群的安装分为以下几步:   1、首先保证Zookeeper集群服务的正常运行以及必要组件的正确安装   2、释放压缩包   3、修改storm.yaml添加集群配置信息   4、使用storm脚本启动相应服务并查看服务状态   5、通过web查看storm集群的状态   ...

2016-09-14 15:56:33

阅读数 300

评论数 0

从无到有系列之HBase-安装部署01

hbase安装相对简单,就是把其整合hadoop 1.解压 tar -zxvf hbase-1.0.0-bin.tar.gz sudo mv hbase-1.0.0 /opt/hbase cd /opt sudo chmod -R 775 hbase sudo chown -R hadoop:h...

2016-09-08 17:48:26

阅读数 431

评论数 0

从无到有系列之HBase-入门操作02

一般操作 查看服务器状态 status 查看hbase版本 version   DDL操作 创建表 create 'member','member_id','address','info' 创建了3个列族,分别是member_id, address, info 查看表信息 descr...

2016-09-08 17:43:13

阅读数 260

评论数 0

史上最全的“大数据”学习资源整理

当前,整个互联网正在从IT时代向DT时代演进,大数据技术也正在助力企业和公众敲开DT世界大门。当今“大数据”一词的重点其实已经不仅在于数据规模的定义,它更代表着信息技术发展进入了一个新的时代,代表着爆炸性的数据信息给传统的计算技术和信息技术带来的技术挑战和困难,代表着大数据处理所需的新的技术和方法...

2016-05-23 15:59:52

阅读数 2636

评论数 0

从无到有系列之zookeeper-安装部署01

环境前提: 首先需要3台bridge模式的vm机器,当然有某云的服务器更好,并且彼此通讯畅通。 1.在zookeeper官网推荐的镜像下载zookeeper的tar包,本文下载的是3.4.6版本,下载地址:http://mirrors.cnnic.cn/apache/zookeeper/zook...

2016-03-31 19:08:32

阅读数 902

评论数 0

从无到有系列之Hive-jdbc测试操作hive03

在使用 JDBC 开发 Hive 程序时,  必须首先开启 Hive 的远程服务接口。使用下面命令进行开启: hive -service hiveserver & 1). 测试数据 userinfo.txt文件内容(每行数据之间用tab键隔开): 1 xiapi 2 xi...

2016-03-31 15:35:51

阅读数 1969

评论数 0

从无到有系列之Hive-入门操作及简单应用02

本文是给有一定linux基础的童鞋看的,如果读者是完全没有基础的话,建议转参考别的文章。 1.首先我们创建一个普通的文本文件,里面只有一行数据,该行也只存储一个字符串,命令如下: echo  ‘wangjian’ > /home/hadoop/test.txt 2.然后我们建一张hiv...

2016-03-31 12:00:52

阅读数 374

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭