![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
HADOOP
kelong_xhu
这个作者很懒,什么都没留下…
展开
-
zookeeper
概览: http://www.ibm.com/developerworks/cn/opensource/os-cn-zookeeper/原创 2014-08-01 17:54:50 · 357 阅读 · 0 评论 -
<转>hbase基本概念和hbase shell
HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable:一个结构化数据的分布式存储系统》。HBase是Google Bigtable的开源实现,它利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的海量数据,利用Zookeeper作为协同服务。 2. HBase的表结构 HBase以表的形式存储数据。表有转载 2014-07-31 15:10:49 · 406 阅读 · 0 评论 -
Flume多个agent到colletor
1、collector配置 #agent1表示代理名称 a1.sources=source1 a1.sinks=sink1 a1.channels=c1 #配置source1 a1.sources.source1.type = avro a1.sources.source1.channels = c1 a1.sources.source1.bind = 172.26.50.2原创 2015-01-13 15:11:17 · 3080 阅读 · 0 评论 -
flume-ng 多节点集群示例
假设:现有两台机子,命名为:agent,collect。 agent IP地址为:192.168.150.137, collect为192.168.150.135 要求:实现agent到collect的连接,并能向collect发送日志。 步骤: 两台电脑上分别装上 jdk,flume-ng(不是flume-og),配置好profile。 agent的处理 (1转载 2015-01-12 16:31:37 · 2807 阅读 · 0 评论 -
hbase配置
2.2.1 修改启动文件hbase-env.sh export JAVA_HOME=/usr/local/java/jdk1.7 export HBASE_CLASSPATH=/usr/local/java/hadoop-2.4.0/etc/hadoop原创 2014-08-01 10:00:05 · 421 阅读 · 0 评论 -
hbase异常记录
1、启动hbase STARTUP_MSG: host = java.net.UnknownHostException: ubuntu1: ubunt原创 2014-08-01 09:40:47 · 413 阅读 · 0 评论 -
hadoop pig
1.1 编写目的 介绍pig,一个不得不说的hadoop的扩展。 1.2 什么是pig Pig是一个基于Hadoop的大规模数据分析平台,它提供的SQL-LIKE语言叫Pig Latin,该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。Pig为复杂的海量数据并行计算提供了一个简单的操作和编程接口。 1.3 pig的特点 1、专注于于大量数据集分析转载 2014-08-18 15:52:04 · 1058 阅读 · 0 评论 -
(转)hive sql 学习笔记
一、 创建表 在官方的wiki里,example是这样的: CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITIONED BY (col转载 2014-07-31 09:13:31 · 440 阅读 · 0 评论 -
hive安装及使用
Hive是Hadoop一个程序接口,Hive让数据分析人员快速上手,Hive使用了类SQL的语法,Hive让JAVA的世界变得简单而轻巧,Hive让Hadoop普及到了程序员以外的人。 从Hive开始,让分析师们也能玩转大数据。转载 2014-07-30 21:25:04 · 952 阅读 · 0 评论 -
hadoop FS 命令(转)
FS Shell 调用文件系统(FS)Shell命令应使用bin/hadoop fs 的形式。 所有的的FSshell命令使用URI路径作为参数。URI格式是scheme://authority/path 。对HDFS文件系统,scheme是hdfs ,对本地文件系统,scheme是file。其中scheme和authority参数都是可选的,如果未加指定,就会使用配置中指定的默认scheme。转载 2014-07-30 10:09:05 · 379 阅读 · 0 评论 -
Spark安装
Spark安装 进入官方下载地址下载最新版 Spark。我下载的是 spark-1.3.0-bin-hadoop2.4.tgz。 在~/workspace目录下解压 tar -zxvf spark-1.3.0-bin-hadoop2.4.tgz mv spark-1.3.0-bin-hadoop2.4 spark-1.3.0 #原来的文件名太长了,修改下转载 2016-03-29 16:31:38 · 437 阅读 · 0 评论