云计算
lovemelovemycode
大家好,我是王茂军,来自北京中关村的一名程序员。希望和大家一起交流、一起成长。我关注的东东:linux\JAVA\Hadoop\scala\spark.为大数据在气象领域的落地贡献自己的力量。
展开
-
HBase简介
HBase 是Apache Hadoop的数据库,能够对大型数据提供随机、实时的读写访问。下面我们简单介绍一下它的命令。1 hbase 单机版安装 下载获得hbase-0.90.5.tar.gz====》tar xfz hbase-0.90.5.tar.gz=====>在hbase-0.90.5/conf/hbase-site.xml中编辑hbase数据的存放位置2 运行hbas原创 2013-03-03 14:29:35 · 1297 阅读 · 0 评论 -
pig使用记录
--如何进入PIG 的local模式pig -x local--读出bbb文件内容,并将文件第一列的内容打印在屏幕上A = load '/home/flankwang/download/bbbb' using PigStorage('|') as (f1:chararray,f2:chararray);B = foreach A generate f1;--B = foreach原创 2013-02-24 17:06:21 · 952 阅读 · 0 评论 -
hive集群安装配置
hive 是JAVA写的的一个数据仓库,依赖hadoop。没有安装hadoop的,请参考http://blog.csdn.net/lovemelovemycode/article/details/9154121(hadoop集群安装配置)。下面将一下hive集群的安装配置步骤:1 下载 hive-0.10.0.tar.gz;2 将 hive-0.10.0.tar.gz解压到 hado原创 2013-06-29 12:50:23 · 2776 阅读 · 0 评论 -
zookeeper集群搭建
hbase 节点间通信需要使用zookeeper,所以这里介绍一下zookeeper集群的搭建步骤.1 官网下载zookeeper安装包,解压到/home/haodop/hadoop-1.0.42 在/etc/profile文件中添加ZOOKEEPER_HOME及对应的Path3 配置/home/hadoop/hadoop-1.0.4/zookeeper-3.4.5/conf/zoo.原创 2013-06-30 11:53:22 · 1275 阅读 · 0 评论 -
CDH功能简介
CDH:一个对Apache Hadoop的集成环境的封装,可以使用Cloudera Manager进行自动化安装。CDH有企业版和免费版,下面介绍一下免费版可以使用的功能:1 可以使用的组件 HDFS ,MapReduce,Hive,hue,impala,oozie,sqoop,zookeeper,hbase2 集群管理可以使用的功能 节点的启动、停止、添加;可以创建管原创 2013-08-20 22:29:53 · 3486 阅读 · 0 评论 -
InfoSphere BigInsights 安装部署
InfoSphere BigInsights 有三个版本:基础版、企业体验版、企业版。基础版是免费的,但是少了一些功能;企业体验版是在购买企业版之前又来体验测试的;如果要部署企业版,应该购买企业版。安装部署的基本过程:下载安装包(安装包中有个README.txt,里面有两个网址,一个是环境要求,一个安装过程)、准备部署环境、部署。这里针对basic版2.1的安装进行介绍:1 下载安装包ii原创 2013-08-20 14:26:38 · 3459 阅读 · 5 评论