大数据时代
介绍大数据环境的搭建和性能测试。hadoop,hive,hbase,spark等。
山鹰的天空
追求漂亮的技术,让用户有最好的体验。
展开
-
HIVE和HBASE区别
HIVE和HBASE区别 1. 两者分别是什么? Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言,这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能,但是Hive不能够进行交互查询--因为它只能够在Haoop上批量的执行Hadoop。转载 2016-07-19 14:22:03 · 501 阅读 · 0 评论 -
Hbase 导出特定列 示例(小量数据)
/* * Need Packages: * commons-codec-1.4.jar * * commons-logging-1.1.1.jar * * hadoop-0.20.2-core.jar * * hbase-0.90.2.jar * * log4j-1.2.16.jar * * zookeeper-3.3.2.jar * * E原创 2016-07-20 10:30:07 · 1838 阅读 · 0 评论 -
Hbase基本使用示例
import java.io.IOException; import java.util.ArrayList; import java.util.List; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.a原创 2016-07-20 10:30:43 · 868 阅读 · 0 评论 -
hbase的单机搭建
最近准备搭建个单机版的hbase服务器,在apache上下载了hbase的压缩文件,解压后,配置conf文件夹里的三个配置文件,hbase-env.sh;hbase-site.xml;regionservers这三个文件。 hbase-env.sh; export JAVA_HOME=/usr/local/java/jdk/ # File naming hosts on which HR原创 2016-07-21 11:49:16 · 535 阅读 · 0 评论 -
hbase的like命令过滤器
create 'mytable2','name' put 'mytable2','row1','name','123456' put 'mytable2','row1','name','1234567' put 'mytable2','row1','name','12345' scan 'mytable2' scan 'mytable2',{COLUMNS=>'name:',F原创 2016-07-21 11:56:52 · 1486 阅读 · 0 评论 -
spark执行sql语句
spark-sql回车 接下来就是执行hive的sql了。原创 2016-07-27 15:50:52 · 3503 阅读 · 0 评论 -
hive的更新和删除操作脚本
insert overwrite table t_table1 select * from t_table1 where XXXX;其中xxx是你需要保留的数据的查询条件。 如果清空表,如下:insert overwrite table t_table1 select * from t_table1 where 1=0;原创 2016-07-28 09:32:35 · 1224 阅读 · 0 评论 -
spark的安装方法
conf里的spark-env.sh export SCALA_HOME=/home/scala export JAVA_HOME=/usr/jdk export SPARK_MASTER_IP=192.168.128.131 export SPARK_WORKER_MEMORY=512m export localhost=spark://192.168.128.131:7070原创 2016-07-29 10:14:28 · 559 阅读 · 0 评论 -
spark的性能测试
一直在使用hive做分布式大数据查询工作,越来越发现做为一个离线查询数据库来说,这样的效率真的是让人抓狂啊。网上说spark的性能是非常优越的,所以做了个环境安装了个,在centos的虚拟机上跑一下,果然性能非常的好,这个真的是令人惊喜的,在大数据的今天,人们需要大数据,又需要高效的查询效率,spark真的满足了这个需求,希望spark越来越好,spark支持hive的sql语法,这样对于关系型数原创 2016-08-01 09:58:53 · 4211 阅读 · 0 评论