大数据
还是转转
这个作者很懒,什么都没留下…
展开
-
分布式存储系统HBASE-基础
HBASE和MongoDB,redis一样,均是一种NoSql型数据库。 HBase安装 下载Hbase,并解压到/usr/local目录下,将其改名为hbase。进入其bin目录可以看到版本: $ ./hbase version 版本如下: 如果提示没有JAVA_HOME,则进入conf目录修改hbase-env.sh文件中的JAVA_HOME设置。 另外,设置HBASE_MANAGES_ZK...原创 2019-12-22 02:25:13 · 470 阅读 · 0 评论 -
分布式存储系统HBASE-API操作
上一篇介绍了HBase的基本概念,以及其在linux环境下的安装和交互,本文将继续介绍如何通过java和python来操作hbase。 在通过api操作hbase之前,首先要保证hadoop和hbase已经都启动了。 Java操作HBase 创建一个maven项目,添加基本的依赖: <properties> <hadoop.version>2.10.0&l...原创 2019-12-27 21:47:58 · 204 阅读 · 0 评论 -
hadoop完全分布式集群安装
注:本文来自于转载,经过验证,确实可行。转载请注明来自: http://blog.csdn.net/ab198604/article/details/8250461 要想深入的学习hadoop数据分析技术,首要的任务是必须要将hadoop集群环境搭建起来,可以将hadoop简化地想象成一个小软件,通过在各个物理节点上安装这个小软件,然后将其运行起来,就是一个hadoop分布式集群了转载 2015-02-07 17:19:40 · 417 阅读 · 0 评论 -
ubuntu下单机hadoop环境部署
1.1 安装java环境 下载的jdk为jdk1.8.0_20; • 解压:z1@z1-ubuntu:~/Desktop/tools$ tar -zxvfjdk-8u20-linux-i586.tar.gz 把jdk1.8.0_20移动到 /usr 下: z1@z1-ubuntu:~/Desktop/tools$ mv jdk1.8.0_20 /usr • 修改环境变量: z1@原创 2015-02-05 15:24:22 · 457 阅读 · 0 评论 -
Spark基础
安装 Spark下载地址:http://spark.apache.org/downloads.html,解压后即可使用。 创建测试文件并输出内容: 输入val lines=sc.textFile("/home/lucy/hellospark") 加载文件内容,输入lines.count()进行统计行数: Scala之HelloWorld 环境:idea + maven + scala 创...原创 2019-06-12 20:26:54 · 226 阅读 · 0 评论