大数据
还是转转
这个作者很懒,什么都没留下…
展开
-
分布式存储系统HBASE-基础
HBASE和MongoDB,redis一样,均是一种NoSql型数据库。HBase安装下载Hbase,并解压到/usr/local目录下,将其改名为hbase。进入其bin目录可以看到版本:$ ./hbase version版本如下:如果提示没有JAVA_HOME,则进入conf目录修改hbase-env.sh文件中的JAVA_HOME设置。另外,设置HBASE_MANAGES_ZK...原创 2019-12-22 02:25:13 · 487 阅读 · 0 评论 -
分布式存储系统HBASE-API操作
上一篇介绍了HBase的基本概念,以及其在linux环境下的安装和交互,本文将继续介绍如何通过java和python来操作hbase。在通过api操作hbase之前,首先要保证hadoop和hbase已经都启动了。Java操作HBase创建一个maven项目,添加基本的依赖:<properties> <hadoop.version>2.10.0&l...原创 2019-12-27 21:47:58 · 214 阅读 · 0 评论 -
hadoop完全分布式集群安装
注:本文来自于转载,经过验证,确实可行。转载请注明来自:http://blog.csdn.net/ab198604/article/details/8250461要想深入的学习hadoop数据分析技术,首要的任务是必须要将hadoop集群环境搭建起来,可以将hadoop简化地想象成一个小软件,通过在各个物理节点上安装这个小软件,然后将其运行起来,就是一个hadoop分布式集群了转载 2015-02-07 17:19:40 · 427 阅读 · 0 评论 -
ubuntu下单机hadoop环境部署
1.1 安装java环境下载的jdk为jdk1.8.0_20;• 解压:z1@z1-ubuntu:~/Desktop/tools$ tar -zxvfjdk-8u20-linux-i586.tar.gz把jdk1.8.0_20移动到 /usr下:z1@z1-ubuntu:~/Desktop/tools$ mv jdk1.8.0_20 /usr• 修改环境变量:z1@原创 2015-02-05 15:24:22 · 461 阅读 · 0 评论 -
Spark基础
安装Spark下载地址:http://spark.apache.org/downloads.html,解压后即可使用。创建测试文件并输出内容:输入val lines=sc.textFile("/home/lucy/hellospark") 加载文件内容,输入lines.count()进行统计行数:Scala之HelloWorld环境:idea + maven + scala创...原创 2019-06-12 20:26:54 · 233 阅读 · 0 评论