大数据
Radom7
一个正在驶向架构师的软件工程师
展开
-
Hadoop集群下进行Zookeeper安装
由于公司发展的需要,最近都在进行大数据的学习。在进行Zookeeper安装前,必须要有hadoop集群环境(hadoop集群搭建周末总结一下)和JDK环境。 Zookeeper官方下载路径: http://www.apache.org/dyn/closer.cgi/zookeeper/ 这里我下载的是zookeeper-3.4.9.tar.gz 下载后置,对zookeeper-3.4.9.t原创 2017-08-24 17:35:29 · 2009 阅读 · 0 评论 -
STS或者eclipse连接hadoop上的HDFS文件系统
下载hadoop插件jar包,并放在STS或者eclipse安装目录下的plugins文件夹中,重启STS。 在STS中就会出现hadoop的标志:在Preferences中指定hadoop的路径连接hadoop上的HDFS文件系统: STS中显示hadoop集群上的HDFS文件系统: 和在Ubuntu系统中的hadoop集群下HDFS文件系统一样。原创 2017-08-30 09:31:23 · 634 阅读 · 0 评论 -
Ubuntu搭建hadoop完全式集群
我们这次搭建的hadoop集群类似下图,只是我们的DateNode只有两个,mater,slave-1 和slave-2三台机器的hadoop配置是一模一样的。首先到hadoop官网http://mirrors.hust.edu.cn/apache/hadoop/common/下载Linux版本的hadoop压缩包,我这里下载的hadoop版本为2.7.3的。下载好的hadoop压缩包,在Ubunt原创 2017-09-08 10:16:16 · 348 阅读 · 0 评论 -
Redis与Hadoop的优缺点对比:
Redis 优点: 1 读写性能优异 2 支持数据持久化,支持AOF和RDB两种持久化方式 3 支持主从复制,主机会自动将数据同步到从机,可以进行读写分离。 4 数据结构丰富:除了支持string类型的value外还支持string、hash、set、sortedset、list等数据结构。缺点: 1 Redis不具备自动容错和恢复功能,主机从机的宕机都会导致前端部分读写请求失败,需要等原创 2017-09-25 09:45:50 · 5772 阅读 · 0 评论 -
Hadoop集群之上Hbase Shell例子
终于可以在hadoop集群上部署好Hbase,忙了一个多星期了,遇到各种问题,没人教,只有自己琢磨,在网上看各种博文,总算完成了Hbase部署。接下来来写写Hbase数据库的一个实例,我是参照这篇Hbase Shell操作博文来实现的:http://blog.csdn.net/lifuxiangcaohui/article/details/40042117原创 2017-08-31 16:29:24 · 239 阅读 · 0 评论 -
Hadoop集群搭建Hbase
我这里下载的是Hbase1.3.1版本。1.先解压hbase-1.3.1-bin.tar.gz到/usr文件夹中。tar -zxvf hbase-1.3.1-bin.tar.gz2.在/etc/environment中设置Hbase的环境变量:gedit /etc/environment3.修改hbase-env.sh配置文件: 执行命令:gedit /usr/hbase_1.3.1/conf/h原创 2017-08-31 17:37:09 · 324 阅读 · 0 评论 -
Windows平台下的Java远程操作Linux系统中的HBase
首先修改过windows客户端的C:\Windows\System32\drivers\etc\hosts文件,添加hadoop集群的节点IP地址:192.168.180.137 master192.168.180.135 slave-1192.168.180.134 slave-2我这是用的maven管理jar包,现在pom.xml加入Hbase的jar包依赖:<dependency>原创 2017-09-01 14:57:50 · 2302 阅读 · 0 评论