大数据
文章平均质量分 89
zf7226502
这个作者很懒,什么都没留下…
展开
-
部署hadoop
大数据这两年也是大热,自己虽然在工作方面没什么交集,但也通过公司的一些资源对这方面进行了了解,包括hadoop、spark的部署及简单用例,以下部分内容都是通过公司服务器实现了操作,部署hadoop的大致流程有下面几个步骤: 1.安装系统(centos 7.0) 2.安装ssh无密钥登录服务,实现master控制其他slave无需口令 3.安装jdk 4.安装配置hadoop 5....原创 2015-03-27 11:41:48 · 108 阅读 · 0 评论 -
Spark群集——Mesosphere方案
#安装mesosphere repo sudo rpm -Uvh http://repos.mesosphere.io/el/7/noarch/RPMS/mesosphere-el-repo-7-1.noarch.rpm #下载apache mesos wget http://downloads.mesosphere.io/master/centos/7/mesos-0.2...原创 2015-03-27 13:00:27 · 732 阅读 · 0 评论 -
hbase迁移
备份namenode上的元数据持久状态文件,将写入元数据的写入操作备份到一台远程挂在的NFS文件上。为了确保完全恢复,平时需要通过一台物理机对namenode定期镜像,所有nodename的操作都在辅助机上重复,但由于重复仍是滞后于主机,所以需要配合NFS的元数据来完成完全备份。 ./hadoop distcp hdfs://192.168.0.51:9000/hbase hdfs://1...原创 2015-04-02 21:26:25 · 124 阅读 · 0 评论 -
spark入门
Using a Mesos Master URL The Master URLs for Mesos are in the form mesos://host:5050 for a single-master Mesos cluster, ormesos://zk://host:2181 for a multi-master Mesos cluster using ZooKeeper. ...原创 2015-04-02 21:32:54 · 119 阅读 · 0 评论 -
HDFS命令汇总
引言:我们维护hadoop系统的时候,必不可少需要对HDFS分布式文件系统做操作,例如拷贝一个文件/目录,查看HDFS文件系统目录下的内容,删除 HDFS文件系统中的内容(文件/目录),还有HDFS管理信息,单独启动停止 namenode datanode jobtracker tasktracker等等一系列的操作。大家跟着做一遍呢!就会对HDFS的体系架 构有更加深入的理解,不多说我...原创 2015-04-02 21:34:36 · 193 阅读 · 0 评论 -
openstack部署概要
在openstack官方看了部署手册:http://docs.openstack.org/juno/install-guide/install/yum/content/ 花了三天时间在公司的刀片上搭了个环境,系统是centos7,部署了controller、compute、network、block storage4个节点,顺利导入windows、linux虚机镜像,这里就把部署中的一些重要步...原创 2015-04-16 09:37:45 · 315 阅读 · 0 评论