分布式
文章平均质量分 90
phn_csdn
这个作者很懒,什么都没留下…
展开
-
FourInOne初识
1、概述FourInOne(中文名字“四不像”)是一个四合一分布式计算框架 。将Hadoop,Zookeeper,MQ,分布式缓存四大主要的分布式计算功能合为一个框架内,对复杂的分布式计算应用进行了大量简化和归纳。在分布式协同方面,实现了Zookeeper所有的功能,简化Zookeeper的树型结构,用domain/node两层结构取代,简化Watch回调多线程等待编程模型,用更直观的容易保证业务逻原创 2017-04-18 17:01:34 · 1434 阅读 · 0 评论 -
hadoop2.7.3下Zookeeper与Hbase的安装
1、准备 hadoop2.7.3集群(本例采用一主二从的构造) zookeeper-3.4.8.tar.gz hbase-1.2.5-bin.tar.gz 2、安装zookeeper集群 在master下解压安装包到/usr/local目录下 进行改名和权限更改 进入zookeeper的conf目录下 ,复制一份zoo_sample.cfg用于zookeeper的配置文件 编辑zoo.原创 2017-05-05 19:03:44 · 4405 阅读 · 0 评论 -
Gluster添加自定义简单xlator的步骤
1、状况说明:已有的gluster集群由三台机器组成,分别为: gfsmaster 172.29.41.205 gfsslave1 172.29.41.204 gfsslave2 172.29.41.203 用于测试gluster挂载的客户端 gfsclient 172.29.41.206 挂载目录为 /opt/gfsmount原创 2017-11-21 15:07:48 · 772 阅读 · 0 评论 -
spark2.1.0安装步骤
0 机器分配 IP host 角色 172.29.41.153 master Spark master 172.29.41.154 slave1 Spark slave172.29.41.155 slave2 Spark slave 1、安装scala(2.10.6支持java7\java6 2.12.*只支持java8以上) sudo原创 2017-09-16 10:38:37 · 580 阅读 · 0 评论 -
centos6.4下CDH5.7.1集群的安装
1、安装前的准备: 集群规划: 172.29.41.236 cdhmaster centos6.4 172.29.41.237 cdhslave1 centos6.4 172.29.41.238 cdhslave2 centos6.4 vim /etc/hosts 添加名字与ip的映射 vi原创 2017-07-23 14:50:06 · 361 阅读 · 0 评论 -
storm 1.1.0 与 kafka 2.10-0.10.2.1的安装部署
1、安装Zookeeper由于这两者都需要Zookeeper的支持,因此需要安装zookeeper集群,然后用zkServer.sh start启动集群 2、解压storm安装包在master机器上解压storm 1.1.0-tar.gz到/usr/local下 sudo tar -zxvf apache-storm-1.1.0-tar.gz -C /usr/local 3、更改文原创 2017-06-28 10:08:46 · 651 阅读 · 0 评论 -
hadoop 打开文件输入流 源码分析
* 在hadoop中获取了filesystem之后,便可以通过这个客户端进行相关的文件操作。文件操作涉及到分布式文件系统文件流得使用,现在通过一个简单的下载代码实例进行文件流打开方法即filesystem.open的源码分析* 1、download()方法: /** * 下载方法,用输入流的形式 * @throws IOException */ publ原创 2017-06-08 19:00:55 · 507 阅读 · 0 评论 -
hadoop FileSystem源码分析
FileSystem是Hadoop下一个抽象的文件系统,其有许多具体的实现类,如hdfs对应的分布式文件系统DistributedFileSystem、FTP对应的FTPFileSystem,以及本地文件系统对应的LocalFileSystem等。现在通过一个简单的文件系统初始化的代码分析构建FileSystem的源码。*1、简单的fs初始化代码: public static void in原创 2017-06-07 16:24:28 · 527 阅读 · 0 评论 -
ubuntu下hive2.1.1部署安装
1、安装mysqlsudo apt-get install mysql-server 2、添加远程控制授权GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPTION mysql>FLUSH PRIVILEGES 3、创建Hive数据库create database hive; 4、解压原创 2017-06-19 21:03:45 · 451 阅读 · 0 评论 -
大数据环境安装汇总
1.安装centos6.4到vmware 用户名为hadoop 2.添加hadooop到sudo用户组 su - 切换到root中 visudo 添加 hadoop ALL=(ALL) ALL 3.修改主机名: sudo vim /etc/sysconfig/network sudo vim /etc/hosts sudo hostname your_user...原创 2018-05-19 16:50:13 · 1187 阅读 · 0 评论