大数据
文章平均质量分 91
phn_csdn
这个作者很懒,什么都没留下…
展开
-
HDFS文件系统学习
1、HDFS简介:HDFS(Hadoop Distributed File System )Hadoop分布式文件系统。是根据google发表的论文GFS(Google File System)Google 文件系统翻版的。是一个主/从(Master/Slave)架构的系统,它主要由NameNode、DataNode、SecondaryNameNode、事务日志、映像文件等构成。SecondaryN原创 2017-04-28 12:43:11 · 544 阅读 · 0 评论 -
hadoop2.7.3下Zookeeper与Hbase的安装
1、准备hadoop2.7.3集群(本例采用一主二从的构造) zookeeper-3.4.8.tar.gz hbase-1.2.5-bin.tar.gz 2、安装zookeeper集群在master下解压安装包到/usr/local目录下 进行改名和权限更改 进入zookeeper的conf目录下 ,复制一份zoo_sample.cfg用于zookeeper的配置文件 编辑zoo.原创 2017-05-05 19:03:44 · 4389 阅读 · 0 评论 -
spark2.1.0安装步骤
0 机器分配 IP host 角色172.29.41.153 master Spark master 172.29.41.154 slave1 Spark slave172.29.41.155 slave2 Spark slave 1、安装scala(2.10.6支持java7\java6 2.12.*只支持java8以上) sudo原创 2017-09-16 10:38:37 · 568 阅读 · 0 评论 -
centos6.4下CDH5.7.1集群的安装
1、安装前的准备:集群规划: 172.29.41.236 cdhmaster centos6.4 172.29.41.237 cdhslave1 centos6.4 172.29.41.238 cdhslave2 centos6.4 vim /etc/hosts 添加名字与ip的映射 vi原创 2017-07-23 14:50:06 · 347 阅读 · 0 评论 -
storm 1.1.0 与 kafka 2.10-0.10.2.1的安装部署
1、安装Zookeeper由于这两者都需要Zookeeper的支持,因此需要安装zookeeper集群,然后用zkServer.sh start启动集群 2、解压storm安装包在master机器上解压storm 1.1.0-tar.gz到/usr/local下 sudo tar -zxvf apache-storm-1.1.0-tar.gz -C /usr/local 3、更改文原创 2017-06-28 10:08:46 · 645 阅读 · 0 评论 -
hadoop yarn的job提交流程源码分析
yarn是hadoop 2.x 版本引进的作业调度框架,由NodeManager和ResourceManager组成。可以进行作业的提交和管理。现在通过一个简单的作业提交进行源码分析。 1、job提交流程图: 2、job提交源码流程: 3、源代码分析:job.waitForCompletion(true): 这个是作业提交的入口,返回了作业是否完成的状态 。可以看出主要是调用了su原创 2017-06-15 10:55:01 · 1530 阅读 · 0 评论 -
hadoop 打开文件输入流 源码分析
* 在hadoop中获取了filesystem之后,便可以通过这个客户端进行相关的文件操作。文件操作涉及到分布式文件系统文件流得使用,现在通过一个简单的下载代码实例进行文件流打开方法即filesystem.open的源码分析* 1、download()方法: /** * 下载方法,用输入流的形式 * @throws IOException */ publ原创 2017-06-08 19:00:55 · 497 阅读 · 0 评论 -
hadoop FileSystem源码分析
FileSystem是Hadoop下一个抽象的文件系统,其有许多具体的实现类,如hdfs对应的分布式文件系统DistributedFileSystem、FTP对应的FTPFileSystem,以及本地文件系统对应的LocalFileSystem等。现在通过一个简单的文件系统初始化的代码分析构建FileSystem的源码。*1、简单的fs初始化代码: public static void in原创 2017-06-07 16:24:28 · 520 阅读 · 0 评论 -
ubuntu下hive2.1.1部署安装
1、安装mysqlsudo apt-get install mysql-server 2、添加远程控制授权GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPTION mysql>FLUSH PRIVILEGES 3、创建Hive数据库create database hive; 4、解压原创 2017-06-19 21:03:45 · 438 阅读 · 0 评论 -
hbase Shell命令练习
1、创建表语法:create ‘表名’ ,’列簇名’,’列簇名’,….’列簇名’ 举例: create ‘stu’,’bas’ //只有一个列簇名为bas 2、检测表是否存在语法: exists ‘表名’ or list 举例: exists ‘stu’ 3、插入记录语法: put ‘表名’,’行键’,’列名’,’值’ (列名为列簇名:列名) 举例:put ‘s原创 2017-05-08 15:38:43 · 759 阅读 · 0 评论 -
大数据环境安装汇总
1.安装centos6.4到vmware 用户名为hadoop 2.添加hadooop到sudo用户组 su - 切换到root中 visudo 添加 hadoop ALL=(ALL) ALL 3.修改主机名: sudo vim /etc/sysconfig/network sudo vim /etc/hosts sudo hostname your_user...原创 2018-05-19 16:50:13 · 1169 阅读 · 0 评论