大数据
lishiming0308
爱好文学
展开
-
Hive2.1.1源码编译
Hive2.1.1源码编译首先下载Hive2.1.1的源码压缩包 下载地址http://mirrors.hust.edu.cn/apache/hive/stable-2/apache-hive-2.1.1-src.tar.gz 编译Hive2.1.1的源码包需要maven,我选择的版本是maven3.3.9 下载地址http://maven.apache.org/download.cgi原创 2017-03-28 14:53:22 · 4108 阅读 · 0 评论 -
Sqoop2安装配置
Sqoop2是同步关系型数据库数据、Hdfs系统数据的工具。 下载Sqoop2的安装包sqoop-1.99.7-bin-hadoop200.tar.gz 下载地址http://mirrors.hust.edu.cn/apache/sqoop/1. 解压安装包tar -xvf sqoop-1.99.7-bin-hadoop200.tar.gz2. Hadoop相关配置Sqoop2需要HADOOP_原创 2017-03-28 15:43:24 · 2185 阅读 · 0 评论 -
eclipse调试Hive2.1.1源码
eclipse调试Hive2.1.1的源码可以分为本地调试和远程调试。本地调试顾名思义就是正常启动eclipse从main函数开始调试,远程调试指的是通过连接远程进程信息附件代码调试。注意:在启动hive-cli调试之前要先启动hive服务。1. 本地调试需要在eclipse中设置hadoop的配置文件路径,hive的配置文件路径、和hive所有要的jar包。 创建User Libraries中的原创 2017-03-28 21:20:09 · 1339 阅读 · 2 评论 -
【Hadoop2.7.0、Zookeeper3.4.6、JDK1.7】搭建完全分布式的hadoop,HA部署安装,自动备援
1、HDFS 2.0 基本概念 相比于 Hadoop 1.0,Hadoop 2.0 中的 HDFS 增加了两个重大特性,HA 和 Federaion。HA 即为 High Availability,用于解决 NameNode 单点故障问题,该特性通过热备的方式为主 NameNode 提供一个备用者,一旦主 NameNode 出现故障,可以迅速切换至备 NameNode, 从而实现不间断对外提供原创 2017-02-28 23:28:48 · 1301 阅读 · 0 评论 -
HBase介绍, HBase1.2.4,Hadoop2.7.3,Zookeeper3.4.6分布式HA部署配置
1. HBase介绍 Hbase 是一个高可靠、高性能、面向列、可伸缩的分布式存储系统,利用Hbase技术可在廉价PC Server上搭建 大规模结构化存储集群。HBase 是Google Bigtable 的开源实现,与Google Bigtable 利用GFS作为其文件存储系统类似, HBase 利用Hadoop HDFS 作为其文件存储系统;Google 运行MapReduce 来处理Bi原创 2017-03-03 23:41:50 · 1234 阅读 · 0 评论 -
Hive2.1.1、Hadoop2.7.3 部署
本文以远程模式安装Hive2.1.1,将hive的元数据放置在mysql数据库中。1 安装mysql数据库sudo apt-get install mysql-server用户名:root密码:123456 修改支持远程访问 重启mysql服务使得配置文件生效sudo service mysql restart创建hive专用账户 CREATE USER 'hive'@'%' IDENTIF原创 2017-04-01 14:07:15 · 926 阅读 · 0 评论 -
window下MongoDB3.6b版本带安全验证的副本集和分片高可靠性部署
一、概述 MongoDB复本集解决了数据库的备份与自动故障转移,但是围绕数据库的业务中当前还有两个方面的问题变得越来越重要,一是海量数据如何存储,二是如何高效地读写海量数据。尽管复制集也可以实现读写分离,如在primary节点上写,在secondary节点上读,但在这种方式下客户端读出来的数据有可能不是最新的,因为primary节点到secondary节点间的数据同步会带来一定延迟...原创 2017-10-31 16:26:25 · 1634 阅读 · 0 评论