安装部署教程
文章平均质量分 78
mo_yuanyy
博客内容为我在学习过程中的总结与归纳,如有错误,恳请指正,万分感谢!
展开
-
编译Hadoop2.6.0-cdh-5.7.0源码支持五种压缩方式
1.编译环境准备1.先下载源码包hadoop-2.6.0-cdh5.7.0-src.tar.gz,解压后cd进入源码目录下,打开BUILDING.txt,如下图:根据文档,准备编译所用环境,本次所用环境如下:centos6.9jdk1.7(注:该版本hadoop的编译必须使用jdk1.7)maven3.3.9版本Findbugs1.3.9Protocol2.5.0hadoop-2...原创 2019-04-05 14:21:32 · 229 阅读 · 0 评论 -
sqoop安装以及mysql->hive, hive->mysql过程,过程中遇到的问题
sqoop安装1.下载sqoop安装包,解压( http://archive.cloudera.com/cdh5/cdh/5/)挑选与hadoop,hive对应的版本。否则导数据会失败2.拷贝MySQLDriver到sqoop目录的lib目录下(之后还需导入包,在导数据部分说)3.修改sqoop conf目录下sqoop-env.sh文件增加以下内容具体HADOOP_HOME和HIVE...原创 2019-04-05 22:02:10 · 173 阅读 · 0 评论 -
Kafka 0.10.1.0 集群的搭建以及启动
kafka cluster机器:机器名称hadoop01001hadoop01002hadoop01003【安装目录】: /home/hadoop/app1.将scala同步到集群其他机器(scala 2.11版本) [hadoop@hadoop software]$ scp scala-2.11.8.tgz hadoop01001:/home/hadoop/software [h...原创 2019-04-10 14:57:30 · 958 阅读 · 0 评论 -
kafka-manager监控工具的搭建(sbt安装与编译)以及遇到的问题
1.下载sbthttp://www.scala-sbt.org/download.html2.解压sbt [hadoop@hadoop01004 software]$ tar -zxvf sbt-0.13.16.tgz -C /home/hadoop/app/3.配置sbt环境变量这个版本的sbt编译不了最新的kafka-manager,如下只是安装过程 [hadoop@hadoo...原创 2019-04-10 19:00:11 · 1595 阅读 · 0 评论 -
hdfs支持lzo压缩相关配置
本文转载至https://blog.csdn.net/weixin_40420525/article/details/84869883,并进行实践,总结了其中遇到的问题。1前置环境:1.java环境与maven2.安装前置库(如果已经编译过Hadoop,这些东西都应该下载过) yum -y install lzo-devel zlib-devel gcc autoconf autom...转载 2019-04-16 17:20:57 · 840 阅读 · 0 评论 -
HUE3.9搭建并配置HDFS,Hive
运行环境:hadoop-2.6.0-cdh5.7.0hive-1.1.0-cdh5.7.0hue-3.9.0-cdh5.7.01.下载前置环境 yum install -y ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxm...原创 2019-04-17 15:15:31 · 482 阅读 · 1 评论