![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
安装部署教程
文章平均质量分 78
mo_yuanyy
博客内容为我在学习过程中的总结与归纳,如有错误,恳请指正,万分感谢!
展开
-
编译Hadoop2.6.0-cdh-5.7.0源码支持五种压缩方式
1.编译环境准备 1.先下载源码包hadoop-2.6.0-cdh5.7.0-src.tar.gz,解压后cd进入源码目录下,打开BUILDING.txt,如下图: 根据文档,准备编译所用环境,本次所用环境如下: centos6.9 jdk1.7(注:该版本hadoop的编译必须使用jdk1.7) maven3.3.9版本 Findbugs1.3.9 Protocol2.5.0 hadoop-2...原创 2019-04-05 14:21:32 · 231 阅读 · 0 评论 -
sqoop安装以及mysql->hive, hive->mysql过程,过程中遇到的问题
sqoop安装 1.下载sqoop安装包,解压( http://archive.cloudera.com/cdh5/cdh/5/) 挑选与hadoop,hive对应的版本。否则导数据会失败 2.拷贝MySQLDriver到sqoop目录的lib目录下 (之后还需导入包,在导数据部分说) 3.修改sqoop conf目录下sqoop-env.sh文件增加以下内容 具体HADOOP_HOME和HIVE...原创 2019-04-05 22:02:10 · 174 阅读 · 0 评论 -
Kafka 0.10.1.0 集群的搭建以及启动
kafka cluster机器: 机器名称 hadoop01001 hadoop01002 hadoop01003 【安装目录】: /home/hadoop/app 1.将scala同步到集群其他机器(scala 2.11版本) [hadoop@hadoop software]$ scp scala-2.11.8.tgz hadoop01001:/home/hadoop/software [h...原创 2019-04-10 14:57:30 · 958 阅读 · 0 评论 -
kafka-manager监控工具的搭建(sbt安装与编译)以及遇到的问题
1.下载sbt http://www.scala-sbt.org/download.html 2.解压sbt [hadoop@hadoop01004 software]$ tar -zxvf sbt-0.13.16.tgz -C /home/hadoop/app/ 3.配置sbt环境变量 这个版本的sbt编译不了最新的kafka-manager,如下只是安装过程 [hadoop@hadoo...原创 2019-04-10 19:00:11 · 1597 阅读 · 0 评论 -
hdfs支持lzo压缩相关配置
本文转载至https://blog.csdn.net/weixin_40420525/article/details/84869883,并进行实践,总结了其中遇到的问题。 1前置环境: 1.java环境与maven 2.安装前置库(如果已经编译过Hadoop,这些东西都应该下载过) yum -y install lzo-devel zlib-devel gcc autoconf autom...转载 2019-04-16 17:20:57 · 841 阅读 · 0 评论 -
HUE3.9搭建并配置HDFS,Hive
运行环境: hadoop-2.6.0-cdh5.7.0 hive-1.1.0-cdh5.7.0 hue-3.9.0-cdh5.7.0 1.下载前置环境 yum install -y ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxm...原创 2019-04-17 15:15:31 · 483 阅读 · 1 评论