- 博客(6)
- 收藏
- 关注
RSS订阅原创 深入业务——CDH下数仓的搭建流程
深入业务——数仓的搭建1 CDH：业务线数仓环境1.1 CM简介1.1.1 CM简介1.1.2CM架构1.2环境配置和CM安装2 数据采集模块2.1 环境安装配置2.1.1 Flume消费Kafka数据写到HDFS2.1.2 日志生成数据传输到HDFS2.2 数仓环境安装3 用户行为数仓搭建3.1 ODS层3.1.1 创建数据库3.1.2 创建启动日志表ods_start_log3.1.3 ODS...
2020-04-23 10:59:54
1159
原创 zookeeper安装部署
因为是为了测试sqoop，所以这边zookeeper安装单机模式 解压 ：tar -zxf zookeeper-3.4.5.tar.gz -C /app 1.在主目录下创建data和logs两个目录用于存储数据和日志： cd /app/zookeeper-3.4.5 mkdir data mkdir logs 2.在conf目录下新建zoo.cfg文件，写入以下内容保存： tick...
2018-12-18 17:14:26
95
原创 sqoop安装部署
前提：Hadoop、Zookeeper、HBASE、MySQL 解压：tar -zxvf sqoop-1.4.7.bin.tar.gz -C/app 重新命名：mv sqoop-1.4.7.bin/ /app/sqoop 环境配置 1：vi /etc/profile export SQOOP_HOME=/app/sqoop export PATH=$PATH:$SQOOP_HOME/...
2018-12-18 17:13:19
300
原创 Linux下mysql安装部署
步骤： 1、在根目录下创建文件夹software和数据库数据文件/data/mysql #mkdir /software/ #mkdir /data/mysql 2、上传mysql-5.7.21-linux-glibc2.12-x86_64.tar.gz文件到/software下 #cd /software/ #tar -zx...
2018-12-18 17:11:39
300
原创 Hbase安装部署
前提：搭建好Hadoop 下载地址：http://archive.apache.org/dist/hbase/1.2.4/ 解压：tar xvf hbase-1.2.4-bin.tar.gz -C /usr/local/ 配置全局环境：vi /etc/profile export HBASE_HOME=/usr/local/hbase-1.2.4 export PATH=$HBASE_H...
2018-12-18 17:09:04
131
原创 Hadoop伪分布式安装及部署
JDK版本：1.7 ——1.8 Hadoop版本：hadoop-2.7.2 安装JDK 1）将jdk安装包放在家目录下 2）解压到opt目录下 sudo tar zxvf jdk-8u144-linux-x64.tar.gz -C /app 此时在/opt目录下：会有一个jdk1.8.0_131 sudo ln -snf /opt/jdk1.8.0_131 /opt/jdk ...
2018-12-18 17:06:37
157
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人