项目环境搭建--数仓

于 2024-09-18 12:11:51 发布
阅读量277 收藏 9
点赞数 22
分类专栏： 软件安装 文章标签： sql 大数据 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_56341622/article/details/142326324
版权

2/在finalshell中假如你进行ctrl + s 窗口就不动了。

修改配置文件：

进入到/opt/installs/sqoop/conf

一、安装CentOS

1、修改映射关系

vi /etc/hosts

image.png


2、免密登录

ssh-keygen -t rsa

ssh-copy-id shucang


3、关闭了防⽕墙 

systemctl stop firewalld
systemctl disable firewalld


4、修改linux的⼀个安全机制

vi /etc/selinux/config

修改⾥⾯的 SELINUX=disabled


5、修改yum源：

修改阿里云的镜像文件：
1、cd /etc/yum.repos.d/ 
2、备份⼀下：mv CentOS-Base.repo CentOS-Base.repo.bak
3、下载阿⾥云镜像到本地：
 curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
4、清除yum的缓存
   yum clean all
   yum makecache
5、yum install -y ntpdate
yum install -y vim
yum install -y net-tools



二、安装JDK

[root@shucang ~]# mkdir -p /opt/modules
[root@shucang ~]# mkdir -p /opt/installs


tar -zxvf jdk-8u171-linux-x64.tar.gz -C /opt/installs/
mv jdk1.8.0_171/ jdk

配置环境变量：
export JAVA_HOME=/opt/installs/jdk
export PATH=$PATH:$JAVA_HOME/bin

刷新环境变量：
source /etc/profile

验证：
java -version


三、安装Hadoop【伪分布式】hdfs以及yarn都需要安装

1、安装hdfs

先安装hdfs:
tar -zxvf hadoop-3.3.1.tar.gz -C /opt/installs/
mv hadoop-3.3.1/ hadoop
环境变量：

export HADOOP_HOME=/opt/installs/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

刷新环境变量
source /etc/profile

验证：hadoop version

修改配置
1、修改core-site.xml
<configuration>
  <!-- 设置namenode节点 -->
  <!-- 注意: hadoop1.x时代默认端⼝9000 hadoop2.x时代默认端⼝8020 hadoop3.x时 代默认端⼝ 9820 -->
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://shucang:9820</value>
  </property>
  
  <!-- hdfs的基础路径，被其他属性所依赖的⼀个基础路径 -->
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/installs/hadoop/tmp</value>
  </property>
</configuration>


2、修改hdfs-site.xml
<configuration>
    <property>
        <!--备份数量-->
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <!--secondarynamenode守护进程的http地址：主机名和端⼝号。参考守护进程布局 -->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>shucang:9868</value>
    </property>
    <!-- namenode守护进程的http地址：主机名和端⼝号。参考守护进程布局 -->
    <property>
        <name>dfs.namenode.http-address</name>
        <value>shucang:9870</value>
    </property>
</configuration>
3、修改hadoop-env.sh
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

export JAVA_HOME=/opt/installs/jdk

4、修改workers 文件
shucang


4、格式化namenode
hdfs namenode -format

image.png


2、再安装Yarn:


2.1   /opt/installs/hadoop/etc/hadoop 文件夹下：mapred-site.xml

指定mapreduce运行平台为yarn

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

2.2   /opt/installs/hadoop/etc/hadoop 文件夹下：yarn-site.xml

<!--指定resourceManager启动的主机为第一台服务器-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>shucang</value>
    </property>


    <!--配置yarn的shuffle服务-->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value> 
    </property>


2.3  检查hadoop-env.sh 中是否配置了权限：

export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root


2.4 继续配置：为了防止报AppMaster的错误，需要如下配置
获取classpath的值：

image.png

2.5  /opt/installs/hadoop/etc/hadoop 文件夹下：yarn-site.xml

<property>
        <name>yarn.application.classpath</name>
        <value>/opt/installs/hadoop/etc/hadoop:/opt/installs/hadoop/share/hadoop/common/lib/*:/opt/installs/hadoop/share/hadoop/common/*:/opt/installs/hadoop/share/hadoop/hdfs:/opt/installs/hadoop/share/hadoop/hdfs/lib/*:/opt/installs/hadoop/share/hadoop/hdfs/*:/opt/installs/hadoop/share/hadoop/mapreduce/*:/opt/installs/hadoop/share/hadoop/yarn:/opt/installs/hadoop/share/hadoop/yarn/lib/*:/opt/installs/hadoop/share/hadoop/yarn/*</value> 
    </property>


启动和停止yarn平台：

启动： start-yarn.sh
停止： stop-yarn.sh

image.png


也可以使用web访问一下：

跟ResourceManager电脑的IP保持一致 http://192.168.233.128:8088

image.png


四、安装MySQL8.0

Linux--安装MySQL8.0-CSDN博客


五、安装Hive

安装本地模式

Linux--安装hive-CSDN博客

格式化元数据：

schematool --initSchema -dbType mysql

2、启用元数据 metastore

拷贝一个脚本 hive-service-manager.sh

[root@shucang hive]# cd /usr/local/bin

[root@shucang bin]# chmod 777 hive-server-manager.sh

3、设置远程连接 hiveserver2

hive-server-manager.sh start

六、安装Flume和DataX 

1、flume的安装

解压，重命名

tar -zxvf apache-flume-1.9.0-bin.tar.gz -C /opt/installs/
mv apache-flume-1.9.0-bin/ flume

 在企业中安装软件起始有两个地方比较常见：
/usr/local/
也可以安装在 /opt/installs

 修改配置文件：/etc/profile

export FLUME_HOME=/opt/installs/flume
export PATH=$PATH:$FLUME_HOME/bin:

刷新一下：

source /etc/profile

image.png


修改一下flume的配置文件：

cp flume-env.sh.template flume-env.sh

image.png


2、DataX安装

1、上传  /opt/modules
2、解压   tar -zxvf datax.tar.gz  -C /opt/installs
3、修改/etc/profile
   配置环境变量：
   export DATAX_HOME=/opt/installs/datax
   export PATH=$PATH:$DATAX_HOME/bin
   
   source /etc/profile


3、安装SQOOP

tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /opt/installs/

重命名：
mv sqoop-1.4.7.bin__hadoop-2.6.0 sqoop

也可以使用如下命令：--strip-components 1 解压后获取一层里面的内容
mkdir /opt/installs/sqoop && tar -xzvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /opt/installs/sqoop --strip-components

开始配置环境变量：/etc/profile

shift + g 直接到最后一行

export SQOOP_HOME=/opt/installs/sqoop
export PATH=$PATH:$SQOOP_HOME/bin

 刷新一下：

source /etc/profile

image.png


在finalshell中假如你进行ctrl + s 窗口就不动了。

修改配置文件：

进入到/opt/installs/sqoop/conf

cp sqoop-env-template.sh sqoop-env.sh

修改这个可执行脚本中的变量

image.png


拷贝一个mysql8.0的驱动包

image.png

cp /opt/installs/hive/lib/mysql-connector-java-8.0.26.jar ../lib/

 将这个驱动包，放入到 sqoop 的 lib 目录下

image.png


七、安装DS【单机版】

1、上传，解压

上传，解压
tar -zxvf  apache-dolphinscheduler-3.1.8-bin.tar.gz -C /opt/installs/

2、将mysql的驱动包拷贝到所有的服务的jars目录下： 

cp /opt/installs/hive/lib/mysql-connector-java-8.0.26.jar ./api-server/libs/
cp /opt/installs/hive/lib/mysql-connector-java-8.0.26.jar ./alert-server/libs/
cp /opt/installs/hive/lib/mysql-connector-java-8.0.26.jar ./master-server/libs/
cp /opt/installs/hive/lib/mysql-connector-java-8.0.26.jar ./worker-server/libs/
cp /opt/installs/hive/lib/mysql-connector-java-8.0.26.jar ./tools/libs/
cp /opt/installs/hive/lib/mysql-connector-java-8.0.26.jar ./standalone-server/libs/standalone-server/

 3、在Linux黑窗口运行：

export DATABASE=mysql
export SPRING_PROFILES_ACTIVE=dolphinscheduler
export SPRING_DATASOURCE_URL="jdbc:mysql://shucang:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8&useSSL=false&allowPublicKeyRetrieval=true"
export SPRING_DATASOURCE_USERNAME=root
export SPRING_DATASOURCE_PASSWORD=123456

4、初始化数据库：

bash tools/bin/upgrade-schema.sh

 5、修改配置文件：

/opt/installs/dolphinscheduler/standalone-server/conf

修改 DolphinScheduler 的配置
在 DolphinScheduler 的安装目录下找到 conf/application.yaml 文件。
将其中关于数据库连接的部分修改为指向你的 MySQL 实例，包括用户名、密码、数据库名等信息。以下是修改后的示例：
  datasource:
    driver-class-name: com.mysql.cj.jdbc.Driver
    url: jdbc:mysql://shucang:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8&useSSL=false&allowPublicKeyRetrieval=true
    username: root
    password: 123456

 6、启动

注意: Standalone 仅建议 20 个以下工作流使用，因为其采用内存式的 H2 Database, Zookeeper Testing Server，任务过多可能导致不稳定，并且如果重启或者停止 standalone-server 会导致内存中数据库里的数据清空。 

如何启动和关闭单机版：
# 启动 Standalone Server 服务
bash ./bin/dolphinscheduler-daemon.sh start standalone-server
# 停止 Standalone Server 服务
bash ./bin/dolphinscheduler-daemon.sh stop standalone-server
# 查看 Standalone Server 状态
bash ./bin/dolphinscheduler-daemon.sh status standalone-server

image.png

单机启动，不需要zk，它内置了zk，把我们自己的zk服务停掉。

 单机模式比较省内存：

访问地址：http://192.168.233.134:12345/dolphinscheduler/ui
账号和密码：  admin  dolphinscheduler123

 问题：上传资源提示 存储未启用 如何开启HDFS

这个软件下面有很多的服务，将每一个服务下的common.properties中的内容全部修改一遍

 

修改所有组件下的common.properties

resource.storage.type=HDFS
resource.storage.upload.base.path=/dolphinscheduler
resource.hdfs.fs.defaultFS=hdfs://shucang:9820

修改hdfs的权限：
hdfs dfs -chmod 777 /

7、重启服务

The博宇
关注
专栏目录
数仓-集群环境搭建
汪云辉的博客
09-07 1098
集群环境搭建 1-数据仓库DW 数据来源： 　　爬虫 日志采集系统 业务数据 财务系统 数据去向： 　　报表系统、用户画像、推荐系统、机器学习、风控系统　 项目需求分析 　　① 数据采集平台搭建 　　② 实现用户行为数据仓库的分层搭建 　　③ 实现业务数据仓库的分层搭建 　　④ 针对数据仓库中的数据进行，留存、转化率、GMV（每天交易额）、复购率、活跃等报表行为； 　　 项目框架 技术选型　 ...
电商数仓数仓环境搭建
noob9527的博客
04-11 1960
尚硅谷电商数仓环境搭建
数仓项目环境搭建
最新发布
m0_70691645的博客
09-18 410
搭建数仓项目环境涉及多个组件和工具的安装与配置，每个步骤都至关重要。本文介绍了从JDK安装、Hadoop、Hive的搭建，到数据采集工具Flume、数据同步工具DataX以及调度工具DS的完整流程。通过这些工具的协同工作，可以实现高效稳定的数据仓库环境。
大数据实战项目 -- 离线数仓
L小Ray想有腮
06-01 5281
一、准备 1.1 集群规划 技术选型 位置 框架 数据采集传输 Flume，Kafka，Sqoop ，Logstash，DataX， 数据存储 MySql，HDFS，HBase，Redis，MongoDB 数据计算 Hive，Tez， Spark， Flink 数据查询 Presto，Druid ，Impala，Kylin 数据可视化 Echarts、Superset、Tableau、QuickBI、DataV 任务调度 Azkaban、Oozie 集群监控 Za
大数据数仓搭建-大数据用户画像推荐系统搭建
老姜的数据江湖
07-21 1031
一 确定需求 我把需求主要分为三大类 一 离线数据报表需求 二 实时观查数据走向需求 三 算法需求 二 确定系统架构 根据需求我们目前有几种大数据架构可以供参考 流式架构 流式架构非常激进，直接拔掉了批处理，数据全程以流的形式处理，所以在数据接入端没有了ETL，转而替换为数据通道。经过流处理加工后的数据，以消息的形式直接推送给了消费者。虽然有一个存储部分，但是该存储更多的以窗口的形式进行存储，所...
大数据实战项目 -- 实时数仓
L小Ray想有腮
07-06 2865
文章目录
离线数仓搭建
xinglu20的博客
06-16 1081
1.先执行到这两个线条上面，然后上传date_info.txt到/warehouse/gmall/tmp/tmp_dim_date_info。注意：对自己机器有信心的话，直接执行脚本，没信心的话，执行一个，重启或者等待几分钟执行下一个。这三个不用管，所以开始前我们需要确定有这些文件和配置。上传base.txt到任意目录下，且cd到该目录。到后面将时间修改为06,07分别运行lg.sh。等吧，每个半个小时起步或者一个小时，是搞不定的。多出来13张表，也就是说，现在有30张表。执行两次就到我们需要的位置。
本地数仓项目(二)——搭建系统业务数仓详细流程
不以物喜的博客
01-05 1742
业务数仓搭建详细流程
数仓项目 --基础理论知识
weixin_43866666的博客
07-03 929
文章目录数仓项目1. 项目背景 电商1.1 遇到的问题/思路1.2 数仓架构设计1.3 范式1.4 数据库与数仓各自的侧重点2. 维度2.1 维度概念2.2 维度如何获得？2.3 怎么设计维度表2.4 维度的层次2.5 规范化和反规范化2.6 一致性维度2.7 维度的整合和拆分2.8 历史数据归档2.9 缓慢变化维2.10 快照维表3. 增量抽取 拉链表3.1 增量抽取3.2 拉链表 数仓项目 1. 项目背景 电商 1.1 遇到的问题/思路 随着发展， 数据需要做决策 将不同系统的表全部导入hive里
电商数仓项目--实时计算-Real-time-project.zip
01-30
本项目"电商数仓项目--实时计算"着重于实现实时数据处理，提升数据分析的时效性。在Real-time-project-master这个压缩包中，可能包含了实现这一目标的相关代码、配置文件和文档。 实时计算（Real-time Computing）...
大数据项目之电商数仓（2用户行为数据仓库）
09-27
为了能够顺利搭建数仓，我们需要准备相应的软硬件环境。 ##### 2.1 Hive & MySQL 安装 **2.1.1 Hive & MySQL 安装** Hive和MySQL是数仓搭建中非常重要的两个工具。Hive主要用于处理大量结构化数据，而MySQL则用来...
Hive+Spark离线数仓工业项目实战--环境构建（3）
技术专家
12-23 1057
项目环境配置，根据需求实现项目环境配置
sqlalchemy JSON 字段写入时中文序列化问题
llc的博客
09-12 414
_table_args__ = ({"comment": "表名称"})...extra = Column(JSON, comment="其他属性")...
解锁SQL无限可能 | 基于SQL实现的一种时序数据的波峰个数检测算法
石榴姐yyds
09-14 1305
序列数据是按照时间进行采集，其中400个点一个周期，一条数据共10个周期，即4000个点。首先针对序列数据判断每个周期是否存在波峰，并在存在波峰的情况下进行波峰形状识别。5）业务指标体系该如何建设？如果觉得本篇文章对你还有点帮助，那么不妨也可以选择去看看我的博客专栏文章，里面内容更精彩。业务阶段的模型该如何建设？7）指标发生异常，该如何排查？11）数据部门如何与业务部门沟通，并规划指引业务需求？9）数仓团队应如何体现自己的业务价值，讲好数据故事？文章不限于以上内容，有新的想法也会及时更新到该专栏。
经典sql题（一）求连续登录不少于三天用户
m0_58076578的博客
09-14 893
去重提取日期查询：提取每个用户的唯一登录日期。结果表table1：显示每个用户的唯一日期。为每个用户生成序列号查询：为每个用户的日期生成序号，并计算date2。结果表table2：显示用户的日期和对应的date2。步骤使用函数，按照日期顺序为每个用户的登录日期分配一个序号。例如，对于用户 ID = 1，假设他们的日期是2023-10-012023-10-02和2023-10-03将为它们生成序号 1、2 和 3。date2是通过将每个日期减去它的序号得到的。这个操作的目的是为了检测连续的日期。
sqlgun靶场通关攻略
2301_80402555的博客
09-13 659
输入 -1' union select 1,2,3# ，页面出现回显点。
RocketMQ出现The broker does not support consumer to filter message by SQL92
山不见我，我自见山
09-12 369
然后通过rocketmq-console来查看，集群中的这个属性是否为true，为true就可以了。在使用RocketMQ使用SQL过滤消息的时候，出现下面错误。原因是我们的配置文件没有开启SQL过滤功能，我们需要在。接着我们重启namesrv与broker服务就解决问题。配置文件中添加下面命令。
Postgresql导入sql文件数据
fxtxz2的专栏
09-13 344
经常有工友喊我导入一下sql到postgresql数据库中。今天就用命令行来导入sql数据。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值