mysql5.6安装sys库_离线包方式安装CDH6.2.1（cloudera hadoop）及配套Kylin版本

最新推荐文章于 2023-06-09 06:15:26 发布
最新推荐文章于 2023-06-09 06:15:26 发布
阅读量407 收藏 1
点赞数
文章标签： mysql5.6安装sys库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_31240035/article/details/112280003
版权

4a9f97a1df8a7167fc3fac5452ae539f.png

安装包下载

CDH，全称Cloudera's Distribution, including Apache Hadoop。是Hadoop众多分支中对应中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，提供了Hadoop的核心（可扩展存储、分布式计算），最为重要的是提供基于web的用户界面。

CDH的优点：版本划分清晰，更新速度快，支持Kerberos安全认证，支持多种安装方式（如Yum、rpm等）。

CDH分为Cloudera Manager管理平台和CDH parcel（parcel包含各种组件的安装包）。这里采用CDH6.2.0。

https://archive.cloudera.com/cm6/6.2.0/redhat7/yum/RPMS/x86_64/

953a8d59835f963764cf286d6ea99d64.png

CDH6.2.0 parcel地址为：https://archive.cloudera.com/cdh6/6.2.0/parcels/

由于操作系统为CentOS7，需要下载以下文件：

a1524fc873c0de47d9796680235d5682.png

安装步骤

准备linux服务器

3b9f81f7dab253d2b7b736f3942163f9.png

关闭防火墙和SELINUX

  • systemctl stop firewalld 关闭防火墙
  • systemctl disable firewalld 禁止防火墙开机自启
  • vim /etc/selinux/config —> SELINUX=disabled (修改)

cdh01->02/03的免密登录

on cdh01:

# 生成秘钥
ssh-keygen

# 拷贝秘钥
ssh-copy-id cdh02
ssh-copy-id cdh03

配置NTP时间同步服务

# 修改时区（改为中国标准时区）
ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

# 安装ntp 
yum -y install ntp

# manager节点，ntp主机配置 
vim /etc/ntp.conf

# 注释掉原来的时间同步服务器，替换阿里云的

# server
# server
# server
# server

server ntp.aliyun.com


# agent节点，ntp主机配置 
vim /etc/ntp.conf
# 注释掉原来的时间同步服务器，替换为阿里云的
# server
# server
# server
# server

server cdh01
  • 重新启动 ntp 服务：service ntpd restart
  • 设置开机自启：systemctl enable ntpd.service
  • ntpdc -c loopinfo #查看与时间同步服务器的时间偏差
  • ntpq -p #查看当前同步的时间服务器
  • ntpstat #查看状态
  • 配置成功状态（服务开启后前面出现*说明成功）：

0cab86f922b45f08ff8fa623a15edd50.png

修改Linux swappiness参数(所有节点）

为了避免服务器使用swap功能而影响服务器性能，一般都会把vm.swappiness修改为0（cloudera建议10以下）

echo 0 > /proc/sys/vm/swappiness
# 这样操作重启机器还是还原
# 修改配置文件，开机自动设置参数
vi /etc/sysctl.conf
在最后添加 vm.swappiness=0
  • 上述方法rhel6有效，在rhel7.2中： tuned服务会动态调整系统参数
  • 查找tuned中配置，直接修改
cd /usr/lib/tuned
grep "vm.swappiness" * -R  # 查询出来后，挨个文件依次修改

修改完确认：

grep "vm.swappiness" * -R

[root@cdh01 tuned]# grep "vm.swappiness" * -R
latency-performance/tuned.conf:vm.swappiness=0
throughput-performance/tuned.conf:vm.swappiness=0
virtual-guest/tuned.conf:vm.swappiness = 0

禁用透明页(所有节点）

# 永久生效，在/etc/rc.local 添加如下命令：
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

# 给与可执行权限
chmod +x /etc/rc.d/rc.local

安装oracle jdk

rpm -qa | grep java # 查询已安装的java
yum remove java* # 卸载
rpm -ivh oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm

# 配置环境变量
vi /etc/profile 末尾添加
export JAVA_HOME=/usr/java/jdk1.8.0_181-cloudera/
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin

source /etc/profile
java -version验证

创建/usr/share/java目录，将mysql-jdbc包放过去（所有节点）

mkdir -p /usr/share/java
mv /opt/mysql-j/mysql-connector-java-5.1.34.jar /usr/share/java/
mysql-connector-java-5.1.34.jar  #一定要命名为mysql-connector-java.jar

为保证防火墙、虚拟机参数修改后生效，重启各节点

Mysql安装

  • 卸载原生的mariadb
rpm -qa|grep mariadb
rpm -e --nodeps mariadb-libs-5.5.65-1.el7.x86_64
  • 解压mysql
cd /opt/mysql/
# 解压mysql安装包
tar -xf mysql-5.7.26-1.el7.x86_64.rpm-bundle.tar
  • rpm方式安装
rpm -ivh mysql-community-common-5.7.19-1.el7.x86_64.rpm
rpm -ivh mysql-community-common-5.7.26-1.el7.x86_64.rpm 
rpm -ivh mysql-community-libs-5.7.26-1.el7.x86_64.rpm 
rpm -ivh mysql-community-client-5.7.26-1.el7.x86_64.rpm 
rpm -ivh mysql-community-server-5.7.26-1.el7.x86_64.rpm 
rpm -ivh mysql-community-devel-5.7.26-1.el7.x86_64.rpm
rpm -ivh mysql-community-libs-compat-5.7.26-1.el7.x86_64.rpm 

# 如果安装过程中报缺依赖的错误，可按如下方式安装所缺依赖
yum install net-tools
yum install perl
  • MYSQL配置如下:
# 初始化mysql使mysql目录的拥有者为mysql用户
mysqld --initialize --user=mysql 

cat /var/log/mysqld.log # 最后一行将会有随机生成的密码

systemctl start mysqld.service # 设置mysql服务自启

mysql -uroot –p 如果不能登陆
systemctl restart mysqld
#登录并修改mysql的管理者密码
　　　　$>mysql -u root
　　　　mysql>use mysql;
　　　　mysql>set password = PASSWORD('root');
　　　　mysql>exit;
  • 创建库(后续安装服务等使用)
create database cmserver default charset utf8 collate utf8_general_ci;
grant all on cmserver.* to 'root'@'%' identified by 'root';

create database metastore default charset utf8 collate utf8_general_ci;
grant all on metastore.* to 'root'@'%' identified by 'root';

create database amon default charset utf8 collate utf8_general_ci;
grant all on amon.* to 'root'@'%' identified by 'root';

create database rman default charset utf8 collate utf8_general_ci;
grant all on rman.* to 'root'@'%' identified by 'root';

create database oozie default charset utf8 collate utf8_general_ci;
grant all on oozie.* to 'root'@'%' identified by 'root';

create database hue default charset utf8 collate utf8_general_ci;
grant all on hue.* to 'root'@'%' identified by 'root';

安装Httpd服务（cdh01）

yum install httpd
systemctl start httpd
systemctl enable httpd.service 设置httpd服务开机自启

配置Cloudera Manager包yum源（cdh01节点）

mkdir -p /var/www/html/cloudera-repos/

# 将cdh manager安装包所在文件夹移入
mv cm6 /var/www/html/cloudera-repos/

# 创建repodata： 
cd /var/www/html/cloudera-repos/cm6/
createrepo .
# 如果没有createrepo命令，则yum install createrepo
  • 创建后结果如下

14ddaeef6ba491effc38654a96e2ae95.png

生成本地源repo配置

vim /etc/yum.repos.d/cloudera-manager.repo
[clouder-manager]
name = Cloudera Manager, Version
baseurl = http://cdh01/cloudera-repos/cm6/
gpgcheck = 1
enabled = 1

yum clean all
yum makecache

导入GPG key（如果没有这步操作，很可能cloudera服务安装失败）cdh01节点

rpm --import http://manager/cloudera-repos/cm6/RPM-GPG-KEY-cloudera

安装 Cloudera Manager（cdh01节点）

sudo yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server
  • 安装完CM后/opt/ 下会出现cloudera目录
mv /opt/parcels/* /opt/cloudera/parcel-repo # 将parcel包移动到指定位置
  • 在/opt/cloudera/parcel-repo执行以下命令：
sha1sum CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel | awk '{ print $1 }' > CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel.sha
  • 执行初始化脚本:
/opt/cloudera/cm/schema/scm_prepare_database.sh mysql cmserver root root
  • 打开server服务:
systemctl start cloudera-scm-server.service

静候几分钟，打开http://cdh01:7180

8867787d6f47bb5b070c8ec40ffe1a23.png

abca32cc4592b13e4dec5111e46a00fa.png

383fbbf0c2932403f396b5fd0b4c0b85.png

515f45a6b0a9c158390998716deb19ba.png
  • 补充 cloudera manager server启动命令
systemctl start cloudera-scm-server.service

cloudera manager agent启动命令

systemctl start  cloudera-scm-agent

安装Kylin

[root@cdh632-worker03 ~]# cd /opt/soft/
[root@cdh632-worker03 soft]# tar zxf apache-kylin-3.0.2-bin-cdh60.tar.gz -C /opt/module/
[root@cdh632-worker03 soft]# cd /opt/module/apache-kylin-3.0.2-bin-cdh60/

为解决报错01：
[root@cdh632-worker03 ~]# vi /opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hbase/bin/hbase
# CLASSPATH=${CLASSPATH}:$JAVA_HOME/lib/tools.jar
# 将上面的注释掉修改为如下
CLASSPATH=${CLASSPATH}:$JAVA_HOME/lib/tools.jar:/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hbase/lib/*
[root@cdh632-worker03 apache-kylin-3.0.2-bin-cdh60]# vi ~/.bashrc
# kylin3.0.2
# 为解决报错02
export HADOOP_USER_NAME=hdfs

# 配置spark_home
export SPARK_HOME=/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/spark
export KYLIN_HOME=/opt/module/apache-kylin-3.0.2-bin-cdh60
[root@cdh632-worker03 apache-kylin-3.0.2-bin-cdh60]# $KYLIN_HOME/bin/check-env.sh
Retrieving hadoop conf dir...

# 还可以配置 FLINK_HOME
# 还可以配置 KAFKA_HOME

# 启动kylin
[root@cdh632-worker03 apache-kylin-3.0.2-bin-cdh60]#bin/kylin.sh start
爬一手好线杆
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hadoop100：大数据平台安装部署--CDH6.2版本【集群】
weixin_40612128的博客
02-02 5931
1：CDH介绍 CDH是Cloudera的100％开源平台发行版，包括Apache Hadoop，专为满足企业需求而构建。CDH提供开箱即用的企业使用所需的一切。通过将Hadoop与十几个其他关键的开源项目集成，Cloudera创建了一个功能先进的系统，可帮助您执行端到端的大数据工作流程。 简单来说：CDH 是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具（软件），使得集群的安装可以从几天的时间缩短为几个小时，运维人数也会从数十人降低到几个人，极大的提高了集群管理的效率。 2：CDH现状分
Cloudera Manager6.2.1及CDH最新版本安装全程记录
12-22
Cloudera Manager6.2.1
MySQL5.6与5.7的区别——及MySQL5.6版本安装
CN_LiTianpeng的博客
09-30 4601
一、MySQL5.7对比5.6的优势1.安全性2.灵活性4.易用性5.可用性6.性能优势7.默认参数的改变8.安装不同二、MySQL 5.6 的安装步骤1.查看并解压源码包2.安装环境3.CMAKE编译并安装4.配置my.cnf和启动脚本5.添加环境变量6.创建程序账号，并授权7.初始化MySQL配置8.开启数据库，并设置密码登入 一、MySQL5.7对比5.6的优势 1.安全性 用户表 mysql.user 的 plugin字段不允许为空， 默认值是 mysql_native_password，而不是 .
eclipse连接CDH6.2.1集群的Hadoop集群（wordcount简单测试）
Allenzyg的博客
06-10 1123
一、使用eclipse连接CDH6.2.1上的Hadoop 1.在自己电脑（windows系统）上配置jdk、Hadoop的环境变量 2.配置完环境变量后，验证一下： Win+R，输入cmd 进入到命令窗口：java -version 进入Hadoop的bin目录下：hadoop version 3.下载eclipse，安装eclipse 4.把hadoop-eclipse-plugin-2.6.0.jar复制到eclipse的plugins目录下 5.把E:\..
CDH6.2.1集成Atlas2.1.0 详解
我思，顾我在
11-09 1078
一、Atlas源码下载 官网：http://atlas.apache.org/ 下载地址：https://www.apache.org/dyn/closer.cgi/atlas/2.1.0/apache-atlas-2.1.0-sources.tar.gz 二、pom.xml文件修改 <hadoop.version>3.0.0-cdh6.2.1</hadoop.version> <hbase.version>2.1.0-cdh6.2.1</hbase.version
大数据平台 CDH6.2.1 搭建
qq_36306519的博客
04-26 1692
大数据平台 CDH6.2.1 搭建
【CDH实战】- 01.安装Cloudera_Hadoop集群（CentOS6.5+CDH 5.6）
01-07
概述：本次实验部署两台服务器，采用RPM安装的方式。 实验环境： CentOS 6.5 CDH 5.6 操作系统基本设置 # IP设置 # Hostname 设置 # hosts 设置 # selinux 设置 # 防火墙设置 配置 httpd 服务 # 检查 httpd 是否...
【Hadoop离线基础总结】CDH版本Hadoop 伪分布式环境搭建
01-07
CDH版本Hadoop 伪分布式环境搭建 服务规划 步骤 第一步：上传压缩包并解压 cd /export/softwares/ tar -zxvf hadoop-2.6.0-cdh5.14.0.tar.gz -C ../servers/ 第二步：查看Hadoop支持的压缩方式以及本地库 cd /...
CM6.2.1和CDH6.2.1资源下载-CDH6.2.1-Hadoop文档类资源
最新发布
03-19
本资源包含redhat7版本的CM6.2.1和CDH6.2.1： cloudera-manager-daemons-6.2.1-1426065.el7.x86_64.rpm oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm jdk-8u151-linux-x64.rpm enterprise-debuginfo-6.2.1-1426065...
CDH安装手册.rar_cdH_hadoop_hadoop安装手册_大数据_安装部署
07-13
Hadoop安装部署手册，使用CDH在线离线部署大数据集群环境
flink-1.10.1-hadoop-3.0.0-cdh6.2.1.tar.gz
06-10
资源是flink的编译包， Flink 编译和运行要求 Java 版本至少是 Java 8，且最好选用 Java 8u51 及以上版本，我选用的是java version "1.8.0_181"，源码是基于scala2.11，maven是3.2.5
CDH6.2平台离线安装指南（完全版）
大仁哥、的博客
03-02 3544
一、平台概述 CDH，全称Cloudera's Distribution, including Apache Hadoop。是Hadoop众多分支中对应中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，提供了Hadoop的核心（可扩展存储、分布式计算），最为重要的是提供基于web的用户界面。 CDH的优点：版本划分清晰，更新速度快，支持Kerberos安全认证，支持多种安装方式（如Yum、rpm等）。 CDH分为Cloudera Manager管理平台和CDH parcel（p
Hadoop99：大数据平台安装部署--CDH6.2版本单机
weixin_40612128的博客
02-02 2991
一、CDH介绍 CDH 是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具（软件），使得集群的安装可以从几天的时间缩短为几个小时，运维人数也会从数十人降低到几个人，极大的提高了集群管理的效率。 二、本地单机安装测试，资源有限 操作系统：CentOS7.5 内存：8g 硬盘 ：80G cpu：2core ...
Hadoop安装服务器-CDH6.2离线安装与Web界面安装
Fuu17的博客
03-09 2632
Hadoop装服务器-CDH6.2离线安装1. 概述2. 安装的步骤2.1 安装CDH前的安装包准备2.2 编辑/etc/hosts文件(每个节点)2.3 关闭防火墙、禁止防火墙开机自启(每个节点)2.4 ssh无密码登录2.5 配置NTP服务(所有节点)2.6. 修改Linux swappiness参数(所有节点)2.7 禁用透明页(所有节点)2.8 JDK安装(所有节点)2.9 创建/usr/share/java 目录,将mysql-jdbc包放过去(所有节点)2.10 为保证防火墙、虚拟机参数修改后生
CDH官网如何查看各个版本中组件的版本信息
WeiHao1024k的博客
03-11 3517
问题描述： 自己在安装CDH时，想看一下安装的CDH版本各个组件比如Hadoop、Hive的版本信息，那么应该去哪里查看这些信息呢，当然时最权威的官网啦。 主要是5.x和6.x版本 5.x的CDH各个组件版本信息https://docs.cloudera.com/documentation/enterprise/release-notes/topics/cdh_vd_cdh_package_...
[CDH]企业数据仓库数据管理平台CDH6.2.1离线安装记录
qq_45661358的博客
10-29 1914
# [CDH]企业数据仓库数据管理平台CDH6.2.1离线安装记录
大数据技术(入门篇) --- 使用 Spring Boot 操作 CDH6.2.0 Hadoop
编码爱好者
04-17 2721
本人是web后端研发，习惯使用spring boot 相关框架，因此技术选型直接使用的是spring boot，目前并未使用 spring-data-hadoop 依赖，因为这个依赖已经在 2019 年终止了，可以点击查看 ，所以我这里使用的是自己找的依赖， Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。H
chatgpt赋能python：Python中如何下载sys模块
vacvefito的博客
06-09 683
sys模块是Python自带的一个标准库，它提供了许多函数和变量，用于处理Python解释器或Python脚本与操作系统进行交互的一些底层操作。使用sys模块可以获取一些有用的信息，例如Python版本、系统默认编码、进程ID等。此外，sys模块还提供了一些控制Python解释器行为的函数，例如控制Python程序的退出、捕获异常等。本文由chatgpt生成，文章没有在chatgpt生成的基础上进行任何的修改。以上只是chatgpt能力的冰山一角。作为通用的Aigc大模型，只是展现它原本的实力。
MySQL默认数据库之sys库
coco3600的博客
07-21 2042
MySQL默认数据库之sys库 内容参考链接如下： https://dev.mysql.com/doc/refman/5.7/en/sys-schema-progress-repo...
cdh6.2.1包下载
11-30
CDH6.2.1是Cloudera公司的一个分布式数据平台，可以用于大数据的存储、分析和处理。如果想要下载CDH6.2.1包，可以去Cloudera官网（https://www.cloudera.com/）进行下载。在官网上，可以找到CDH6.2.1的相关信息和...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值