文章目录
天津大数据
hive和hbase
Hive是一个构建在Hadoop基础上的数据仓库,主要解决分布式存储的大数据处理和计算问题。不能够进行交互查询–适合对一段时间内的数据进行分析查询
Habase是Hadoop database 的简称,适用于海量明细数据(10亿,百亿)的随机实时查询。–结构化和半结构化数据存储
一、华为欧拉系统安装
1.1 安装步骤
1.1.1 启动镜像,选择第一项
1.1.2 选择语言,中文
1.1.3 手动配置网络信息,也可以不配置,通过图形、命令行等方式配置
1.1.4 配置root用户
(默认会锁定,我们打开,密码要求挺高Sh@88861158)
1.1.5 等待安装(系统默认是最小化安装)
1.1.6 安装完成,重启系统
1.1.7 输入用户名密码登陆
root、Sh@88861158
1.2 图形配置网络的方法
1.2.1 输入nmtui进入图形界面
选项分别为:编辑连接、激活连接、设置主机名,根据需要进行选择
1.2.2 我们选择:编辑连接
回车确认后,选择网卡ADD,进入以下界面
1.2.3 编辑连接,如图所示,进行IPV4配置
分别进行“手动、地址、网关添加”,后面24代表子网掩码
1.2.4 激活
back返回后,选择第二项进行激活,选择网卡,带*号,代表激活成功
1.2.5 重启服务
修改完成,为保险起见,手动重启下相应服务
###重启网卡
connection reload ens32
###启动
connection up ens32
1.3 通过配置文件修改网址
1.3.1 进入并修改配置文件
路径/etc/sysconfig/network-scripts/ifcfg-ens32
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens32
UUID=57401649-8784-4f5e-bc06-bb6928a59299
DEVICE=ens32
ONBOOT=yes
IPADDR=10.1.8.234
PREFIX=255.255.255.0
GATEWAY=10.1.8.254
IPV6_PRIVACY=no
MACADDR=preserve
如下所示
1.3.2 执行重新加载并激活
###重启网卡
connection reload ens32
###启动
connection up ens32
1.4 其他常用命令
1.4.1 修改时间
[root@gwq ~]# date --set 9:38:00
1.4.2 查看ip
[root@gwq ~]# ip a
1.4.3 查看操作系统版本
[root@gwq ~]# cat /etc/os-release
[root@gwq ~]# cat /etc/os-release
NAME="openEuler"
VERSION="20.03 (LTS-SP3)"
ID="openEuler"
VERSION_ID="20.03"
PRETTY_NAME="openEuler 20.03 (LTS-SP3)"
ANSI_COLOR="0;31"
1.4.4 架构查看
[root@gwq ~]# lscpu
[root@gwq ~]# lscpu
架构: x86_64
CPU 运行模式: 32-bit, 64-bit
字节序: Little Endian
Address sizes: 42 bits physical, 48 bits virtual
CPU: 12
在线 CPU 列表: 0-11
每个核的线程数: 1
每个座的核数: 6
座: 2
NUMA 节点: 2
厂商 ID: GenuineIntel
CPU 系列: 6
型号: 63
型号名称: Intel(R) Xeon(R) CPU E5-2609 v3 @ 1.90GHz
步进: 2
CPU MHz: 1895.610
BogoMIPS: 3791.22
超管理器厂商: VMware
虚拟化类型: 完全
L1d 缓存: 64 KiB
L1i 缓存: 64 KiB
L2 缓存: 512 KiB
L3 缓存: 30 MiB
NUMA 节点0 CPU: 0-5
NUMA 节点1 CPU: 6-11
Vulnerability Itlb multihit: KVM: Vulnerable
二、openGauss高斯数据库安装
2.1 环境准备
操作系统华为欧拉:open Euler 20.03 LTS
数据库包:openGauss-6.0.0-RC1-openEuler-64bit.tar.bz2
2.1.1 关闭防火墙
##显示防火墙状态,active (running)为未关闭,inactive (dead)为已关闭
[root@gwq ~]# systemctl status firewalld
##关闭防火墙
[root@gwq ~]# systemctl status firewalld
2.1.2 上传安装包
##home下创建安装目录并上传
[root@gwq home]# mkdir opengauss
[root@gwq home]# chmod 777 opengauss/
2.1.3 检查安装包
##解压安装包-安装目录执行
[root@gwq opengauss]# tar -jxf openGauss-6.0.0-RC1-openEuler-64bit.tar.bz2
##执行ls -l命令,如下所示
[root@gwq opengauss]# ls -lb
总用量 103508
drwxr-x--- 2 root root 4096 3月 31 12:16 bin
drwxr-x--- 3 root root 4096 3月 31 12:16 etc
drwxr-x--- 3 root root 4096 3月 31 12:16 include
drwxr-x--- 4 root root 4096 3月 31 12:16 jre
drwxr-x--- 5 root root 4096 3月 31 12:16 lib
-rw-r--r-- 1 root root 105955487 4月 18 14:26 openGauss-6.0.0-RC1-openEuler-64bit.tar.bz2
drwxr-x--- 5 root root 4096 3月 31 12:16 share
drwxr-x--- 2 root root 4096 3月 31 12:16 simpleInstall
-rw-r----- 1 root root 36 3月 31 12:16 version.cfg
2.1.4 创建组及用户
##创建组
[root@gwq opengauss]# groupadd dbgrp
###创建用户omm
[root@gwq opengauss]# useradd -g dbgrp -d /home/omm -m -s /bin/bash omm
###设置密码sh@88861158
[root@gwq opengauss]# echo sh@88861158 | passwd --stdin omm
更改用户 omm 的密码 。
passwd:所有的身份验证令牌已经成功更新。
2.1.5 切换用户
[root@gwq opengauss]# su omm
2.2 单节点安装
2.2.1 root用户登录,新建安装目录
[root@gwq opengauss]# mkdir software
[root@gwq opengauss]# cd software/
[root@gwq software]# mkdir openGauss
[root@gwq software]# chmod 777 openGauss/
[root@gwq ~]# chown -R omm:dbgrp /opt/software/openGauss/
2.2.2 普通用户解压安装
###进入安装包目录解压
[root@gwq ~]# su omm
[omm@gwq root]$ cd /home/opengauss/
[omm@gwq opengauss]$ tar -jxf openGauss-6.0.0-RC1-openEuler-64bit.tar.bz2 -C /opt/software/openGauss
2.2.3 脚本安装
##进入以下目录
/opt/software/openGauss/simpleInstall
[omm@gwq simpleInstall]$ sh install.sh -w "Sh@88861158"
如图所示:
2.2.4 查看进程
[omm@gwq simpleInstall]$ ps ux | grep gaussdb
2.2.5 gs检查,安装成功
[omm@gwq simpleInstall]$ gs_ctl query -D /opt/software/openGauss/data/single_node/
3.1 openGauss基本操作
3.1.1 初次登录数库
[omm@gwq single_node]$ gsql -d postgres -p 5432 -1
gsql是opengauss提供的在命令行下运行的数据库连接工具
数据库安装完成后,默认生成postgres的数据库。第一次连接可连接。默认端口5432
omm是管理员用户,因此系统显示openGauss=#
3.1.2 修改密码
openGauss"# alter role omm identified by 'sh@88861158';
3.1.3 退出数据库
openGauss=# \q
3.1.4 基本操作
##查看数据库列
select datname from pg_database;
##创建test用户,并设置密码
create user test with password "sh@88861158";
##查看数据库用户列表
select * from pg_user;
##创建数据库test_gwq
create database test_gwq owner test;
##给test用户授权test_gwq数据库的所有权限
grant all privileges on database test_gwq to test;
##给test用户追加创建角色的权限
alter user test createrole;
##将sysadmin授权给test用户
grant all privileges to test;
##切换到test_gwq数据库
\c test_gwq
##切换到test用户
\c test
4.1 远程连接配置
主机需要远程连接数据库,必须在数据库系统的配置文件中增加主机的信息
4.1.1 postgresql.conf文件修改
#路径
[omm@gwq single_node]$ pwd
/opt/software/openGauss/data/single_node
##修改文件,去掉注释,将localhost改为 '*'
[omm@gwq single_node]$ vim postgresql.conf
listen_addresses = '*'
4.1.2 pg_hba.conf文件修改
##在文件中加入以下内容
host all all 0.0.0.0/0 sha256
###第一个all表示允许连接到任意数据库,第二个all表示任意用户都可以连,0.0.0.0/0表示任意地址,sha256为认证方式(三种认证,主机认证--本次开启、口令认证、SSL加密认证)
4.1.3 指令重启
[omm@gwq single_node]$ gs_ctl restart -D /opt/software/openGauss/data/single_node/
4.1.4 查看5432端口是否被正常监听
netstat -antp
5.1 dbeaave连接
5.1.1 下载驱动包
openGauss-6.0.0-RC1-JDBC.tar.gz
5.1.2 启动dbeaver,在驱动管理器中新建
5.1.3 编辑驱动
5.1.4 模板填入
jdbc:opengauss://{host}:{port}/{database}
5.1.5 连接数据库
5.1.6 连接成功
6.1 常用问题及说明
6.1.1 su :拒绝权限
#直接退出即可切换
[omm@gwq opt]$ exit
6.1.2 脚本执行报错
- 错误1:/home/omm/.bashrc: 第 11 行:ulimit: open files:无法修改 limit 值: 不允许的操作
- 错误2:gs_initdb: error while loading shared libraries: libreadline.so.7: cannot open shared object file: No such file or directory
解决方法:错误1不用管,错误2,创建软连接,指向8
##退出普通用户
[omm@gwq simpleInstall]$ exit
exit
##root用户更换软连接
[root@gwq ~]# ln -s /usr/lib64/libreadline.so.8 /usr/lib64/libreadline.so.7
##重新登录OMM普通用户,执行后续操作
[root@gwq ~]# su omm
11 行:ulimit: open files:无法修改 limit 值: 不允许的操作
- 错误2:gs_initdb: error while loading shared libraries: libreadline.so.7: cannot open shared object file: No such file or directory
[外链图片转存中…(img-FbKKCpUb-1718785859353)]
解决方法:错误1不用管,错误2,创建软连接,指向8
##退出普通用户
[omm@gwq simpleInstall]$ exit
exit
##root用户更换软连接
[root@gwq ~]# ln -s /usr/lib64/libreadline.so.8 /usr/lib64/libreadline.so.7
##重新登录OMM普通用户,执行后续操作
[root@gwq ~]# su omm