Centos7.7 CDH6.2.1 安装教程

最新推荐文章于 2024-06-12 18:02:46 发布
最新推荐文章于 2024-06-12 18:02:46 发布
阅读量1.9k 收藏 7
点赞数
分类专栏： # CDH 文章标签： CDH
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Java_Road_Far/article/details/105318724
版权

文章目录

一、CDH6.2.1 下载

  1. CDH下载地址

  2. 下载cdh
    https://archive.cloudera.com/cdh6/6.2.1/parcels/
    在这里插入图片描述

  3. 下载cm
    https://archive.cloudera.com/cm6/6.2.1/redhat7/yum/RPMS/x86_64/
    在这里插入图片描述

https://archive.cloudera.com/cm6/6.2.1/
在这里插入图片描述

  1. 下载好后目录结构如下：
    在这里插入图片描述

二、环境配置

2.1 机器配置

iphosts节点
192.168.161.160kino-cdh01主机
192.168.161.161kino-cdh02从机
192.168.161.162kino-cdh03从机

2.2 配置 hosts

在台机器上输入: vim /etc/hosts

192.168.161.160 kino-cdh01
192.168.161.161 kino-cdh02
192.168.161.162 kino-cdh03

2.3 卸载自带的jdk

[root@kino-cdh01 ~]# rpm -qa |grep jdk
java-1.8.0-openjdk-headless-1.8.0.222.b03-1.el7.x86_64
java-1.7.0-openjdk-headless-1.7.0.221-2.6.18.1.el7.x86_64
copy-jdk-configs-3.3-10.el7_5.noarch
java-1.8.0-openjdk-1.8.0.222.b03-1.el7.x86_64
java-1.7.0-openjdk-1.7.0.221-2.6.18.1.el7.x86_64

[root@kino-cdh01 ~]# rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.222.b03-1.el7.x86_64
[root@kino-cdh01 ~]# rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.221-2.6.18.1.el7.x86_64
[root@kino-cdh01 ~]# rpm -e --nodeps copy-jdk-configs-3.3-10.el7_5.noarch
[root@kino-cdh01 ~]# rpm -e --nodeps java-1.8.0-openjdk-1.8.0.222.b03-1.el7.x86_64
[root@kino-cdh01 ~]# rpm -e --nodeps java-1.7.0-openjdk-1.7.0.221-2.6.18.1.el7.x86_64

2.4 卸载自带的 mariadb

[root@kino-cdh01 ~]# rpm -qa | grep -i mariadb | xargs rpm -e --nodeps

删除残留文件

[root@kino-cdh01 ~]# find / -name mysql | xargs rm -rf
[root@kino-cdh01 ~]# find / -name my.cnf | xargs rm -rf
[root@kino-cdh01 ~]# cd /var/lib/
[root@kino-cdh01 ~]# rm -rf mysql/

2.5 关闭防火墙

所有机器都要执行

[root@kino-cdh01 ~]# systemctl stop firewalld.service
[root@kino-cdh01 ~]# systemctl disable firewalld.service

三台都关闭SELINUX，编辑/etc/selinux/config配置文件，把SELINUX的值改为disabled

[root@kino-cdh01 ~]# vim /etc/selinux/config


SELINUX=disabled

2.6 配置免密登录

所有机器都要执行

ssh-keygen -t rsa  # 直接回车

ssh-copy-id kino-cdh01   # 输入 yes, 输入密码 
ssh-copy-id kino-cdh02   # 输入 yes, 输入密码 
ssh-copy-id kino-cdh03   # 输入 yes, 输入密码

2.7 安装jdk

[root@kino-cdh01 ~]# mkdir /usr/java

将放在服务器上的 jdk-8u181-linux-x64.tar.gz 解压到 /usr/java 目录下

[root@kino-cdh01 ~]# tar -zxvf /opt/software/jdk-8u181-linux-x64.tar.gz -C /usr/java/

将 /usr/java 分发到其他服务器

[root@kino-cdh01 ~]# scp -r /usr/java root@bigdata2:/usr/java
[root@kino-cdh01 ~]# scp -r /usr/java root@bigdata3:/usr/java

配置 JAVA_HOME 环境变量(所有的主机都需要)

[root@kino-cdh01 ~]# cat >> /etc/profile << EOF
> #JAVA_HOME
> export JAVA_HOME=/usr/java/jdk1.8.0_181
> export PATH=$PATH:$JAVA_HOME/bin
> EOF
[root@kino-cdh01 ~]# source /etc/profile
[root@kino-cdh01 ~]# java -version
java version "1.8.0_181"
Java(TM) SE Runtime Environment (build 1.8.0_181-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.181-b13, mixed mode)

三、安装 MySQL

3.1 解压 mysql-5.7.26-1.el7.x86_64.rpm-bundle.tar

[root@kino-cdh01 ~]# tar -axvf /opt/software/mysql/mysql-5.7.26-1.el7.x86_64.rpm-bundle.tar

3.2 安装 MySQL

[root@kino-cdh01 mysql]# rpm -ivh mysql-community-common-5.7.26-1.el7.x86_64.rpm

[root@kino-cdh01 mysql]# rpm -ivh mysql-community-libs-5.7.26-1.el7.x86_64.rpm

[root@kino-cdh01 mysql]# rpm -ivh mysql-community-devel-5.7.26-1.el7.x86_64.rpm

[root@kino-cdh01 mysql]# rpm -ivh mysql-community-libs-compat-5.7.26-1.el7.x86_64.rpm

[root@kino-cdh01 mysql]# rpm -ivh mysql-community-client-5.7.26-1.el7.x86_64.rpm

[root@kino-cdh01 mysql]# rpm -ivh mysql-community-server-5.7.26-1.el7.x86_64.rpm

3.3 查看 MySQL 状态

[root@kino-cdh01 mysql]# service mysqld status
Redirecting to /bin/systemctl status mysqld.service
● mysqld.service - MySQL Server
   Loaded: loaded (/usr/lib/systemd/system/mysqld.service; enabled; vendor preset: disabled)
   Active: inactive (dead)
     Docs: man:mysqld(8)
           http://dev.mysql.com/doc/refman/en/using-systemd.html

3.4 启动MySQL

[root@kino-cdh01 mysql]# systemctl start mysqld

3.5 查看 MySQL 状态

[root@kino-cdh01 mysql]# service mysqld status
Redirecting to /bin/systemctl status mysqld.service
● mysqld.service - MySQL Server
   Loaded: loaded (/usr/lib/systemd/system/mysqld.service; enabled; vendor preset: disabled)
   Active: active (running) since 六 2020-05-09 00:25:59 CST; 37s ago
     Docs: man:mysqld(8)
           http://dev.mysql.com/doc/refman/en/using-systemd.html
  Process: 5386 ExecStart=/usr/sbin/mysqld --daemonize --pid-file=/var/run/mysqld/mysqld.pid $MYSQLD_OPTS (code=exited, status=0/SUCCESS)
  Process: 5297 ExecStartPre=/usr/bin/mysqld_pre_systemd (code=exited, status=0/SUCCESS)
 Main PID: 5389 (mysqld)
    Tasks: 27
   CGroup: /system.slice/mysqld.service
           └─5389 /usr/sbin/mysqld --daemonize --pid-file=/var/run/mysqld/mysqld.pid

5月 09 00:25:49 kino-cdh01 systemd[1]: Starting MySQL Server...
5月 09 00:25:59 kino-cdh01 systemd[1]: Started MySQL Server.

3.6 查看root随机密码（最后的是密码）

[root@kino-cdh01 mysql]# grep 'temporary password' /var/log/mysqld.log
2020-05-08T16:25:54.253304Z 1 [Note] A temporary password is generated for root@localhost: .SdtPrX=L9TI

3.7 修改root登录密码

[root@kino-cdh01 mysql]# mysql -uroot -p
Enter password: 输入上面的随机密码

mysql> SET PASSWORD FOR 'root'@'localhost'= "Kino123.";

在这里插入图片描述

3.8 设置root可以远程登录

mysql> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '上面设置的新密码' WITH GRANT OPTION;

mysql> FLUSH PRIVILEGES;

mysql> exit;

3.9 设置MySql忽略大小写：

用root登录，打开并修改 /etc/my.cnf；在 [mysqld] 节点下，加入一行： lower_case_table_names=1

重启MySql服务：systemctl restart mysqld

3.10 为CM安装mysql驱动

将 mysql-connector-java-5.1.27-bin.jar 拷贝到 新创建的 /usr/share/java 路径下，并重命名为 mysql-connector-java.jar

[root@kino-cdh01 mysql]# tar -zxvf mysql-connector-java-5.1.27.tar.gz

[root@kino-cdh01 java]# cp mysql-connector-java-5.1.27-bin.jar /usr/share/java

[root@kino-cdh01 java]# mv mysql-connector-java-5.1.27-bin.jar mysql-connector-java.jar

[root@kino-cdh01 java]# ll /usr/share/java
总用量 2216
lrwxrwxrwx. 1 root root      23 2月   4 20:47 icedtea-web.jar -> ../icedtea-web/netx.jar
lrwxrwxrwx. 1 root root      25 2月   4 20:47 icedtea-web-plugin.jar -> ../icedtea-web/plugin.jar
-rw-r--r--. 1 root root   62891 6月  10 2014 jline.jar
-rw-r--r--. 1 root root 1079759 8月   2 2017 js.jar
-rw-r--r--. 1 root root 1007505 5月   9 00:34 mysql-connector-java.jar
-rw-r--r--. 1 root root   18387 8月   2 2017 rhino-examples.jar
lrwxrwxrwx. 1 root root       6 2月   4 20:47 rhino.jar -> js.jar
-rw-r--r--. 1 root root   92284 3月   6 2015 tagsoup.jar

将该驱动发到每一台服务器

[root@kino-cdh01 java]# scp -r /usr/share/java/mysql-connector-java.jar root@kino-cdh02:/usr/share/java/
mysql-connector-java.jar 				100%  984KB  25.3MB/s   00:00    

[root@kino-cdh01 java]# scp -r /usr/share/java/mysql-connector-java.jar root@kino-cdh03:/usr/share/java/
mysql-connector-java.jar     			100%  984KB  30.7MB/s   00:00

四、安装 CM

4.1 搭建本地 YUM 源

将压缩包 cloudera-repos.tar.gz 解压到 /var/www/html 路径下

[root@kino-cdh01 ~]# mkdir -p /var/www/html
[root@kino-cdh01 ~]# tar -zxvf /opt/software/cloudera-repos.tar.gz.tar.gz -C /var/www/html

[root@kino-cdh01 html]# ll
总用量 0
drwxr-xr-x. 4 root root 29 5月   9 00:43 cloudera-repos
[root@kino-cdh01 html]# python -m SimpleHTTPServer 8900
Serving HTTP on 0.0.0.0 port 8900 ....

在这里插入图片描述
编辑本地yum源配置文件，第一次配置时里面为空

[root@kino-cdh01 html]# vim /etc/yum.repos.d/cloudera-manager.repo

[cloudera-manager]
name=cloudera-manager
baseurl=http://kino-cdh01:8900/cloudera-repos/cm6/6.2.1/redhat7/yum/
enabled=1
gpgcheck=0

发给其他所有节点

[root@kino-cdh01 html]# scp -r /etc/yum.repos.d/cloudera-manager.repo root@kino-cdh02:/etc/yum.repos.d
[root@kino-cdh01 html]# scp -r /etc/yum.repos.d/cloudera-manager.repo root@kino-cdh03:/etc/yum.repos.d

安装CM server及agent
主节点执行:

[root@kino-cdh01 yum.repos.d]# yum -y install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server

子节点执行:

[root@kino-cdh02 yum.repos.d]# yum -y install cloudera-manager-agent cloudera-manager-daemons

修改CM配置文件
所有节点都要执行

[root@kino-cdh01 yum.repos.d]# vim /etc/cloudera-scm-agent/config.ini

server_host=kino-cdh01  # 改成主节点的ip或hosts

进入mysql数据库，在MySQL中建库

[root@kino-cdh01 yum.repos.d]# mysql -uroot -p

CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE amon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE hive DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE sentry DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

为CM配置数据库

/opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm root Kino123.

五、启动CM服务

启动主节点的 cloudera-scm-server

[root@kino-cdh01 yum.repos.d]# systemctl start cloudera-scm-server

启动所有节点（包括主节点）的 cloudera-scm-agent

[root@kino-cdh01 yum.repos.d]#  systemctl start cloudera-scm-agent

查看状态

[root@kino-cdh01 yum.repos.d]# systemctl status cloudera-scm-server
[root@kino-cdh01 yum.repos.d]# systemctl status cloudera-scm-agent

查看Server启动日志

[root@kino-cdh01 yum.repos.d]# tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log

当看到如下信息，代表 cloudera-scm-server 已经启动
在这里插入图片描述
启动后，在浏览器中输入: 主机 或者 IP:7180 ，会看到如下界面:
在这里插入图片描述

六、CDH 安装配置

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
第一个问题解决方法（所有主机都要执行）：
先执行(临时修改)：

sysctl vm.swappiness=10
cat /proc/sys/vm/swappiness

再执行(永久修改)：

echo 'vm.swappiness=10'>> /etc/sysctl.conf

第二个问题解决方法（所有主机都要执行）：

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo 'echo never > /sys/kernel/mm/transparent_hugepage/defrag' >> /etc/rc.local
echo 'echo never > /sys/kernel/mm/transparent_hugepage/enabled' >> /etc/rc.local

都执行完成后，点击重新运行
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

七、Hive On Spark 配置

https://blog.csdn.net/Java_Road_Far/article/details/104899098

关于上述所有步骤，也可以参照如下链接进行安装：
https://www.cnblogs.com/swordfall/p/10816797.html#auto_id_6

其中数据库的安装建议按照官网安装

官网安装地址为
https://docs.cloudera.com/documentation/enterprise/6/6.1/topics/cm_ig_reqs_space.html#concept_tjd_4yc_gr

软硬件环境要求：
各节点：内存推荐16GB及以上，硬盘推荐200GB及以上，网络通畅

八、NameNode HA

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
等待大概十分钟，NameNode HA 配置完成

九、修改默认参数配置

Spark的参数修改

将安装包中的: spark-ext 拷贝(每台节点都要拷贝)到每台服务器的: /usr/lib目录下，并且搜索如下参数添加配置:

spark-conf/spark-env.sh 的 Spark 服务高级配置代码段（安全阀）

spark-conf/spark-env.sh 的 Spark 客户端高级配置代码段（安全阀）

spark-conf/spark-env.sh 的 History Server 高级配置代码段（安全阀）
在这里插入图片描述
在这里插入图片描述

十、Phoenix 安装(所有的节点都要执行)

将 安装包中的 apache-phoenix-5.0.0-HBase-2.0-bin.tar.gz 拷贝到 /root 目录下，解压，将名字换成 phoenix

将 /root/phoenix 下的 phoenix-core-5.0.0-HBase-2.0.jar 拷贝(不是移动)到 /opt/cloudera/parcels/CDH-6.2.1-1.cdh6.2.1.p0.1425774/lib/hbase/lib/ 目录下
将 /usr/lib/spark-ext/lib 下的 htrace-core-3.1.0-incubating.jar 拷贝(不是移动)到 /opt/cloudera/parcels/CDH-6.2.1-1.cdh6.2.1.p0.1425774/lib/hbase/lib/ 目录下

[root@bigdata1 ~]# cp /root/phoenix/phoenix-core-5.0.0-HBase-2.0.jar /opt/cloudera/parcels/CDH-6.2.1-1.cdh6.2.1.p0.1425774/lib/hbase/lib/

[root@bigdata1 ~]# cp /root/phoenix/phoenix-5.0.0-HBase-2.1-server.jar /opt/cloudera/parcels/CDH-6.2.1-1.cdh6.2.1.p0.1425774/lib/hbase/lib/

[root@bigdata1 ~]# cp /usr/lib/spark-ext/lib/htrace-core-3.1.0-incubating.jar /opt/cloudera/parcels/CDH-6.2.1-1.cdh6.2.1.p0.1425774/lib/hbase/lib/

然后修改这两个jar的权限为777

[root@bigdata1 ~]# chmod 777 /opt/cloudera/parcels/CDH-6.2.1-1.cdh6.2.1.p0.1425774/lib/hbase/lib/htrace-core-3.1.0-incubating.jar

[root@bigdata1 ~]# chmod 777 /opt/cloudera/parcels/CDH-6.2.1-1.cdh6.2.1.p0.1425774/lib/hbase/lib/phoenix-5.0.0-HBase-2.1-server.jar

[root@bigdata1 ~]# chmod 777 /opt/cloudera/parcels/CDH-6.2.1-1.cdh6.2.1.p0.1425774/lib/hbase/lib/phoenix-core-5.0.0-HBase-2.0.jar

打开 CDH 界面，修改 HBase 如下两个参数
在这里插入图片描述
hbase-site.xml 的 HBase 服务高级配置代码段（安全阀）

phoenix.schema.isNamespaceMappingEnabled
true
命名空间开启

hbase.regionserver.wal.codec
org.apache.hadoop.hbase.regionserver.wal.IndexedWALEditCodec
二级索引

hbase-site.xml 的 HBase 客户端高级配置代码段（安全阀）

phoenix.schema.isNamespaceMappingEnabled 
true

重启HBase

将 hdfs 和 hbase 相关配置文件拷贝到 phoenix/bin目录下（所有节点都要执行）

[root@bigdata1 ~]# cp /opt/cloudera/parcels/CDH-6.2.1-1.cdh6.2.1.p0.1425774/lib/hbase/conf/hbase-site.xml /root/phoenix/bin/
cp: overwrite ‘/root/phoenix/bin/hbase-site.xml’? y

[root@bigdata1 ~]# cp /opt/cloudera/parcels/CDH-6.2.1-1.cdh6.2.1.p0.1425774/lib/hadoop/etc/hadoop/core-site.xml /root/phoenix/bin/

[root@bigdata1 ~]# cp /opt/cloudera/parcels/CDH-6.2.1-1.cdh6.2.1.p0.1425774/lib/hadoop/etc/hadoop/hdfs-site.xml /root/phoenix/bin/

[root@bigdata1 ~]# cp /opt/cloudera/parcels/CDH-6.2.1-1.cdh6.2.1.p0.1425774/lib/hadoop/etc/hadoop/yarn-site.xml /root/phoenix/bin/

连接 Phoenix

[root@bigdata1 phoenix]# bin/sqlline.py

如果出现如下错误：

Transaction isolation: TRANSACTION_READ_COMMITTED
Building list of tables and columns for tab-completion (set fastconnect to true to skip)...
Error: ERROR 1012 (42M03): Table undefined. tableName=SYSTEM.CATALOG (state=42M03,code=1012)
org.apache.phoenix.schema.TableNotFoundException: ERROR 1012 (42M03): Table undefined. tableName=SYSTEM.CATALOG
 at org.apache.phoenix.compile.FromCompiler$BaseColumnResolver.createTableRef(FromCompiler.java:577)
 at org.apache.phoenix.compile.FromCompiler$SingleTableColumnResolver.<init>(FromCompiler.java:391)
 at org.apache.phoenix.compile.FromCompiler.getResolverForQuery(FromCompiler.java:228)
 at org.apache.phoenix.compile.FromCompiler.getResolverForQuery(FromCompiler.java:206)
 at org.apache.phoenix.jdbc.PhoenixStatement$ExecutableSelectStatement.compilePlan(PhoenixStatement.java:482)
 at org.apache.phoenix.jdbc.PhoenixStatement$ExecutableSelectStatement.compilePlan(PhoenixStatement.java:456)
 at org.apache.phoenix.jdbc.PhoenixStatement$1.call(PhoenixStatement.java:302)
 at org.apache.phoenix.jdbc.PhoenixStatement$1.call(PhoenixStatement.java:291)
 at org.apache.phoenix.call.CallRunner.run(CallRunner.java:53)
 at org.apache.phoenix.jdbc.PhoenixStatement.executeQuery(PhoenixStatement.java:290)
 at org.apache.phoenix.jdbc.PhoenixStatement.executeQuery(PhoenixStatement.java:283)
 at org.apache.phoenix.jdbc.PhoenixStatement.executeQuery(PhoenixStatement.java:1793)
 at org.apache.phoenix.jdbc.PhoenixDatabaseMetaData.getColumns(PhoenixDatabaseMetaData.java:589)
 at sqlline.SqlLine.getColumns(SqlLine.java:1103)
 at sqlline.SqlLine.getColumnNames(SqlLine.java:1127)
 at sqlline.SqlCompleter.<init>(SqlCompleter.java:81)
 at sqlline.DatabaseConnection.setCompletions(DatabaseConnection.java:84)
 at sqlline.SqlLine.setCompletions(SqlLine.java:1740)
 at sqlline.Commands.connect(Commands.java:1066)
 at sqlline.Commands.connect(Commands.java:996)
 at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
 at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
 at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
 at java.lang.reflect.Method.invoke(Method.java:498)
 at sqlline.ReflectiveCommandHandler.execute(ReflectiveCommandHandler.java:38)
 at sqlline.SqlLine.dispatch(SqlLine.java:809)
 at sqlline.SqlLine.initArgs(SqlLine.java:588)
 at sqlline.SqlLine.begin(SqlLine.java:661)
 at sqlline.SqlLine.start(SqlLine.java:398)
 at sqlline.SqlLine.main(SqlLine.java:291)
sqlline version 1.2.0

解决方法如下

[root@bigdata1 phoenix]# hbase shell
Java HotSpot(TM) 64-Bit Server VM warning: Using incremental CMS is deprecated and will likely be removed in a future release
HBase Shell
Use "help" to get list of supported commands.
Use "exit" to quit this interactive shell.
For Reference, please visit: http://hbase.apache.org/2.0/book.html#shell
Version 2.1.0-cdh6.2.1, rUnknown, Wed Sep 11 01:05:56 PDT 2019
Took 0.0020 seconds 
hbase(main):001:0> 
hbase(main):001:0> list
TABLE 
SYSTEM:CATALOG 
SYSTEM:FUNCTION 
SYSTEM:LOG 
SYSTEM:MUTEX 
SYSTEM:SEQUENCE 
SYSTEM:STATS 
6 row(s)
Took 0.3353 seconds 
=> ["SYSTEM:CATALOG", "SYSTEM:FUNCTION", "SYSTEM:LOG", "SYSTEM:MUTEX", "SYSTEM:SEQUENCE", "SYSTEM:STATS"]
hbase(main):002:0> disable 'SYSTEM:CATALOG'
Took 0.8518 seconds 
hbase(main):003:0> snapshot 'SYSTEM:CATALOG', 'cata_tableSnapshot'
Took 0.2592 seconds 
hbase(main):004:0> clone_snapshot 'cata_tableSnapshot', 'SYSTEM.CATALOG'
Took 4.2676 seconds 
hbase(main):005:0> drop 'SYSTEM:CATALOG'
Took 0.2438 seconds 
hbase(main):006:0> quit

然后重启HBase，重新连接 Phoenix

[root@bigdata1 phoenix]# bin/sqlline.py 
Setting property: [incremental, false]
Setting property: [isolation, TRANSACTION_READ_COMMITTED]
issuing: !connect jdbc:phoenix: none none org.apache.phoenix.jdbc.PhoenixDriver
Connecting to jdbc:phoenix:
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/root/phoenix/phoenix-5.0.0-HBase-2.0-client.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/cloudera/parcels/CDH-6.2.1-1.cdh6.2.1.p0.1425774/jars/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
Connected to: Phoenix (version 5.0)
Driver: PhoenixEmbeddedDriver (version 5.0)
Autocommit status: true
Transaction isolation: TRANSACTION_READ_COMMITTED
Building list of tables and columns for tab-completion (set fastconnect to true to skip)...
133/133 (100%) Done
Done
sqlline version 1.2.0
0: jdbc:phoenix:>

10.1 显示所有表

0: jdbc:phoenix:> !tables
+------------+--------------+-------------+---------------+----------+------------+----------------------------+-----------------+--------------+--+
| TABLE_CAT | TABLE_SCHEM | TABLE_NAME | TABLE_TYPE | REMARKS | TYPE_NAME | SELF_REFERENCING_COL_NAME | REF_GENERATION | INDEX_STATE | |
+------------+--------------+-------------+---------------+----------+------------+----------------------------+-----------------+--------------+--+
| | SYSTEM | CATALOG | SYSTEM TABLE | | | | | | |
| | SYSTEM | FUNCTION | SYSTEM TABLE | | | | | | |
| | SYSTEM | LOG | SYSTEM TABLE | | | | | | |
| | SYSTEM | SEQUENCE | SYSTEM TABLE | | | | | | |
| | SYSTEM | STATS | SYSTEM TABLE | | | | | | |
+------------+--------------+-------------+---------------+----------+------------+----------------------------+-----------------+--------------+--+
0: jdbc:phoenix:>

10.2 创建表

CREATE TABLE IF NOT EXISTS us_population (
state CHAR(2) NOT NULL,
city VARCHAR NOT NULL,
population BIGINT
CONSTRAINT my_pk PRIMARY KEY (state, city));

10.3 查询所有表

0: jdbc:phoenix:> !tables
+------------+--------------+----------------+---------------+----------+------------+----------------------------+-----------------+--------------+
| TABLE_CAT | TABLE_SCHEM | TABLE_NAME | TABLE_TYPE | REMARKS | TYPE_NAME | SELF_REFERENCING_COL_NAME | REF_GENERATION | INDEX_STATE |
+------------+--------------+----------------+---------------+----------+------------+----------------------------+-----------------+--------------+
| | SYSTEM | CATALOG | SYSTEM TABLE | | | | | |
| | SYSTEM | FUNCTION | SYSTEM TABLE | | | | | |
| | SYSTEM | LOG | SYSTEM TABLE | | | | | |
| | SYSTEM | SEQUENCE | SYSTEM TABLE | | | | | |
| | SYSTEM | STATS | SYSTEM TABLE | | | | | |
| | | US_POPULATION | TABLE | | | | | |
+------------+--------------+----------------+---------------+----------+------------+----------------------------+-----------------+--------------+
0: jdbc:phoenix:>

10.4 新增记录

upsert into us_population values('NY','NewYork',8143197);
upsert into us_population values('CA','Los Angeles',3844829);
upsert into us_population values('IL','Chicago',2842518);

10.5 查询表


0: jdbc:phoenix:> select * from US_POPULATION;
+--------+--------------+-------------+
| STATE | CITY | POPULATION |
+--------+--------------+-------------+
| CA | Los Angeles | 3844829 |
| IL | Chicago | 2842518 |
| NY | NewYork | 8143197 |
+--------+--------------+-------------+
3 rows selected (0.043 seconds)

10.6 删除表

0: jdbc:phoenix:> drop table us_population;

10.7 退出

0: jdbc:phoenix:> !quit

十一、hive测试

登陆hue: 下面两个连接随便选一个都可以
在这里插入图片描述
首次登陆，用户名: admin 密码: admin

一定要记住第一次登陆设置的，你填的啥数据库里面生成的就是傻，用上面写的就可以了，登陆进去后，按下图新增hdfs 用户

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
然后注销 admin 用户，登陆hdfs 用户

依次执行下面的sql

create table kino(name string, age int);

insert into kino values("kino", 20);

select * from kino where name = "kino" and age = 20;

在这里插入图片描述

十二、kafka测试

12.1 创建分区

选择kafka安装的一台服务器，执行如下命令，会看到一堆日志

[root@bigdata1 ~]# kafka-topics --zookeeper 10.3.4.41:2181 --create --replication-factor 3 --partitions 1 --topic mykafkatest

12.2 生产者往 上面创建的 topic 发送消息

[root@bigdata1 ~]# kafka-console-producer --broker-list 10.3.4.41:9092 --topic mykafkatest

一堆日志

>键盘输入即可....

12.3 消费者消费 topic 消息

[root@bigdata3 ~]# kafka-console-consumer -bootstrap-server 10.3.4.41:9092 --from-beginning --topic mykafkatest

此时生产者发送，看消费者消费到没有
在这里插入图片描述
在这里插入图片描述

丶kino丶
关注
  • 0
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
cdh6.2.1完全离线安装教程
QYmufeng的博客
09-16 1045
一.准备工作 系统：centos7.6 cdh版本：6.2.1 主机： 系统 ip 主机名称 主机名 内存 cm server mysql httpd服务 centos7.6 192.168.112.138 cluster01.toroidal.comcluster01 8G √ √ centos7.6 192.168.112.133 cluster02.toroidal.comcluster02 4G ...
CentOS7安装部署CDH6.2.1
Z-NOTE
10-23 599
Cloudera Manager 是一个用于管理 CDH 集群的端到端应用程序。
CDH大数据平台部署安装（详细）
m0_73800495的博客
06-12 1161
在主节点上安装MySQL数据库，CDH的某些组件（如Cloudera Manager和Hive Metastore）需要数据库支持。在主节点上设置本地YUM源，包含CDH和Cloudera Manager的安装包，便于节点安装和管理软件包。baseurl=http://[IP地址或master节点名称]/cloudera-repos/cm6。#将下载好的rpm安装包上传到/var/www/html/cloudera-repos/cm6。#打开10.8.42.54/cloudera-repos/cm6/
Centos7.7安装及配置教程
Herishwater的博客
03-24 4252
文章目录VMware15 Pro安装CentOS7.7安装CentOS7.7下载编辑虚拟机设置虚拟机配置Centos7.7配置网卡配置验证网卡配置防火墙设置小结参考文献 之前安装过一次，不过后来电脑格式化后，没有及时恢复虚拟机，直到最近购买服务器后 ，需要使用到虚拟机才想到重新安装 Centos。 VMware15 Pro安装 下载地址：VMware15 下载完成后，右键以管理员身份运行，安装过...
CDH6.2.1部署操作手册
qq_45360515的博客
11-09 893
CDH6.2.1安装手册，仅供参考
Centos7.8+CDH6.2.1从零开始安装
百看不如一RUN
06-06 2800
前言，为什么我要开始重新装一遍呢，因为，我攒了个台式机，还没有装CDH，学习需要用，顺道记录一下安装记录，当做以后的笔记，以后查漏补缺。 一、CDH是什么？ CDH是Cloudera的100%开源平台发行版，包括Apache Hadoop，专门为满足企业需求而构建。CDH提供了企业使用所需的一切。通过将Hadoop与十几个其他关键的开源项目集成，Cloudera创建了一个功能先进的系统，帮助您执行端到端的大数据工作流。 1.1 CDH的重点项目有哪些？ 相信大家对这些大数据组件应该都是很熟悉了，那么我.
CDH6.2.1搭建（史上最全的安装教程）
热门推荐
summer089089的博客
07-27 1万+
1.Cloudera Manager 1.1 CM简介 1.1.1 CM简介 Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具，使得安装集群从几天的时间缩短在几个小时内，运维人员从数十人降低到几人以内，极大的提高集群管理的效率。 1.1.2 CM架构 1.2 CM部署准备配置 1.2.1 修改hosts文件 [root@node01 ~]# vim /etc/hosts 127.0.0.1 localhost localhost ::1 loc
centos7.7安装docker
weixin_41957432的博客
09-24 345
centos7.7安装docker
CentOS7.7系统安装-自制镜像
weixin_47686079的博客
10-11 469
【代码】CentOS7.7系统安装-自制镜像。
centos7.7下kvm虚拟机安装配置
weixin_47753256的博客
05-13 1521
Centos7.7下安装配置kvm虚拟机 一、 主机信息 |IP|主机名|网络模式|用途| |192.168.66.142|Centos|物理机| |192.168.122.10-19|Vm01-vm10|NAT|虚拟机| 二、安装kvm (1) 确认kvm有 CPU 的支持（Intel VT 或 AMD SVM） [root@centos ~]#egrep ‘^flags.*(vmx|svm)’ /proc/cpuinfo 如果没显示，说明cpu不支持虚拟化 (2) 安装kvm libvirted yum
VMware安装Linux CentOS 7.7系统的详细教程
09-29
在本教程中，我们将深入探讨如何使用VMware安装Linux CentOS 7.7系统，并进行必要的配置和优化。首先，确保你的计算机上已经安装了VMware，这是一个流行的虚拟化平台，可帮助你在单个物理机器上运行多个操作系统。 ...
centos 7.7 telnet安装包
08-04
在本文中，我们将深入探讨如何在CentOS 7.7系统上安装和配置Telnet服务，包括客户端和服务端，以及依赖的xinetd（Extended Internet Services Daemon）。 首先，让我们了解为什么在CentOS 7.7中安装Telnet是必要的...
CentOS7.7中安装MySQL5.7教程（超详细）
01-20
在CentOS中，执行sudo yum install mysql命令，不会安装mysql数据库，而是会安装MariaDB。 关于MySQL和MariaDB的关系，请参考百度百科。 在CentOS里安装MySQL要复杂一些，具体过程如下。 从mysql官网下载mysql仓库，...
cdh6.2.1 + cm6.2.1安装包-cdh安装包大全
09-05
在本场景中，我们讨论的是CDH6.2.1和CM6.2.1的安装包，这些安装包适用于Redhat7和Centos7及以上版本的操作系统。 1. CDH6.2.1 知识点： - **主要组件**：CDH6.2.1包含HDFS（Hadoop Distributed File System）、...
数理方法习题 前六章.pdf
08-03
数理方法习题 前六章
某大型制造企业IT蓝图规划及实施路线.pptx
最新发布
08-03
某大型制造企业IT蓝图规划及实施路线.pptx
基于Springboot和Vue的社区团购系统设计源码 社区团购系统设计代码（98分期末优秀大作业）
08-03
社区团购系统设计源码（高分毕设），个人经导师指导并认可通过的98分毕业设计项目，主要针对计算机相关专业的正在做毕设的学生和需要项目实战练习的学习者。也可作为课程设计、期末大作业。包含全部项目源码[代码]、该项目可以直接作为毕设使用。项目技术栈：前端是vue，后端是springboot，项目代码都经过严格调试，代码没有任何bug！ 系统源码（高分毕设），个人经导师指导并认可通过的98分毕业设计项目，主要针对计算机相关专业的正在做毕设的学生和需要项目实战练习的学习者。也可作为课程设计、期末大作业。包含全部项目源码[代码]、该项目可以直接作为毕设使用。项目技术栈：前端是vue，后端是springboot，项目代码都经过严格调试，代码没有任何bug！ 系统源码（高分毕设），个人经导师指导并认可通过的98分毕业设计项目，主要针对计算机相关专业的正在做毕设的学生和需要项目实战练习的学习者。也可作为课程设计、期末大作业。包含全部项目源码[代码]、该项目可以直接作为毕设使用。项目技术栈：前端是vue，后端是springboot，项目代码都经过严格调试，代码没有任何bug！
CentOS7.7详述安装Nagios 4.4.5与Nconf 1.3.0教程
"本教程详述了在CentOS 7.7系统上安装Nagios 4.4.5和Nconf 1.3.0的过程，包括Nagios的监控功能、Nconf的图形配置界面以及如何设置邮件告警。" 在监控IT基础设施时，Nagios是一款广泛使用的开源系统，网络和服务监控...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值