大数据组件_启动关闭web查看

hadoop

#脚本启动
myhadoop.sh start
myhadoop.sh stop

#Web端查看HDFS的NameNode
http://hadoop102:9870
#Web端查看YARN的ResourceManager
http://hadoop103:8088
#历史服务器地址
http://hadoop102:19888/jobhistory

Zookeeper

#客户端启动
cd /opt/module/zookeeper-3.5.7/bin
./zkServer.sh start
./zkServer.sh status #查看zookeeper状态MODE: standalone 本地模式
./zkServer.sh stop
#客户端
./zkCli.sh （不用加start）
quit #退出
./zkCli.sh -server hadoop102:2181


#脚本启动
#编写zookeeper启动、关闭、查看状态、脚本脚本
vim zk.sh
chmod 777 zk.sh

zk.sh start
zk.sh status 
zk.sh stop

计算Spark

cd /opt/module/spark-standalone
sbin/start-all.sh
sbin/stop-all.sh
sbin/stop-master.sh
bin/spark-shell


cd /opt/module/spark-yarn
sbin/start-all.sh
sbin/stop-all.sh
sbin/stop-master.sh
bin/spark-shell

//启动历史服务器
[gpb@hadoop102 spark-yarn]$ pwd
/opt/module/spark-yarn
sbin/start-history-server.sh

//提交查看结果
//集群模式
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode client \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10

//客户端模式
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode client \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10

计算Flink

#
cd /opt/module/flink-1.17.0
bin/start-cluster.sh
bin/stop-cluster.sh

http://hadoop102:8081

计算Hive

4.3 启动Hive
4.3.1 初始化元数据库
1）登陆MySQL
[atguigu@hadoop102 conf]$ mysql -uroot -p000000
2）新建Hive元数据库
mysql> create database metastore;
3）初始化Hive元数据库
[atguigu@hadoop102 conf]$ schematool -initSchema -dbType mysql -verbose
4）修改元数据库字符集
Hive元数据库的字符集默认为Latin1，由于其不支持中文字符，故若建表语句中包含中文注释，会出现乱码现象。如需解决乱码问题，须做以下修改。
修改Hive元数据库中存储注释的字段的字符集为utf-8
（1）字段注释
mysql> alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;
（2）表注释
mysql> alter table TABLE_PARAMS modify column PARAM_VALUE mediumtext character set utf8;
4）退出mysql
mysql> quit;
4.3.2 启动Hive客户端
1）启动Hive客户端
[atguigu@hadoop102 hive]$ bin/hive
2）查看一下数据库
hive (default)> show databases;
OK
database_name
default

Hbase

Hbase

1）单点启动
[atguigu@hadoop102 hbase]$ bin/hbase-daemon.sh start master
[atguigu@hadoop102 hbase]$ bin/hbase-daemon.sh start regionserver
2）群启
[atguigu@hadoop102 hbase]$ bin/start-hbase.sh
3）对应的停止服务
[atguigu@hadoop102 hbase]$ bin/stop-hbase.sh

phoenix

（4）重启 HBase
[atguigu@hadoop102 ~]$ stop-hbase.sh
[atguigu@hadoop102 ~]$ start-hbase.sh
（5）连接 Phoenix
/opt/module/phoenix/bin/sqlline.py hadoop102,hadoop103,hadoop104:2181
（6）错误解决
出现下面错误的原因是之前使用过 phoenix，建议删除之前的记录
警告: Failed to load history
java.lang.IllegalArgumentException: Bad history file syntax! The 
history file `/home/atguigu/.sqlline/history` may be an older 
history: please remove it or use a different history file.
解决方法：在/home/atguigu 目录下删除.sqlline 文件夹
[atguigu@hadoop102 ~]$ rm -rf .sqlline/


6.2.2 Phoenix Shell 操作
6.2.2.1 table
关于 Phoenix 的语法建议使用时直接查看官网：
https://phoenix.apache.org/language/index.html
1）显示所有表
!table 或 !tables
2）创建表
直接指定单个列作为 RowKey
CREATE TABLE IF NOT EXISTS student(
id VARCHAR primary key,
name VARCHAR,
age BIGINT,
addr VARCHAR);
在 phoenix 中，表名等会自动转换为大写，若要小写，使用双引号，如"us_population"。
指定多个列的联合作为 RowKey
CREATE TABLE IF NOT EXISTS student1 (
id VARCHAR NOT NULL,
name VARCHAR NOT NULL,
age BIGINT,
addr VARCHAR
CONSTRAINT my_pk PRIMARY KEY (id, name));
注：Phoenix 中建表，会在 HBase 中创建一张对应的表。为了减少数据对磁盘空间的占
用，Phoenix 默认会对 HBase 中的列名做编码处理。具体规则可参考官网链接：
https://phoenix.apache.org/columnencoding.html，若不想对列名编码，可在建表语句末尾加
上 COLUMN_ENCODED_BYTES = 0;
3）插入数据
upsert into student values('1001','zhangsan', 10, 'beijing');
4）查询记录
select * from student;
select * from student where id='1001';
5）删除记录
delete from student where id='1001';
6）删除表
drop table student;
7）退出命令行
!quit

采集Kafka

// An highlighted block
var foo = 'bar';

采集Flume

// An highlighted block
var foo = 'bar';

采集Maxwell

// An highlighted block
var foo = 'bar';

采集DataX

// An highlighted block
var foo = 'bar';

python

sudo su -
exit()
conda activate pyspark
conda deactivate