各类常用命令汇总

本篇 blog 持续更新,感谢各位大牛的连线。转载就不一一列出,见谅。(先存地址,后续补上)

                                                       附此使用秘籍,望各位老爷们笑纳
明确需求
Ctrl + F搜索
目录跳转
得命令

第一章 大数据

一、hadoop内容

1、基础操作

1.1 启动 hadoop 所有服务:
sh $HADOOP_HOME/sbin/start-all.sh
1.2 启动 yarn(ResourceManager/NodeManager):
sh $HADOOP_HOME/sbin/start-yarn.sh start
1.3 启动 DFS:
sh $HADOOP_HOME/sbin/start-dfs.sh
1.4 启动 web服务(8088页面):
 sh $HADOOP_HOME/sbin/yarn-daemon.sh start proxyserver
1.5 格式化 NameNode:
 # 仅安装后执行
hdfs namenode –format
1.6 hdfs清理回收站

1、HDFS的Trash回收站功能

2、HDFS删除并清空回收站

2、Yarn 操作

2.1 查看HDFS目录:
 hadoop fs -ls /
2.2 创建目录至 HDFS:
 hadoop fs -mkdir /name
2.3 上传文件至 HDFS:
 # 原路径上可以是文件夹等
 hdfs dfs -put file.txt /hdfs目录/file.txt						
 
 # 原路径上只能是文件
 hdfs dfs -copyFromLocal /local/data/file.txt /hdfs/data 		  

二、Zookeeper 篇

1、基础操作

1.1 启动 zookeeper:
sh $ZOOKEEPER_HOME/bin/zkServer.sh start
1.2 停止zookeeper:
 sh $ZOOKEEPER_HOME/bin/zkServer.sh stop

2、Zookeeper功能

三、Kafka 篇

消费组的作用: Kafka 的消费组用于重置offset节点
(连接kafka使用)

  • a.普通模式启动:
 sh kafka-server-start.sh server.properties &
  • b.安全模式启动:
nohup kafka-server-start.sh config/server.properties /dev/null 2&1 &
3.2 查看group信息
# 新版本命令
sh kafka-consumer-groups.sh --list --new-consumer --bootstrap-server localhost:9292
# 老版本命令
sh kafka-consumer-groups.sh --list --zookeeper localhost:2181 
3.3 查看topic信息
# 查看所有的topic信息
sh kafka-topics.sh --describe --zookeeper localhost:2181

sh bin/kafka-topics.sh --list --zookeeper localhost:2181 
3.4 创建topic
sh kafka-topics.sh --create --zookeeper localhost:2181 --topic <topic_name> --replication-factor 1 --partions
3.5 删除topic
sh kafka-topics.sh --delete --zookeeper localhost:2181 --topic <topic_name>
3.6 查看某个topic的Offset
# 通过设定topic的信息来查看当前topic所在位置的offset
bin/kafka-run-class.sh kafka.tools.GetOffsetShell --topic <topic_name> --time -1 --broker-list localhost:9092 --partitions 0
# 若不填加--partitions n 可以查看所有分区的offset值
3.7 向指定的topic生产数据
# localhost修改为kafka安装的服务器目录
sh kafka-console-producer.sh --broker-list localhost:9092 --topic <topic_name>
3.8 从指定的topic消费数据
# 从Offset为0的地方开始消费数据
sh kafka-console-consumer.sh --bootstrap-server localhost:9092 --from-beginning --topic <topic_name>

# 注意,--zookeeper 参数从 Kafka 2.2 版本开始就被标注为“过时”,推荐使用 --bootstrap-server 参数
sh kafka-console-consumer.sh --zookeeper localhost:2181 --from-beginning --topic <topic_name>




第二章 数据库

一、MySQL 篇

1 基础部分

1.1 打开(启动)MySQL服务:
$MYSQL_HOME/bin/mysqld --defaults-file=/etc/my.cnf &
1.2 启动(进入)mysql:
$MYSQL_HOME/bin/mysql -uroot -h localhost -p"<pass_word>" -S /tmp/mysql.sock
1.3 关闭服务:
服务方式:		service mysql stop
 
命令行方式: 		mysqladmin -uroot shutdown
1.4 删除用户:
# 删除用户mysql
userdel -rf mysql
1.5 添加用户:
  # 添加用户mysql
  useradd mysql
1.6 给文件夹授权:
 # 给my.cnf文件授权
 chown -R mysql:mysql /etc/my.cnf
 # 给mysql程序安装文件夹授权
 chown -R mysql:mysql $MYSQL_HOME
 # 给mysql的数据目录data授权
 chown -R mysql:mysql $MYSQLDATA_HOME
1.7 初始化mysql:
$MYSQL_HOME/bin/mysqld --defaults-file=/etc/my.cnf 
--initialize-insecure
1.8 查看mysql存活状态:
ps -ef | grep $MYSQL_HOME/mysqld
1.9 CSV 文件批量导入数据:
 mysql -uroot -p'' wjy -e "LOAD DATA LOCAL INFILE '${file}' INTO TABLE ${table} FIELDS TERMINATED BY ',' LINES TERMINATED BY '\r\n'"

2、mysqldump 部分

2.1 mysqldump备份数据
 # -A	全库备份
 # -S	指定启动时的sock文件
 # -F	刷新日志
 # -B	指定数据库
 # -R	备份存储过程等
 # -x	锁表
 # --master-data	在备份语句里添加change master语句以及binlog文件及位置点信息
 
 $MYSQL_HOME/bin/mysqldump -uroot -p"<pass_word>" -A -S /tmp/mysql.sock -F -R -x --master-data=2 dataname | gzip > $MYSQL_HOME/dataDump/bak_`date +%F`.sql.gz
2.2 mysqldump恢复数据
 $MYSQL_HOME/bin/mysql -uroot -f -S /tmp/mysql.sock <  $MYSQL_HOME/dataDump/bak_2020-10-13-19-47.sql

3、binlog 部分(1-4 库内查看)

3.1 查看binlog文件内容(只查看第一个binlog)
show binlog events;
3.2 查看指定的binlog文件内容
show binlog events in 'mysql-bin.000002'
3.3 查看当前写入的binlog
show master status\G;
3.4 查看binlog文件列表
show binary logs;
3.5 本地查看binlog日志

注意!!!注意!!!注意!!!前方高能预警,使用前必看:

  • 不要查看当前正在写入的binlog文件;

  • 不要加–force参数强制访问;

  • _如果binlog格式是行模式,需要添加 -vv 参数


# 1、通过开始/结束时间查看
mysqlbinlog --start-datetime='2020-10-16 08:46:40' --stop-datetime='2020-10-16 10:46:40' -d datebaseName binlogFileName

# 2、通过pos值(binlog中节点位置)查看
mysqlbinlog --start-position=107 --stop-position=111 -d datebaseName binlogFileName


3.6 刷新binlog日志(从一个新的binlog开始记录)
flush logs;
3.7 清空所有的binlog
reset master;
3.8 binlog通过节点恢复数据
$MYSQL_HOME/bin/mysqlbinlog --stop-position=435 --database=dbName $MYSQLDATA_HOME/mysql-bin.000006 | $MYSQL_HOME/bin/mysql -uroot -p dbName -v

-v 表示执行此命令

整条语句的意思为:从mysqlbinlog中拿取每条SQL语句,通过管道放到mysql中去执行

3.9 binlog通过时间恢复数据
$MYSQL_HOME/bin/mysqlbinlog --stop-datetime="2020-10-10 20:32:18" --stop-datetime="2020-10-15 20:32:18" --database=hello $MYSQLDATA_HOME/mysql-bin.000006 | $MYSQL_HOME/bin/mysql -uroot -p dbName -v
3.10 binlog恢复数据 —— 节点方面
reset master;

二、传统型数据库SQL语言 篇

1、基础信息

1.1 创建库
 CREATE DATABASE DNAME;
1.2 创建表
 CREATE TABLE TNAME(
 sch_id int(11) NOT NULL AUTO_INCREMENT,
 sch_name varchar(50) NOT NULL,
 sch_addr varchar(100) DEFAULT NULL,
 PRIMARY KEY (sch_id)
 );ENGINE=InnoDB AUTO_INCREMENT=9 DEFAULT CHARSET=utf8;
1.3 添加数据
 INSERT INTO TNAME("sch_id","sch_name","sch_addr") VALUES (1,'北京大学','北京'),(2,'清华大学','北京');
 INSERT INTO TNAME VALUES (1,'北京大学','北京'),(2,'清华大学','北京');
 INSERT INTO TNAME VALUES (1,'北京大学','北京');
1.4 修改数据
 UPDATE TNAME SET sch_name='北方民族大学' WHERE sch_id='1';
1.5 删除数据
 # 删除某一行
 DELETE FROM TNAME WHERE sch_id='1';
 
 # 清空表
 DELETE * FROM TNAME;
 DELETE FROM TNAME;
1.6 删除表
 DROP TABLE TNAME;
1.7 删除数据库
 # 删除数据库DNAME
 DROP DATABASE DNAME;
1.8 查询非重复数据(DISTINCT)
 # 选取TNAME中sch_id不重复的数据
 SELECT DISTINCT sch_id FROM TNAME;
1.9 数据排序(ORDER BY)

坑:当 LIMITORDER BY 同时使用时 OREDER BY 要放在前面

 # 按 sch_id 进行排序
 SELECT sch_id,sch_name FROM TNAME ORDER BY sch_id;
1.10 分组查询(GROUP BY)

坑:查询的字段必须使用聚合函数或放入group by。5.7后限制,若不需要此规定修改only_full_group_by。具体见CSDN - MySQL收藏。

# 按 sch_name 进行分组统计,查询相同学校的学生有多少个
SELECT stu_name,COUNT(stu_id) AS stuNumber FROM TNAME GROUP BY sch_name;

第三章 Linux操作系统

一、文件操作指令

1、cd

二、程序操作指令

1、crontab 定时任务
#1.1 查看定时任务文件
vim /etc/crontab

#1.2 查看定时任务
crontab -l

#1.3 编辑定时任务
crontab -e

#1.4重启定时任务
service crond restart
2 jstat 显示进程使用内存情况
jstat -gcutil <PID> 1s 10

具体使用方法

3、pwdx 显示进程所在位置

通过jps命令查询出进程号,用 pwdx 查看进程所在位置

pwdx <PID>
2.3 grep ‘datanode’ /var/log/cron

grep 后接进程名+ /var/log/cron看进程在

第四章 Java后端

第五章 Shell脚本


附录

1、脚注

  • 2
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值