本篇 blog 持续更新，感谢各位大牛的连线。转载就不一一列出，见谅。（先存地址，后续补上）
附此使用秘籍，望各位老爷们笑纳
第一章 大数据
一、hadoop内容
1、基础操作
1.1 启动 hadoop 所有服务：
sh $HADOOP_HOME/sbin/start-all.sh
1.2 启动 yarn（ResourceManager/NodeManager）：
sh $HADOOP_HOME/sbin/start-yarn.sh start
1.3 启动 DFS：
sh $HADOOP_HOME/sbin/start-dfs.sh
1.4 启动 web服务（8088页面）：
sh $HADOOP_HOME/sbin/yarn-daemon.sh start proxyserver
1.5 格式化 NameNode：
# 仅安装后执行
hdfs namenode –format
1.6 hdfs清理回收站
2、Yarn 操作
2.1 查看HDFS目录：
hadoop fs -ls /
2.2 创建目录至 HDFS：
hadoop fs -mkdir /name
2.3 上传文件至 HDFS：
# 原路径上可以是文件夹等
hdfs dfs -put file.txt /hdfs目录/file.txt
# 原路径上只能是文件
hdfs dfs -copyFromLocal /local/data/file.txt /hdfs/data
二、Zookeeper 篇
1、基础操作
1.1 启动 zookeeper：
sh $ZOOKEEPER_HOME/bin/zkServer.sh start
1.2 停止zookeeper：
sh $ZOOKEEPER_HOME/bin/zkServer.sh stop
2、Zookeeper功能
三、Kafka 篇
消费组的作用： Kafka 的消费组用于重置offset节点
（连接kafka使用）
- a.普通模式启动：
sh kafka-server-start.sh server.properties &
- b.安全模式启动：
nohup kafka-server-start.sh config/server.properties /dev/null 2&1 &
3.2 查看group信息
# 新版本命令
sh kafka-consumer-groups.sh --list --new-consumer --bootstrap-server localhost:9292
# 老版本命令
sh kafka-consumer-groups.sh --list --zookeeper localhost:2181
3.3 查看topic信息
# 查看所有的topic信息
sh kafka-topics.sh --describe --zookeeper localhost:2181
sh bin/kafka-topics.sh --list --zookeeper localhost:2181
3.4 创建topic
sh kafka-topics.sh --create --zookeeper localhost:2181 --topic <topic_name> --replication-factor 1 --partions
3.5 删除topic
sh kafka-topics.sh --delete --zookeeper localhost:2181 --topic <topic_name>
3.6 查看某个topic的Offset
# 通过设定topic的信息来查看当前topic所在位置的offset
bin/kafka-run-class.sh kafka.tools.GetOffsetShell --topic <topic_name> --time -1 --broker-list localhost:9092 --partitions 0
# 若不填加--partitions n 可以查看所有分区的offset值
3.7 向指定的topic生产数据
# localhost修改为kafka安装的服务器目录
sh kafka-console-producer.sh --broker-list localhost:9092 --topic <topic_name>
3.8 从指定的topic消费数据
# 从Offset为0的地方开始消费数据
sh kafka-console-consumer.sh --bootstrap-server localhost:9092 --from-beginning --topic <topic_name>
# 注意，--zookeeper 参数从 Kafka 2.2 版本开始就被标注为“过时”，推荐使用 --bootstrap-server 参数
sh kafka-console-consumer.sh --zookeeper localhost:2181 --from-beginning --topic <topic_name>
第二章 数据库
一、MySQL 篇
1 基础部分
1.1 打开（启动）MySQL服务：
$MYSQL_HOME/bin/mysqld --defaults-file=/etc/my.cnf &
1.2 启动（进入）mysql：
$MYSQL_HOME/bin/mysql -uroot -h localhost -p"<pass_word>" -S /tmp/mysql.sock
1.3 关闭服务：
服务方式: service mysql stop
命令行方式: mysqladmin -uroot shutdown
1.4 删除用户：
# 删除用户mysql
userdel -rf mysql
1.5 添加用户：
# 添加用户mysql
useradd mysql
1.6 给文件夹授权：
# 给my.cnf文件授权
chown -R mysql:mysql /etc/my.cnf
# 给mysql程序安装文件夹授权
chown -R mysql:mysql $MYSQL_HOME
# 给mysql的数据目录data授权
chown -R mysql:mysql $MYSQLDATA_HOME
1.7 初始化mysql：
$MYSQL_HOME/bin/mysqld --defaults-file=/etc/my.cnf
--initialize-insecure
1.8 查看mysql存活状态：
ps -ef | grep $MYSQL_HOME/mysqld
1.9 CSV 文件批量导入数据：
mysql -uroot -p'' wjy -e "LOAD DATA LOCAL INFILE '${file}' INTO TABLE ${table} FIELDS TERMINATED BY ',' LINES TERMINATED BY '\r\n'"
2、mysqldump 部分
2.1 mysqldump备份数据
# -A 全库备份
# -S 指定启动时的sock文件
# -F 刷新日志
# -B 指定数据库
# -R 备份存储过程等
# -x 锁表
# --master-data 在备份语句里添加change master语句以及binlog文件及位置点信息
$MYSQL_HOME/bin/mysqldump -uroot -p"<pass_word>" -A -S /tmp/mysql.sock -F -R -x --master-data=2 dataname | gzip > $MYSQL_HOME/dataDump/bak_`date +%F`.sql.gz
2.2 mysqldump恢复数据
$MYSQL_HOME/bin/mysql -uroot -f -S /tmp/mysql.sock < $MYSQL_HOME/dataDump/bak_2020-10-13-19-47.sql
3、binlog 部分（1-4 库内查看）
3.1 查看binlog文件内容（只查看第一个binlog）
show binlog events;
3.2 查看指定的binlog文件内容
show binlog events in 'mysql-bin.000002'
3.3 查看当前写入的binlog
show master status\G;
3.4 查看binlog文件列表
show binary logs;
3.5 本地查看binlog日志
注意！！！注意！！！注意！！！前方高能预警，使用前必看：
-
不要查看当前正在写入的binlog文件；
-
不要加–force参数强制访问；
-
_如果binlog格式是行模式，需要添加 -vv 参数
# 1、通过开始/结束时间查看
mysqlbinlog --start-datetime='2020-10-16 08:46:40' --stop-datetime='2020-10-16 10:46:40' -d datebaseName binlogFileName
# 2、通过pos值(binlog中节点位置)查看
mysqlbinlog --start-position=107 --stop-position=111 -d datebaseName binlogFileName
3.6 刷新binlog日志（从一个新的binlog开始记录）
flush logs;
3.7 清空所有的binlog
reset master;
3.8 binlog通过节点恢复数据
$MYSQL_HOME/bin/mysqlbinlog --stop-position=435 --database=dbName $MYSQLDATA_HOME/mysql-bin.000006 | $MYSQL_HOME/bin/mysql -uroot -p dbName -v
-v 表示执行此命令
整条语句的意思为：从mysqlbinlog中拿取每条SQL语句，通过管道放到mysql中去执行
3.9 binlog通过时间恢复数据
$MYSQL_HOME/bin/mysqlbinlog --stop-datetime="2020-10-10 20:32:18" --stop-datetime="2020-10-15 20:32:18" --database=hello $MYSQLDATA_HOME/mysql-bin.000006 | $MYSQL_HOME/bin/mysql -uroot -p dbName -v
3.10 binlog恢复数据 —— 节点方面
reset master;
二、传统型数据库SQL语言 篇
1、基础信息
1.1 创建库
CREATE DATABASE DNAME;
1.2 创建表
CREATE TABLE TNAME(
sch_id int(11) NOT NULL AUTO_INCREMENT,
sch_name varchar(50) NOT NULL,
sch_addr varchar(100) DEFAULT NULL,
PRIMARY KEY (sch_id)
);ENGINE=InnoDB AUTO_INCREMENT=9 DEFAULT CHARSET=utf8;
1.3 添加数据
INSERT INTO TNAME("sch_id","sch_name","sch_addr") VALUES (1,'北京大学','北京'),(2,'清华大学','北京');
INSERT INTO TNAME VALUES (1,'北京大学','北京'),(2,'清华大学','北京');
INSERT INTO TNAME VALUES (1,'北京大学','北京');
1.4 修改数据
UPDATE TNAME SET sch_name='北方民族大学' WHERE sch_id='1';
1.5 删除数据
# 删除某一行
DELETE FROM TNAME WHERE sch_id='1';
# 清空表
DELETE * FROM TNAME;
DELETE FROM TNAME;
1.6 删除表
DROP TABLE TNAME;
1.7 删除数据库
# 删除数据库DNAME
DROP DATABASE DNAME;
1.8 查询非重复数据（DISTINCT）
# 选取TNAME中sch_id不重复的数据
SELECT DISTINCT sch_id FROM TNAME;
1.9 数据排序（ORDER BY）
坑：当 LIMIT 与 ORDER BY 同时使用时 OREDER BY 要放在前面
# 按 sch_id 进行排序
SELECT sch_id,sch_name FROM TNAME ORDER BY sch_id;
1.10 分组查询（GROUP BY）
坑：查询的字段必须使用聚合函数或放入group by。5.7后限制，若不需要此规定修改only_full_group_by。具体见CSDN - MySQL收藏。
# 按 sch_name 进行分组统计，查询相同学校的学生有多少个
SELECT stu_name,COUNT(stu_id) AS stuNumber FROM TNAME GROUP BY sch_name;
第三章 Linux操作系统
一、文件操作指令
1、cd
二、程序操作指令
1、crontab 定时任务
#1.1 查看定时任务文件
vim /etc/crontab
#1.2 查看定时任务
crontab -l
#1.3 编辑定时任务
crontab -e
#1.4重启定时任务
service crond restart
2 jstat 显示进程使用内存情况
jstat -gcutil <PID> 1s 10
3、pwdx 显示进程所在位置
通过jps命令查询出进程号，用 pwdx 查看进程所在位置
pwdx <PID>
2.3 grep ‘datanode’ /var/log/cron
grep 后接进程名+ /var/log/cron看进程在
第四章 Java后端
第五章 Shell脚本
附录
1、脚注：
76
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
