2020年10月_会飞的鹅_

原创重新安装cloudera-manager 并接管已有集群

由于数据库数据丢失导致CDH集群无法使用，这时hadoop等集群可能在正常运行但无法通过cloudera-manager来进行管理，需要重新安装cloudera-manager来接管之前的集群并恢复数据。（有丢数据的风险）解决办法：关闭service 和 agent服务保证数据库运营正常在数据库中重新创建所有库和表重新安装cloudera-manager重新安装CDH（集群部署要和之前的保持一直，这是能恢复数据的关键）具体步骤：停掉server和所有的age..

2020-10-26 11:17:03 1108

原创 JAVA中Map集合简述

Map集合的特点：将键映射到值的对象。一个映射不能包含重复的键；每个键最多只能映射到一个值。Map集合和Collection集合的区别?Map集合存储元素是成对出现的，Map集合的键是唯一的，值是可重复的。可以把这个理解为：夫妻对Collection集合存储元素是单独出现的，Collection的儿子Set是唯一的，List是可重复的。可以把这个理解为：光棍(11.11)注意：Map集合的数据结构值针对键有效，跟值无关 HashMap，TreeMap等会讲。Collection集合的数据结构

2020-10-16 13:37:14 205 1

原创 mapreduce压缩

数据压缩hadoop源码支持的压缩格式有：BZip2Codec 、Lz4Codec、DefaultCodec在map阶段压缩/解压缩：要在获取job实例之前设置map压缩Configuration configuration = new Configuration();// 开启map端输出压缩configuration.setBoolean(“mapreduce.map.output.compress”, true);// 设置map端输出压缩方式configuration.setClas

2020-10-16 10:11:17 190

原创 msyql数据导入导出方法

导出：1.仅仅导出数据到文件中（默认tab分割） select * from UM_USER into outfile '/tmp/UM_USER.txt'; 按指定格式导出字段分割用逗号，内容用引号，换行用\n ( CSV 格式) select * from UM_USER into outfile'/tmp/um_1.txt' FIELDS TERMINATED BY ','ENCLOSED BY '"' LINES TERMINATED BY '\n...

2020-10-14 17:35:48 110

原创 vim编辑器简单使用命令

vim编辑器一般模式（1） yy（功能描述：复制光标当前一行）y数字y （功能描述：复制一段(从第几行到第几行，光标闪烁处认为第一行，y2y，即复制光标所在行以及光标下一行)）（2）p（功能描述：箭头移动到目的行粘贴粘在光标所在行的下一行）（3） u（功能描述：撤销上一步）（4）dd（功能描述：删除光标当前行）d数字d（功能描述：删除光标(含)后多少行）（5）shift+^（功能描述：移动到行头）（6）shift+$（功能描述：移动到行尾）（7）1+shift+g（功能描述：移

2020-10-14 17:33:59 579

原创 Spark常用命令及端口

Spark启动Sparksbin/start-all.sh停止Sparksbin/stop-all.sh单独启动:sbin/start-master.shsbin/start-slaves.sh 所有slavesbin/start-slave.sh 单台slave启动spark-shell/opt/module/spark/bin/spark-shell –master spark://hadoop101:7077启动spark–shell使用外部hive(如果spark/jars目

2020-10-14 17:32:42 698

原创扩容kafka之后，针对扩容之前的topic进行重新平衡leader，Replicas，Isr

扩容kafka之后，针对扩容之前的topic进行重新平衡leader，Replicas，Isr生成分配计划新建一个json文件，内容如下：（topic为要修改的topic）这里文件取名为topics-to-move.json { "topics": [{ "topic": "cross.cube.bitmap" }], "version": 1 } 使用kafka-reassign-partitio...

2020-10-05 21:43:37 514

原创 Flink常用指令及端口

启动flink./start-cluster.sh关闭flinkbin/stop-cluster.sh查看当前运行的任务bin/flink list查看所有的任务bin/flink list --all停止当前任务bin/flink cancel 471ede242bd2fa22d32ed147a025e5d2提交任务bin/flink run -c com.offcn.wordCount.wordCountJava/root/flinkJar/FlinkDeno-1.0-SNAPS

2020-10-05 21:41:27 7132

原创 hadoop常用命令及端口

集群单点启动逐一启动各个结点1.在hadoop101上启动NameNode 要在hadoop目录下执行[root@hadoop101 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode2.在hadoop101、hadoop102、hadoop103上分别启动DataNode网页输入hadoop101:50070 查看是否启动成功3.在hadoop103上启动第二节名称节点sbin/hadoop-daemon.sh start secondar

2020-10-05 21:40:22 778

原创 vim编辑器常功能