GCL的博客

原创 【无标题】

分布式易扩展的可视化工作流任务调度平台。

原创 Scala对象数据封装成json, 测试空数据。

问题：1、scala对象无法序列化2、sclaa对象序列化后为空解决方案：1、样例类（）、普通类 {} 必须加上注解@BeanProperty，这样scala的类中的属性就有了get，set方法。2、我写的是fastjosn将scala的对象转换成json并输出，值得注意的是，使用scala代码需要指定 JSON.toJSONString的第二的参数，否则，对象的属性的值为空，第二个参数部分列举如下：3、此时有一个对象x是ItemRelevant类,那么x转换成json格式的代码如下：4、修改代码...

原创 git 项目管理【下】-- IDEA上传项目到Gitee

没有 VCS的先在IDAE上下载, 同理有GitHub的点，我这里是Gitee。选择 share 分享。自己去Gitee上看一眼。项目代码怎么更新？简单来说就是先 Commit 保存到本地仓库，在Push 跟新到Gitee上。

原创 git 项目管理【上】--下载项目到IDEA

步骤一：选择使用git下载项目这里有GitHub的自行选择，一般企业也是部署私有GitLab来管理代码，我自己gitee代替，操作基本没差别。 右上角2是已经登录了gitee的账号所以直接显示了几个项目库。步鄹就是 1、2、3、4, 然后就等待下载好，项目到 IDEA里了。下面第二张图片说明怎么设置 IDEA 登录 gitee账号，下载的项目没有目录分层，看下面的图片。git 安装位置，Test不是低版本， gitee 添加账号密码 Logoin 后有显示代表连接成功！ 别忘了gitee

原创 Zabbix基础监控

1. Zabbix实战1. 1 基础概念用好 zabbix 为我们服务，先了解清楚几个基本概念。 Host（主机）一台你想监控的网络设备，用IP或域名表示。 Item（监控项）你想要接收的主机的特定数据，一个度量数据。 Trigger（触发器）一个被用于定义问题阈值和“评估”监控项接收到的数据的逻辑表达式。 Action（动作）一个对事件做出反应的预定义的操作，比如邮件通知。总结：监控哪台主机的 哪个监控项（zookeeper、HDFS等），监控达到阈值后触发那种 触发器， 最后做

原创 Zabbix安装配置

1.集群规划节点服务Node4zabbix-server、zabbix-agent、zabbix-webNode3zabbix-agent、MySQLNode2zabbix-agent1.1准备工作1.1 关闭防火墙（已关闭） sudo service iptables stop sudo chkconfig iptables off1.2 关闭SELinux sudo vim /etc/selinux/config# This file cont

原创 sqoop指定上传副本数

$sqoop import \-D dfs.replication=2 \--connect jdbc:mysql://Node3:3306/gmall \--username root \--password centos \--target-dir /origin_data/gmall/db/$1/$do_date \--delete-target-dir \--query "$2 and \$CONDITIONS" \--num-mappers 1 \--fields-termin

原创 Cannot create directory /tmp/hive/root/... Name node is in safe mode

Hive 客户端无法进入，主要报错：Cannot create directory /tmp/hive/root/… Name node is in safe mode主要原因：开启了 Hadoop安全模式。解决方式：hadoop dfsadmin -safemode leave。

原创 Mysql安装后必做的事情

mysql -uroot -pcentosmysql> use mysql;mysql> select * from user;mysql> drop user 'root'@'%' ;mysql> create user 'root'@'%' identified by '密码' ;mysql> grant all privileges on *.* to 'root'@'%' with grant option;mysql> flush privilege

原创 yum install XXX插件，导致 RPM数据库损坏

yum install XXX 导致 RPM数据库损坏。rpmdb: PANIC: fatal region error detected; run recoveryerror: db3 error(-30974) from dbenv->open: DB_RUNRECOVERY: Fatal error, run database recoveryerror: cannot open Packages index using db3 - (-30974)error: cannot

原创 Centos 6无法使用yum解决办法

Centos 6无法使用yum解决办法：（因为2020 12月 os6已经停止更新维护了）sed -i "s|enabled=1|enabled=0|g" /etc/yum/pluginconf.d/fastestmirror.confmv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backupcurl -o /etc/yum.repos.d/CentOS-Base.repo https://www.xmpa

原创 集群demon报错处理

集群启动HDFS start-dfs.sh， 22038 NameNode 22134 DataNode 22314 JournalNode# 22476 DFSZKFailoverController缺少zkfs，问题解决。 查看日志：cat /opt/sxt/Hadoop-2.6.5/logs/hadoop-root-zkfc-Node2.log2021-08-09 14:09:14,036 FATAL org.apache.hadoop.ha.ZKFailoverController

原创 IDEA设置脚本换行格式.

原创 IDEA打包报错

IEDA 打包报错，查阅了很久终于找到了

原创 Idea Failed to read artifact descriptor for XXX

找不到原因，为什么子项目不能引用父项目的jar包.百度了一下，决定修改本地仓库！试一试！Maven home directory 修改为本地！2.下载apache-maven-3.2.5，解压3. 检查 Maven配置！正常！此时再去看上一篇文章：IDEA子工程引入了父工程的依赖包,却无法使用发现问题解决！...

原创 IDEA子工程引入了父工程的依赖包,却无法使用

子项目 pom.xm 报错！！！ 引入了父工程的依赖包,却说找不到。原因: 子工程引入了父工程的依赖包,却无法使用,原因是依赖包没有真正的被加载到子工程中，需要安装lombok插件。重启。子项目删掉，重建！...

原创 IDEA子moudle-没有scalaClass

IEDA中子module，没有ScalaClass选项！ 但是父项目module中确有，尝试解决！Apply即可，发现OK！

原创 VMware硬盘分区减小不是压缩

VMware硬盘分区减小不是压缩，优化碎片搜集了很多信息，都是 VMware压缩的操作，并没有减少硬盘分区大小的操作。这里记录一下我成功的步鄹 用到一下几种工具帮助我快速解决问题。Windows powerShell 这个工具帮助 习惯Linux操作的用户，在window上也一样操作。vmware-vdiskmanager.exe 今天的主角，去VMware路径下去找。DiskGenius 这个工具帮助我们减小虚拟的磁盘分区。1. 虚拟机运行OS全部关机，找到以下磁盘路径位置2.

转载 Kafka Rebalance机制

什么是 RebalanceRebalance 本质上是一种协议，规定了一个 Consumer Group 下的所有 consumer 如何达成一致，来分配订阅 Topic 的每个分区。例如：某 Group 下有 20 个 consumer 实例，它订阅了一个具有 100 个 partition 的 Topic 。正常情况下，kafka 会为每个 Consumer 平均的分配 5 个分区。这个分配的过程就是 Rebalance。触发 Rebalance 的时机Rebalance 的触发条

转载 flume的TaildirSource介绍及升级改造

转载：flume的TaildirSource介绍及升级改造

转载 用数据说话-数据埋点

转载 ：https://mp.weixin.qq.com/s/Xp3-alWF4XHvKDP9rNWCoQ

原创 计算机组成_第八章

8.1 CPU 的结构8.2 指令周期8.3 指令流水8.4 中断系统8.1 CPU 结构 —> CPU结构框架 —> 将 寄存器 单独拎出来看用户可见寄存器：通用寄存器：存放操作数、数据寄存器：存放操作数、地址寄存器：存放地址条件码寄存器：存放条件码.用户不可见寄存器：控制寄存器 ：控制CPU的操作，例如MAR、MDR、IR 用户都不可见，但是PC可见状态寄存器：存放条件码； 存放程序状态字.8.2 指令周期什么是指令周期?:取出.

原创 第八章—错题

以下寄存器中，一般来说属于控制和状态寄存器的是 ___全选A .MDRB. MARC. IRD. PC下列是CPU必须具备的功能有___都有A.指令控制B.时间控制C.操作控制D.数据加工下列关于中断隐指令说法错误的是__A_A.中断隐指令包含恢复现场的功能B.在机器指令中没有中断隐指令C.中断隐指令包括保护程序断点、寻找中断服务程序的入口地址以及关中断D.中断隐指令由CPU在中断周期内自动完成以下不属于CPU工作周期的是___BA.取指周期B.存取周期C..

原创 第七章—错题

1.在软堆栈寻址中，SP指出栈顶地址，其值的修改量Δ与___有关。A.指令格式B.寄存器个数C.指令数量D.主存编址方式:— 答案：D2.下列说法正确的是 ___。A.子程序调用可出现在子程序中B.子程序可在多处被调用C.子程序的返回地址可以存放在栈顶内D.每个CALL指令都对应一条RETURN指令:— 答案：全选3 一条双字长直接寻址的子程序调用指令，其第一个字为操作码和寻址特征，第二个字为地址码5000H。假设PC当前值为2000H，SP的内容为0100H，栈顶内容为.

原创 计算机组成_第七章

指令系统在计算机中的地位 是在软件与硬件之间。7.1 机器指令7.2 操作数类型和操作类型7.3 寻址方式7.4 指令格式举例7.5 RISC技术指令的格式是什么？操作码 地址码 寻址方式操作码 – 反应机器做了什么操作， 他的长度可以是固定、可变长度、也可以扩展操作码.地址码 – 参照具体实例， 假设 指令字长为32位，操作码固定为8位。那么有一下几种结构指令的字长固定的字长、可变字长指令字长决定于 什么？操作码的长度、操作数的地址长度、操作数的地..

原创 第五章_输入输出系统

5.1 概述5.2 外部设备5.3 I/O接口5.4 程序查询方式5.5 程序中断方式5.6 DMA方式外部设备发展：早期 外部设备数量少，CPU与I/O设备串联工作数量多后 不适应，改为CPU与I/O设备并联工作（中断、DMA 方式）过些年 发展出 具有通道结构的阶段 ，通道 相当于微型处理器最终形成I/O处理阶段5. I/O设备与主机的连接方式辐射式连接 == 分散式连接， 每增加一个外部设备就要增加一套控制线路与一组信号线。总线连接 便于删除设备.

原创 第四章_寄存器

第四章 存储器★ 重点掌握1 存储器的分类（各类存储体的特点、主要用途）2 存储系统的层次结构3 主存储器的概念及基本组成框图4 高速缓冲存储器的概念5 利用高速缓存提高系统运行速度所基于的原理6 高速缓存与主存之间的映射方式和方法7 辅助存储器及主要类别1.主存储器的基本组成包括(存储体M，各种逻辑部件及控制电路)等。主存储器的示意图如下：2. 存储体我们看主存储体中的存储体：把存储体放大来看，先给一个示意图，方便理解：存储体的组成：存储体由许多存储单元组成，每个存储单

原创 第三章总线_错题

1单选(1分)DMA总线用于___之间交换信息A.CPU与I/O设备B.I/O设备间C. CPU与主存D.主存与I/O设备正确答案：D你错选为A解析： D、DMA总线用于高速I/O设备与主存之间直接交换信息“BS：总线忙”信号的建立者是___A.发起总线请求的设备B.CPUC.获得总线控制权的设备D.总线控制器正确答案：C你错选为A解析： C、BS: 总线忙信号,表示总线正在被某一主模块占用，该信号由获得总线控制权的设备发出。总线的异步通信方式是 。A.即采.

原创 U盘制作多引导系统

需求场景：提示：PE系统一个U盘启动盘，Linux系统一个U盘启动盘，Windows系统一个U盘启动盘，结果需要3个U盘；十分不方便，给你们 安利一个好用的工具多启动引导工具_YUMI – MULTIBOOT USB CREATOR，让我们一个U盘就可以安装各种系统。使用方法：补充—其他工具： 使用boot-repair-disk进行grub修复，文章地址: https://blog.csdn.net/ccc_cui/article/details/82803846...

原创 HBase读写方式 scala/java篇(一)

HBase 写操作有三种实现：HConnectionHTablePoolBufferedMutator这里将写下三篇文章分别来详细的说明 所用方法：先说第一种方式：这里我们使用HBase2.1.2版本，基于不同版本可能有不同的写法改变。java类作用.HBaseConfiguration初始化 hbase配置HBaseAdminAdmin类管理 hbase表的创建空空Put添加 hbase表中数据Get查询 hbase表中数据Sca

原创 HBase一些错误记录

1. 因为自己要在测试环境写API代码，完全分布式环境太卡了，自己搭建个伪分布式环境。但是启动报错hadoop-daemon.sh start namenodehadoop-daemon.sh start datanodeyarn-daemon.sh start resourcemanageryarn-daemon.sh start nodemanagerhbase-daemon.sh start zookeeperhbase-daemon.sh start regionserverhba.

原创 HBase 坚实基础

1. 深入理解 HBase 架构图Region内部结构:2. HBase中各个组件详解Client：— 1. Client先访问zookeeper，获取hbase:meta表位于哪个RegionServer；2. 访问RegionServer 获取hbase:meta表；读请求namespace:table/rowkey，查出属于位于哪个Region中；3. 将该table的region信息以及meta表的位置信息缓存在客户端的meta cache，方便下次访问。Zookeeper：.

原创 HBase 基本操作

1. 基本 增 删 改 查[root@Node1 bin]# ./hbase shell ---# 启动 hbase(main):001:0> create 'student','info' ---# 必须要有 '表名', '列簇‘ hbase(main):002:0> create 'hbase_test',{NAME => 'f1',VERSION => 1}hbase(main):002:0> list ---# 相当于show tablesTABL.

原创 hadoop 细节考察点

1. 在Hadoop 上运行一个Job, 主要就是MR，而MR的优化就是主要的关键。从六个方面考虑：数据输入、Map阶段、Reduce阶段、IO传输、数据倾斜问题和常用的调优参数InputFormat: CombineTextInputFormat作为输入，解决大量小文件场景.Map阶段：调整 io.sort.mb、sort.spil.percent,增大spill内存上限，减少Spill次数。调整 io.sort.factor,增大...

原创 Hadoop 进阶知识体系

1.x版本 与 2.x版本的区别JoJobTracker： 全局唯一，管理:资源管理，作业调度，作业监控，重新调度作业等。TaskTracker： 对本节点的资源( cpu、内存、磁盘等 )进行划分，负责具体的作业执行工作Task： 就是 MapTask 与 ReduceTask弊端一目了然，JoJobTracker 工作量太大且 存在单节点故障.有空附上说明….2.x版本 YARN 将 MapReduce 1.X 中的 JobTracker 拆分成了两个独立的组件：ResourceM

原创 Hadoop 基础知识篇

1. Hadoop 基础知识框架老规矩灵魂三问，Hadoop是什么？用途在哪方面？如何使用？分布式文件存储系统。Google的三篇论文 :GFS -->HDFS、MapReduce -->MR、Big Table -->Hive。主要用于集群节点上 管理保存文件； 安装搭建、命令的上传下载 不说明了，直接上干货！ 架构体系。 现在回过头来看，感觉像是顿悟了.做到不看图 也能说出来 框架图–各组件间的工作原理.脑海中要有三个名词 的组成架构！ Client、NameNode.

原创 如何在IDEA中直接导入github的项目

IDEA加入GitHub项目管理.从远程仓库GitHub上Down项目》上图中的 URL，是你需要下载的哪个仓库项目然后项目被成功下载下来.提交只是将数据保存在本地仓库Push 才是将本地仓库数据 推送到远程 GitHub仓库Pull 拉取 GitHub数据创建新分支分支的作用，为什么使用多个分支？如何管理分支？抽空 整理一下再写....

原创 Git安装并关联GitHub

1. Git 安装安装路径自己改.全选.第一个选项：如果是跨平台项目，在windows系统安装，选择；第二个选项：如果是跨平台项目，在Unix系统安装，选择；第三个选项：非跨平台项目，选择。点击next》2. GitHub创建 Git关联GitHubGitHub 账号创建不说,自己百度去登录GitHub 账号–> setting–>SSH and GPG keys 添加上ssh私匙 ssh私匙如何获得？ 是Git 我们自己生成的.####

原创 GitHub更新仓库上的项目

打开 gitBash克隆一个项目和它的整个代码历史(版本信息)$ git clone https://github.com/GCL-sh/Oracle.git创建新文件夹 将文件拷贝进这个新建文件夹.$ mkdir -p exp.imp_oracle$ scp ./…/XXX/fileName/* ./exp.imp_oracle将修改后的项目更新到本地仓库git add --all git commit -m “提交oracle备份恢复”$ git remote..

原创 IDEA关联不上GitHub

自己工作笔记本使用 IDEA关联Github 报错记录