- 博客(86)
- 收藏
- 关注
RSS订阅原创 Oracle 19c OCP认证 学习笔记（82） —— 约束的DEFERRABLE, NOT DEFERRABLE, INITIALLY IMMEDIATE 和 INITIALLY DEFERRED
约束的DEFERRABLE, NOT DEFERRABLE, INITIALLY IMMEDIATE 和 INITIALLY DEFERRED
2022-06-19 08:12:07
431
原创 Oracle 19c OCP认证 学习笔记（81） —— oracle创建视图的一些总结：包括with check option和with read only
oracle创建视图的一些总结：包括with check option和with read only
2022-06-18 22:39:37
635
原创 LINUX 运维 学习笔记（78） —— 手动清理不活跃内存
1、手动清理内存：free && sync && echo 3 > /proc/sys/vm/drop_caches && echo "" && free
2021-07-07 17:30:56
250
原创 Oracle 学习笔记（77） —— dbms_scheduler 用法
一、创建 dbms_scheduler：-- 创建schedule begin -- create_schedule dbms_scheduler.create_job( job_name => 'HOUR_DATA_UPDATE', job_type => 'STORED_PROCEDURE', job_action => 'PROC_HOUR_DATA_UPDATE', -- 存储过程名 auto_drop
2021-06-12 06:44:50
1047
原创 星环大数据 学习笔记（76） —— Kafka 运维常用命令
1、查看 kafka 消费者组：kafka-consumer-groups.sh --list --bootstrap-server bigdata-slave3:9092 --command-config /opt/TDH-Client/kafka/config/consumer.properties2、查看 kafka 数据积压：kafka-consumer-groups.sh --describe --group default-zhongqidevice.zhongqi_devicerealtim
2021-05-26 08:04:15
417
原创 Java大数据平台开发 学习笔记（75） —— Starting MySQL. ERROR! The server quit without updating PID file 出现报错
1、问题描述：linux 安装 mysql 后报错启动不了 Starting MySQL. ERROR! The server quit without updating PID file (/var/lib/mysql/hadoop01.pid).2、问题分析：Step 1) 安装autoconf库yum -y install autoconfStep 2) 接着执行/usr/bin/mysql_install_db --user=mysqlStep 3) 查看日志/usr/sbin/
2021-03-09 15:05:37
257
原创 Java大数据平台开发 学习笔记（74） —— Hive 报 LZO Premature EOF from inputStream 错误
1、问题描述：今天例行的任务报 Premature EOF from inputStream 的错误Task with the most failures(4): -----Task ID: task_1615190392211_0031_m_000231URL: http://hadoop02:8088/taskdetails.jsp?jobid=job_1615190392211_0031&tipid=task_1615190392211_0031_m_000231----
2021-03-08 18:59:54
406
1
原创 Java大数据平台开发 学习笔记（73） —— hadoop 的 mapreduce 作业中经常出现 Java heap space 解决方案
1、问题描述：常常被一些用户问到，说“为什么我的mapreduce作业总是运行到某个阶段就报出如下错误，然后失败呢？以前同一个作业没出现过的呀？”10/01/10 12:48:01 INFO mapred.JobClient: Task Id : attempt_201001061331_0002_m_000027_0, Status : FAILEDjava.lang.OutOfMemoryError: Java heap space at org.apache.hadoop.map
2021-03-08 17:08:45
127
原创 Java大数据平台开发 学习笔记（72） —— MapReduce 参数优化
一、资源相关参数：1.1、这些参数都需要在 mapred-site.xml 中配置：mapreduce.map.memory.mb一个 MapTask 可使用的资源上限（单位:MB），默认为1024如果 MapTask 实际使用的资源量超过该值，则会被强制杀死。mapreduce.reduce.memory.mb一个 ReduceTask 可使用的资源上限（单位:MB），默认为1024如果 ReduceTask 实际使用的资源量超过该值，则会被强制杀死。mapred.child.ja
2021-03-08 16:55:33
285
原创 Java大数据平台开发 学习笔记（71） —— Kafka 原理（附 Kafka 百度云盘下载地址）
Kafka介绍概述官方网址：http://kafka.apache.org/以下摘自官网的介绍：Apache Kafka® is a distributed streaming platform. What exactly does that mean?We think of a streaming platform as having three key capabilities:It lets you publish and subscribe to streams of records.
2021-01-26 09:02:18
1378
原创 Java大数据平台开发 学习笔记（70） —— Hbase 原理（附 Hbase 百度云盘下载地址）
简介2020年12月18日9:10一、概述HBase是Yahoo!开发的后来贡献给了Apache的一套基于Hadoop的、分布式的、可伸缩的非关系型数据库HBase能够对大量数据进行随机且实时的读写HBase能够管理非常大的表：billions of rows X millions of columnsHBase是Doug Cutting根据谷歌的论文来仿照实现的，因此HBase和Big Table的实现原理一模一样，只是语言不一样HBase在设计和存储的时候，借鉴了列存储的思想HBase
2021-01-26 09:00:18
961
1
原创 Java大数据平台开发 学习笔记（69） —— HVE 原理 （附 Hive 百度云盘下载地址）
简介2021年1月18日9:00一、概述Hive是Apache提供的一套用于进行数据仓库管理的机制Hive提供了类SQL(Hive QL -> HQL)语言来读写或者管理HDFS上的数据，在底层Hive会将这个类SQL语言转化为MapReduce程序执行，因此Hive的执行效率相对较低，适合于离线分析场景Hive原本是Hadoop的子工程，但是后来被独立出来成为单独的顶级工程在启动Hive之前，需要先确保服务器上安装并且启动了Hadoop，还需要确保配置了环境变量HADOOP_HOME
2021-01-21 09:05:41
583
1
原创 Java大数据平台开发 学习笔记（68） —— Flume 原理（附 Flume 百度云盘下载地址）
一、简介1.1、概述Flume是Cloudera开发后来贡献给了Apache的一套用于进行日志的收集(collecting)、汇聚(aggregating)和传输(moving)的系统日志是大数据的基石 - 实际开发中，有超过70%的数据是从日志中获取的版本a Flume0.X：Flume-og。对分布式和线程的并发性支持的不好b Flume1.X：Flume-ng。Flume1.X和Flume0.X不兼容1.2、基本概念Event：a 在Flume中，会将收集到的每一条日志封
2021-01-14 16:10:16
342
原创 Java大数据平台开发 学习笔记（67） —— YARN 原理
一、概述YARN(Yet Another Resource Negotiator，至今另一个资源调度器)是Hadoop2.0提供的一套用于进行任务调度和资源管理的机制YARN是Hadoop2.0中提供的最重要的特性之一。也是因为YARN的出现，导致Hadoop1.0和Hadoop2.0不兼容原因a 内部① 在Hadoop1.0中，没有YARN，MapReduce分为主节点JobTracker以及从节点TaskTracker。但是在Hadoop1.0中，作为主节点的JobTracker只允许出现
2021-01-14 15:57:55
264
原创 Java大数据平台开发 学习笔记（66） —— HDFS Explorer 下载安装 Cerebrata.AzureExplorer 问题
1. 问题描述：2. 问题分析：云主机连接不上本地IP解析错误云主机工作处于安全模式3. 解决方式：更改云主机名更改本地 hosts 文件使用 linux 命令强制退出安全模式Step 1) 下载 HDFS Explorer 软件安装包：百度云连接：https://pan.baidu.com/s/1tlJWHusCdeGRlhQsFrmMpA（提取码：f3ql）Step 2) 下载后，双击 HDFS+Explorer+Installer.msi 安装：
2021-01-10 21:05:11
569
原创 Java大数据平台开发 学习笔记（65） —— Could not locate executable null\bin\winutils.exe in the Hadoop binaries 问题
1. 问题描述：如下图：Could not locate executable null\bin\winutils.exe in the Hadoop binaries*2. 问题分析：仔细查看报错是缺少 winutils.exe 程序。Hadoop都是运行在Linux系统下的，在windows下eclipse中运行mapreduce程序，要首先安装Windows下运行的支持插件。3. 解决方式：安装并配置插件(我这里还是Linux版的hadoop安装包，我们只需要下载一个winuti
2021-01-10 21:03:42
124
原创 Java大数据平台开发 学习笔记（64）—— MapReduce 原理
一、简介1.1、概述MapReduce是Hadoop提供的用于进行分布式计算的框架MapReduce是仿照Google MapReduce来实现的MapReduce会将整个计算过程拆分2个阶段：Map(映射)阶段和Reduce(规约)阶段1.2、组件1.2.1、Writable - 序列化在MapReduce中，要求被传输的数据必须能够序列化MapReduce提供了一套独立的序列化机制，基于AVRO来实现的，但是在AVRO的基础上进行了封装，使得序列化过程更加的简单 - 只需.
2021-01-08 08:31:59
299
原创 Java大数据平台开发 学习笔记（63）—— HDFS 原理（附 Hadoop 百度云盘下载地址）
一、简介1.1、概述HDFS(Hadoop Distribute File System)是Hadoop提供的分布式文件存储系统HDFS是仿照Google File System(GFS)来实现的1.2、特点能够存储超大文件 - 切块能够快速的应对和检测故障 - 心跳能够在相对廉价的机器上进行横向扩展不支持低延迟的响应不建议存储小文件 - 一个文件大小<Block*0.8简化的一致性模型 - 一次写入多次读取，不允许修改但是允许追加写入提供了流式访问模型支持弱事务或
2021-01-07 10:15:40
460
原创 Java大数据平台开发 学习笔记（62）—— 大数据简介、Hadoop版本
一、6V特征数据体量大。中小型企业的数据量基本上在TB级别左右，大型企业的数据量是在PB左右数据的种类样式和来源多。样式：文本、图片、视频、音频、flash等。种类：结构化数据、半结构化数据、非结构化数据。来源：日志、爬虫、网页埋点、数据库、其他文件系统、手动录入等数据的增长速度越来越快。随着网络的发展，数据的产生速度和传播速度越来越快数据的价值密度越来越低。指的是需要的数据在总数据样本量中占的比例越来越低。但这并不意味着获取到的数据变少，实际上是在变多的数据的质量/真实性。随着网络的发展，获
2021-01-07 08:50:32
596
原创 Java大数据平台开发 学习笔记（61）—— Zookeeper、ZAB协议（附 Zookeeper百度云盘下载地址）
一、Zookeeper 简介1.1、概述Zookeeper是Yahoo!开发后来贡献给了Apache的一套用于进行分布式协调和管理的框架Zookeeper原本是Hadoop的子组件，后来独立出来成为一个单独的顶级项目Zookeeper是一个中心化的服务(注册中心)：统一配置、统一命名、分布式锁(解决了分布式中的死锁>和活锁问题)、分布式组服务Zookeeper是CP系统1.2、安装方式单机模式：在一台服务器上安装，往往只能启动这个框架的部分服务伪分布式：在一台服务器上安装，通
2021-01-06 13:54:55
378
原创 Java大数据平台开发 学习笔记（60）—— AVRO、序列化、RPC
一、概述AVRO是Apache提供的一套序列化和RPC机制AVRO原本是Hadoop的子组件，后来被独立出来成为了一个单独的项目二、序列化序列化：将某一个对象按照指定规则转化为对应形式的数据 - 如果将对象序列化之后存储到磁盘上，这个过程称之为持久化 - 持久化本质上是一种特殊的序列化意义/目的：对象的传输和存储序列化的衡量标准a 序列化占用的资源数量b 序列化花费的时间c 序列化之后产生的数据量d 序列化机制能否跨平台跨语言AVRO在json的基础上对对象进行了转化和封装A
2020-12-31 10:18:59
159
原创 Java大数据平台开发 学习笔记（59）—— 高并发 JUC （BlockingQueue、ConcurrentMap、ExecutorService、Lock、Atomic）
简介2020年11月24日15:54一、概述JUC是JDK1.5中提供的一套并发包及其子包：java.util.concurrent，java.util.concurrent.atomic，java.util.concurrent.lockJUC中包含了5套接口：BlockingQueue，ConcurrentMap，ExecutorService，Lock和AtomicBlockingQueue - 阻塞式队列2020年11月24日16:13一、概述特征：阻塞、FIFO(First I
2020-12-28 16:49:46
172
原创 Java大数据平台开发 学习笔记（58）—— JDK中IO的分类：BIO、NIO、AIO
一、概述1.1、IO 的作用：传输数据1.2、JDK中 IO 的分类：BIO - BlockingIO - 同步阻塞式IONIO - NewIO - NonBlockingIO - 同步非阻塞式IO，在JDK1.4中出现 — tomcatAIO - AsynchronousIO - 异步非阻塞式IO，在JDK1.7中出现 - AIO本身是在NIO的基础上进行了改进，因此称之为NIO.2注： 在现在开发中，如果需要进行大量的短任务，那么使用NIO；如果需要进行长任务，会使用BIO。1.3
2020-12-28 15:17:45
125
原创 Java大数据平台开发 学习笔记（57）—— Mysql 主从复制、Mycat 读写分离、HAproxy 高可用
• 由 ChiKong_Tam 写于 2020 年 11 月 5 日
2020-11-05 19:23:51
130
1
原创 Java大数据平台开发 学习笔记（56）—— session.getAttribute 却显示 null 问题 及其 request.getSession(true/false) 的理解
一、request.getSession()和request.getSession(true/false)的理解：request.getSession() 和 request.getSession(true) 意思相同：如果 session 不存在，就新建一个 session。request.getSession() 和 reqeust.getSession(false) 获取 session,如果 session不存在，则返回null。二、session.setAttribute 明明获得了值，
2020-10-27 18:38:23
2680
原创 Java大数据平台开发 学习笔记（55）—— java设计模式（职责链模式）知识汇总
一，前言：职责链模式的注意事项和细节：优点：将请求与处理分开，实现了解耦，提高系统的灵活性。简化了对象，使对象无需知道链的结构。缺点：当链比较长的时候，性能会受到影响。采用了类似递归的方式，调试逻辑比较复杂。二，职责链模式：2.1，UML图：2.2、代码实例：Step 1) 创建 Approver 抽象类：public abstract class Approver { Approver approver; String name; publ
2020-10-23 19:21:05
93
原创 Java大数据平台开发 学习笔记（54）—— java设计模式（策略模式）知识汇总
一，前言：策略模式的注意事项和细节：策略模式的核心思想是：多用组合/聚合，少用继承。遵循 ”开闭原则“，同时避免了多重转换语句。提供了可以替换继承的办法，使得代码易于切换、易于理解、易于扩展。二，策略模式：2.1，UML图：2.2、代码实例：Step 1) 创建 Duck 抽象类：public abstract class Duck{ FlyBehavior flyBehavior; QuackBehavior quackBehavior; publi
2020-10-23 18:00:32
91
原创 Java大数据平台开发 学习笔记（53）—— java设计模式（状态模式）知识汇总
＃一，前言：解释器模式的注意事项和细节：1.当有一种语言需要解释运行，可通过语言中的句子表示成一个抽象语法树，就可以考虑使用解释器模式，让程序更具有扩展性。> 2.说明器模式采用递归初始化方式，可能导致调试困难。＃二，解释器模式：2.1，UML图：2.2、代码实例：Step 1) 创建 Express 抽象类：public abstract class Express { public abstract int interpreter(HashMap<String,
2020-10-23 16:24:30
125
1
原创 Java大数据平台开发 学习笔记（52）—— java设计模式（解释器模式）知识汇总
一、前言：解释器模式的注意事项和细节：当有一个语言需要解释运行，可将该语言中的句子表示成一个抽象语法树，就可以考虑使用解释器模式，让程序更具有扩展性。解释器模式采用递归调用方式，可能导致调试困难。二、解释器模式：2.1、UML 图：2.2、代码实例：Step 1) 创建 Express 抽象类：public abstract class Express { public abstract int interpreter(HashMap<String,Integer&
2020-10-23 09:05:39
130
1
原创 Java大数据平台开发 学习笔记（51）—— java设计模式（备忘录模式）知识汇总
一、前言：备忘录模式的注意事项和细节：给用户提供了一个可恢复的机制，可以使用户方便的回到某个历史的状态。实现了信息的封装，使得用户无需关心状态保存的细节。如果类的成员变量过多，势必会占用比较大的资源，而且每次保存都会消耗一定的内存。二、备忘录模式：2.1、UML 图：2.2、代码实例：Step 1) 创建 Memento 类：public class Memento { private int vit; private int def; public
2020-10-22 20:30:09
93
1
原创 Java大数据平台开发 学习笔记（50）—— java设计模式（中介者模式）知识汇总
一、前言：中介者模式的注意事项和细节：使用中介者模式可以将网状结构分离成星型结构。减少类的依赖，降低偶合，遵循了迪米特法则。二、中介者模式：2.1、UML 图：2.2、代码实例：Step 1) 创建 Colleague 抽象类：public abstract class Colleague { private Mediator mediator; public String name; public Colleague(Mediator mediator
2020-10-22 19:50:00
97
原创 Java大数据平台开发 学习笔记（49）—— Linux、Mysql、Hadoop 常用汇总
1、查看 3306 端口是否开放：netstat -an|grep 33062、删除 Mysql Data 文件夹：rm -rf /var/lib/mysql3、使用命令查看 Mysql 日志信息：cat /var/log/mysqld.log• 由 ChiKong_Tam 写于 2020 年 10 月 22 日
2020-10-22 09:31:31
138
原创 Java大数据平台开发 学习笔记（48）—— java设计模式（观察者模式）知识汇总
一、前言：观察者模式还有一个名字叫发布-订阅模式，我们熟悉的消息队列如ActiveMQ，就是采用的这种设计模式，总的来说观察者模式主要难理解的地方有两个，一个是发布者对一个或多个观察者的管理，另一个就是实现消息发布者和订阅者之间的解耦。二、观察者模式：2.1、UML 图：2.2、代码实例：Step 1) 创建 Obser 接口：public interface Obser { public void updata(float temperature, float press
2020-10-21 21:23:02
135
原创 Java大数据平台开发 学习笔记（47）—— java设计模式（迭代器模式）知识汇总
一、前言：迭代器模式的注意事项和细节：优点：提供一个统一的方法遍历对象，客户不用再考虑聚合的类型，使用一种方式就可以遍历对象。隐藏了聚合的内部结构，客户端要遍历对象的时候只需要取迭代器，而不需知道聚合的具体组成。遵循了单一职责原则，如果遍历方式改变，只影响到了迭代器。缺点：每个聚合对象都需要一个迭代器，会生成多个迭代器不方便管理。二、静态代理模式：2.1、UML 图：2.2、代码实例：Step 1) 创建 College 接口：public interface Col
2020-10-21 20:31:33
123
1
原创 Java大数据平台开发 学习笔记（46）—— java设计模式（访问者模式）知识汇总
一、前言：访问者模式的注意事项和细节：优点：访问者模式符合单一职责原则，让程序有更好的扩展性与灵活性。访问者模式可以对功能进行统一，适用于数据结构相对稳定的系统（如报表、UI、过滤器、拦截器）。缺点：违背了迪米特法则，给具体元素更改困难。违背了依赖倒置原则，访问者依赖的是具体元素，不是抽象元素。二、静态代理模式：2.1、UML 图：2.2、代码实例：Step 1) 创建 abstract 抽象类：public abstract class Person { p
2020-10-21 08:54:16
121
原创 Java大数据平台开发 学习笔记（45）—— java设计模式（命令模式）知识汇总
一、前言：命令模式的注意事项和细节：将发起请求的对象与执行请求的对象解耦。发起请求的对象就是调用者，调用者只需调用命令对象的 execute() 方法就可以让接受者工作，而不必知道接受者具体是如何实现的。容易设计一个命令队列，只要把命令对象放入队列，就可以多线程的执行命令。容易实现对请求的撤销与重做。二、静态代理模式：2.1、UML 图：2.2、代码实例：Step 1) 创建 Command 接口：public interface Command { public v
2020-10-20 20:51:39
78
原创 Java大数据平台开发 学习笔记（44）—— java设计模式（模版方法模式）知识汇总
一、前言：模版方法模式的注意事项和细节：基本思想就是：算法只存在于一个地方，也就是在父类中，容易修改。实现了最大化代码复用，父类模版方法被子类继承直接使用。统一了算法，提供了很大的灵活性，父类的模版方法确保了算法的结构保持不变，同时由子类提供部分步骤实现。二、静态代理模式：2.1、UML 图：2.2、代码实例：Step 1) 创建 SoyaMilk 抽象类：public abstract class SoyaMilk { final void make(){
2020-10-20 19:52:47
107
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人