基础
xxydzyr
愿有岁月可回首,且以深情共白头!@猪头
展开
-
Oracle视图
Oracle视图文章目录Oracle视图视图定义视图的优缺点优点:缺点:视图的分类视图的创建**关系视图**内嵌视图对象视图*物化视图*简单视图的DML操作更改视图更改视图定义视图重新编译删除视图参考博客:Oracle 视图Oracle12C–对象视图(67)注:本博客使用 scott 账号练习,再次之前需要赋予 scott 账号创建 视图的权限(使用SYS用户赋权)。grant cr...原创 2020-01-16 15:50:40 · 1021 阅读 · 0 评论 -
Oracle报错:ORA-00911: invalid character
Oracle报错:ORA-00911: invalid character该错误发生在我创建物化视图时报错。执行环境为PL SQL,Oracle版本为11g。错误重现:-- 代码1CREATE MATERIALIZED VIEW VM1_EMPDISABLE QUERY REWRITEAS SELECT * FROM EMP;-- 代码2CREATE MATERIALIZED ...原创 2020-01-16 11:50:37 · 6422 阅读 · 0 评论 -
zookeeper基础概念
zookeeper基础概念1.1 ZooKeeper 概述**Zookeeper 是一个分布式协调服务的开源框架。**主要用来解决分布式集群中应用系统的一致性问题,例如怎样避免同时操作同一数据造成脏读的问题。**ZooKeeper 本质上是一个分布式的小文件存储系统。**提供基于类似于文件系统的目录树方式的数据存储,并且可以对树中的节点进行有效管理。从而用来维护和监控你存储的数据的状态变化。...原创 2019-06-23 17:02:23 · 312 阅读 · 0 评论 -
Sybase IQ常用函数大全--时间和日期函数(1)
Sybase IQ常用函数大全–时间和日期函数(1)查询索引:ISDATE 函数:测试字符串参数是否可以转换为日期。如果可以进行转换,则此函数返回 1;否则返回 0。如果参数为 NULL,则返回 0。DATE 函数:将表达式转换为日期,并删除任何小时、分钟或秒。DATEADD 函数:返回通过将指定数量的指定日期分量添加到日期中而生成的日期。DATECEILING 函数:通过将所提供的值...原创 2019-04-07 14:05:46 · 5657 阅读 · 0 评论 -
Sybase IQ常用函数大全--时间和日期函数(2)
Sybase IQ常用函数大全–时间和日期函数(2)查询索引:DAY 函数:返回 1 到 31 之间的一个整数,该整数对应于指定一天的日期(几月几日)。、DAYNAME 函数:返回指定日期的星期数。DAYS 函数:返回自任意开始日期以来的天数,返回两个指定日期之间的天数,或者将指定的 数量的天数添加到给定日期中。DOW 函数:返回 1 到 7 之间的一个数字,表示指定日期的星期数,其...原创 2019-04-07 14:06:51 · 1877 阅读 · 0 评论 -
Sybase IQ常用函数大全--时间和日期函数(3)
Sybase IQ常用函数大全–时间和日期函数(3)查询索引:HOUR 函数:返回 0 到 23 之间的一个数字,该数字对应于指定日期/时间的小时部分。HOURS 函数:返回自任意开始日期和时间以来的小时数、两个指定时间之间的完整小时数,或者将指定的 integer-expression 数量的小时添加到某个时间中。MINUTE 函数:返回 0 到 59 之间的一个数字,该数字对应于指定...原创 2019-04-07 14:09:52 · 1203 阅读 · 0 评论 -
初识VMware
初识VMware1. VMware 虚拟网络在搭建虚拟机之前,还是得熟悉一下虚拟机的概念。1.1 虚拟网卡、虚拟交换机当使用 VMware Workstation 安装一个虚拟机时就会自动安装一块虚拟网卡,此外还可手动给虚拟机添加多块虚拟网卡。交换机用于电(光)信号的转发。可以为接入交换机的任意两个网络节点提供独享的电信号通路。简单的理解可以把一些电脑连接在一起组成一个局域网。常用的...原创 2019-05-31 22:49:41 · 168 阅读 · 0 评论 -
Linux常用命令
Linux常用命令1. 查找1.1 grepgrep 命令是一种强大的文本搜索工具,它能使用正则表达式搜索文本,并把匹配的行打印出来。格式:grep [option] pattern [file]可使用 —help 查看更多参数。使用实例:ps -ef | grep sshd # 查找指定 ssh 服务进程ps -ef | grep sshd | grep -v grep...原创 2019-06-03 21:19:21 · 292 阅读 · 0 评论 -
Linux文件上传、下载
Linux文件上传、下载我们需要搭建集群,到时候很多文件都是在Windows上下载好的,然后在上传到Linux上,这时候我们就要用到Linux的上传功能。同时我们上传到一台虚拟机后,我们不会在用相同的步骤上传到其他机器,虽然在自己电脑上玩可以,但是一旦集群大了起来,这个操作就很麻烦,所以我们一般是使用分发,将需要发送到各个节点的文件先上传到一台虚拟机,然后将这台虚拟机上的文件分发到其他虚拟机上...原创 2019-06-03 21:23:26 · 5334 阅读 · 0 评论 -
Sybase IQ常用函数大全--数据类型转换函数
Sybase IQ常用函数大全–数据类型转换函数查询索引:BIGINTTOHEX 函数:返回 VARCHAR(16) 中十进制整数的十六进制等效数字。CAST 函数:返回转换为提供的数据类型的表达式的值。CONVERT 函数:返回转换成提供的数据类型的表达式。INTTOHEX 函数:返回十进制整数的十六进制等效数字。ISNUMERIC 函数:测试字符串参数是否可以转...原创 2019-04-07 14:04:36 · 4768 阅读 · 0 评论 -
Sybase IQ常用函数大全--分析函数
Sybase IQ常用函数大全–分析函数查询索引:DENSE_RANK 函数:排列组中的项目。就是按照某一个条件排序,形成行号,如果值相等则行号相等,接下来的值不会跳一个行号,而会继续往下形成。NTILE 函数:将查询结果分配到指定数量的表元中,并为表元中的每一行指派相应的表元号。就是给定一个数 n,将结果集切分成 n 等份,每份给一个相同的行号。RANK 函数:排列组中的项目。就是按照...原创 2019-04-07 14:01:42 · 2249 阅读 · 0 评论 -
Java学习-设计模式-备忘录模式
Java学习-设计模式-备忘录模式概述:备忘录模式保存一个对象的某个状态,以便在适当的时候恢复对象。备忘录模式属于行为型模式。优点: 1、给用户提供了一种可以恢复状态的机制,可以使用户能够比较方便地回到某个历史的状态。 2、实现了信息的封装,使得用户不需要关心状态的保存细节。**缺点:**消耗资源。如果类的成员变量过多,势必会占用比较大的资源,而且每一次保存都会消耗一定的内存。使用场景:...原创 2019-03-16 13:23:16 · 147 阅读 · 0 评论 -
Java学习-设计模式-中介者模式
Java学习-设计模式-中介者模式概念:中介者模式是用来降低多个对象和类之间的通信复杂性。这种模式提供了一个中介类,该类通常处理不同类之间的通信,并支持松耦合,使代码易于维护。中介者模式属于行为型模式。优点: 1、降低了类的复杂度,将一对多转化成了一对一。 2、各个类之间的解耦。 3、符合迪米特原则。**缺点:**中介者会庞大,变得复杂难以维护。使用场景: 1、系统中对象之间存在比较复杂...原创 2019-03-16 13:21:54 · 85 阅读 · 0 评论 -
Java学习-设计模式-迭代器模式
Java学习-设计模式-迭代器模式概述:迭代器模式是 Java 和 .Net 编程环境中非常常用的设计模式。这种模式用于顺序访问集合对象的元素,不需要知道集合对象的底层表示。优点: 1、它支持以不同的方式遍历一个聚合对象。 2、迭代器简化了聚合类。 3、在同一个聚合上可以有多个遍历。 4、在迭代器模式中,增加新的聚合类和迭代器类都很方便,无须修改原有代码。**缺点:**由于迭代器模式将存储...原创 2019-03-16 13:21:06 · 173 阅读 · 0 评论 -
Java学习-设计模式-装饰器模式和代理模式的区别
Java学习-设计模式-装饰器模式和代理模式的区别区别:**装饰器模式: ** 关注于在一个对象上动态的添加方法。当我们使用装饰器模 式的时候,我们通常的做法是将原始对象作为一个参数传给装饰者的构造器。**代理模式: ** 关注于控制对对象的访问。用代理模式,代理类(proxy class)可以对它的客户隐藏一个对象的具体信息。因此,当使用代理模式的时候,我们常常在一个代理类中创建一个对象的...原创 2019-03-16 13:20:20 · 1695 阅读 · 0 评论 -
Java学习-设计模式-解释器模式
Java学习-设计模式-解释器模式概述:解释器模式提供了评估语言的语法或表达式的方式,它属于行为型模式。这种模式实现了一个表达式接口,该接口解释一个特定的上下文。这种模式被用在 SQL 解析、符号处理引擎等。优点: 1、可扩展性比较好,灵活。 2、增加了新的解释表达式的方式。 3、易于实现简单文法。缺点: 1、可利用场景比较少。 2、对于复杂的文法比较难维护。 3、解释器模式会引起类膨胀。...原创 2019-03-16 13:19:20 · 134 阅读 · 0 评论 -
Java学习-设计模式-命令模式
Java学习-设计模式-命令模式概述:命令模式是一种数据驱动的设计模式,它属于行为型模式。请求以命令的形式包裹在对象中,并传给调用对象。调用对象寻找可以处理该命令的合适的对象,并把该命令传给相应的对象,该对象执行命令。优点: 1、降低了系统耦合度。 2、新的命令可以很容易添加到系统中去。**缺点:**使用命令模式可能会导致某些系统有过多的具体命令类。**使用场景:**认为是命令的地方都可...原创 2019-03-16 13:18:34 · 110 阅读 · 0 评论 -
Java学习-设计模式-责任链模式
Java学习-设计模式-责任链模式概述:责任链模式为请求创建了一个接收者对象的链。这种模式给予请求的类型,对请求的发送者和接收者进行解耦。这种类型的设计模式属于行为型模式。在这种模式中,通常每个接收者都包含对另一个接收者的引用。如果一个对象不能处理该请求,那么它会把相同的请求传给下一个接收者,依此类推。优点: 1、降低耦合度。它将请求的发送者和接收者解耦。 2、简化了对象。使得对象不需要知...原创 2019-03-16 13:17:45 · 106 阅读 · 0 评论 -
Java学习-设计模式-代理模式
Java学习-设计模式-代理模式概述在代理模式中,一个类代表另一个类的功能。这种类型的设计模式属于结构型模式。在代理模式中,我们创建具有现有对象的对象,以便向外界提供功能接口。优点: 1、职责清晰。 2、高扩展性。 3、智能化。缺点: 1、由于在客户端和真实主题之间增加了代理对象,因此有些类型的代理模式可能会造成请求的处理速度变慢。 2、实现代理模式需要额外的工作,有些代理模式的实现非常...原创 2019-03-16 13:16:53 · 90 阅读 · 0 评论 -
SSH安全协议
SSH安全协议概念:SSH 为 Secure Shell 的缩写,是一种网络安全协议, 专为远程登录会话和其他网络服务提供安全性的协议。通过使用 SSH,可以把传输的数据进行加密,有效防止远程管理过程中的信息泄露问题。它是一种非对称加密,有一个公钥(加密),私钥(解密),它是单向的,即只能用公钥加密,私钥解密,反着则不行。从客户端来看,有两种验证方式:基于密码、基于密钥。基于密码登录:...原创 2019-06-03 21:31:32 · 1295 阅读 · 0 评论 -
linux安装JDK
linux安装JDK在虚拟机上装很多软件的时候,都需要先装jdk,但是虚拟机自带了一个openjdk,安装前需要先卸载openjdk,才能装sun公司的jdk。openjdk和我们装的jdk区别:来源:https://www.cnblogs.com/zhaojingyu/p/8888934.html1. 授权协议的不同OpenJDK采用GPL V2协议放出,而SUN JDK则采用JRL放...原创 2019-06-03 21:39:03 · 217 阅读 · 0 评论 -
kettle连接Hive操作
kettle连接Hive操作文章目录kettle连接Hive操作从Hive中下载数据到excel中向Hive中写入数据通过Hadoopcopyfiles作业组件把数据加载到hive数据库中执行Hive的SQL语句从Hive中下载数据到excel中拉出表输入步骤,然后创建一个新的数据库连接,连接上Hive。这里第一次连接时报错,怀疑是Hive没启动,后面在node-1上运行hive发现...原创 2019-10-08 15:29:25 · 6368 阅读 · 1 评论 -
使用kettle从HDFS上 下载、上传文件
使用kettle从HDFS上 下载、上传文件文章目录使用kettle从HDFS上 下载、上传文件1. 从核心对象中找到Big data,拉出 Hadoop file input 步骤,然后输入相关信息。2. 将结果输出到excel中。上传1. 拉出一个excel 输入,和一个 Hadoop file output ,连接起来。然后修改两者。2. 上传报错,发现是没有权限。3. 最终结果下载1...原创 2019-10-08 15:27:16 · 873 阅读 · 0 评论 -
kettle配置Hadoop环境
kettle配置Hadoop环境文章目录kettle配置Hadoop环境1. 从Hadoop集群上下载 core-site.xml 和 hdfs-site.xml1. 从Hadoop集群上下载 core-site.xml 和 hdfs-site.xml先进入Hadoop的配置文件位置,然后找到 core-site.xml 和 hdfs-site.xml,使用 sz 命令下载下来。cd ...原创 2019-10-08 15:24:49 · 1660 阅读 · 1 评论 -
MapReduce的基础概念
MapReduce的基础概念MapReduce的思想:MapReduce的思想核心:“分而治之”,适用于大量复杂的任务处理场景(大规模数据处理场景)。**Map 负责“分”,**即把复杂的任务分解为若干个“简单的任务”来并行处理。可以进行拆分的前提是这些小任务可以并行计算,彼此间几乎没有依赖关系。**Reduce 负责“合”,**即对 map 阶段的结果进行全局汇总。一个比较形象的语言解...原创 2019-09-16 15:23:34 · 484 阅读 · 0 评论 -
HDFS 的 JAVA API 操作
HDFS 的 JAVA API 操作本节资源:Hadoop在window上编译好的压缩包:链接:https://pan.baidu.com/s/1QvialqyxBu_eHvLEkwBcAw提取码:q8f7HDFS 在生产应用中主要是客户端的开发,其核心步骤是从 HDFS 提供的 api中构造一个 HDFS 的访问客户端对象,然后通过该客户端对象操作(增删改查)HDFS 上的文件。1...原创 2019-08-13 22:49:24 · 224 阅读 · 0 评论 -
HDFS基本原理
HDFS基本原理NameNode 概述NameNode 是 HDFS 的核心。NameNode 也称为 Master。NameNode 仅存储 HDFS 的元数据:文件系统中所有文件的目录树,并跟踪整个集群中的文件。NameNode 不存储实际数据或数据集。数据本身实际存储在 DataNodes 中。NameNode 知道 HDFS 中任何给定文件的块列表及其位置。使用此信息Name...原创 2019-08-13 22:47:28 · 175 阅读 · 0 评论 -
HDFS 基本概念
HDFS 基本概念1. HDFS 介绍HDFS 是 Hadoop Distribute File System 的简称,意为:Hadoop 分布式文件系统。是 Hadoop 核心组件之一,作为最底层的分布式存储服务而存在。分布式文件系统解决的问题就是大数据存储。它们是横跨在多台计算机上的存储系统。分布式文件系统在大数据时代有着广泛的应用前景,它们为存储和处理超大规模数据提供所需的扩展能力。...原创 2019-08-13 22:45:31 · 1224 阅读 · 0 评论 -
启动Hadoop集群
启动Hadoop集群第一次启动前置工作注意:首次启动 HDFS 时,必须对其进行格式化操作。本质上是一些清理和准备工作,因为此时的 HDFS 在物理上还是不存在的。(本质是对namenode进行初始化)命令:hdfs namenode -format 或者 hadoop namenode -format命令中的 - 已经修复为 英文输入法下的 -关于hdfs的格式化:首次启动需要进行格...原创 2019-08-13 22:41:52 · 2059 阅读 · 0 评论 -
Hadoop集群搭建
Hadoop集群搭建博客资源:Hadoop编译好的Linux安装包(2.7.4):链接:https://pan.baidu.com/s/1hpwF6ZwiqXOq-bvTHFEExA提取码:yx0v前置工作同步时间设置主机名映射配置ssh免密登录配置防火墙(关闭防火墙)安装JDK(之前有安装教程)这几步之前在安装zookeeper集群的时候都有介绍,忘记的可以回顾一下我之...原创 2019-08-13 22:36:58 · 210 阅读 · 0 评论 -
ZooKeeper 典型应用
ZooKeeper 典型应用1. 数据发布与订阅(配置中心)发布与订阅模型,即所谓的配置中心,顾名思义就是**发布者将数据发布到 ZK节点上,供订阅者动态获取数据,实现配置信息的集中式管理和动态更新。**例如全局的配置信息,地址列表等就非常适合使用。应用在启动的时候会主动来获取一次配置,同时,在节点上注册一个 Watcher,这样一来,以后每次配置有更新的时候,都会实时通知到订阅的客户端,从...原创 2019-06-23 17:25:52 · 162 阅读 · 0 评论 -
zookeeper选举机制
zookeeper选举机制zookeeper 默认的算法是 FastLeaderElection,采用投票数大于半数则胜出的逻辑。相关内容: Zab协议 、数据可以两阶段提交协议1. 与选举相关的概念服务器 ID 比如有三台服务器,编号分别是 1,2,3。 编号越大在选择算法中的权重越大。选举状态 LOOKING,竞选状态。 FOLLOWING,随从状态,同步 leade...原创 2019-06-23 17:24:34 · 1656 阅读 · 0 评论 -
zookeeper的JavaAPI
zookeeper的JavaAPI代码已经上传至Github:https://github.com/StarsForY/MyBigDatasPracticeorg.apache.zookeeper.ZookeeperZookeeper 是在 Java 中客户端主类,负责建立与 zookeeper 集群的会话,并提供方法进行操作。org.apache.zookeeper.WatcherWa...原创 2019-06-23 17:23:18 · 150 阅读 · 0 评论 -
zookeeper的watcher机制
zookeeper的watcher机制ZooKeeper 提供了分布式数据发布/订阅功能,一个典型的发布/订阅模型系统定义了一种一对多的订阅关系,能让多个订阅者同时监听某一个主题对象,当这个主题对象自身状态变化时,会通知所有订阅者,使他们能够做出相应的处理。ZooKeeper 中,引入了 Watcher 机制来实现这种分布式的通知功能。ZooKeeper 允许客户端向服务端注册一个 Watch...原创 2019-06-23 17:20:31 · 910 阅读 · 0 评论 -
zookeeper的shell操作
zookeeper的shell操作要使用shell命令去操作zookeeper之前需要先启动zookeeper。启动命令在之前安装教程中。启动命令:/export/server/zookeeper/bin/zkServer.sh start查看启动后的状态:/export/server/zookeeper/bin/zkServer.sh status1. 启动zookeeper的shell...原创 2019-06-23 17:19:15 · 1083 阅读 · 0 评论 -
zookeeper的访问机制
zookeeper的访问机制访问控制列表:简称ACL,在javaAPI中,创建znode 的时候,需要这个参数,练习中使用的是:ZooDefs.Ids.OPEN_ACL_UNSAFE(使用完全开发的ACL,允许客户端对znode进行读/写)每个znode创建时都会带有一个ACL列表,用于决定谁可以对它执行何种操作。客户端身份验证机制ACL依赖与zookeeper的客户端身份验证机制。zo...原创 2019-06-23 17:16:15 · 1900 阅读 · 0 评论 -
linux安装zookeeper集群
linux安装zookeeper集群zookeeper安装文件(版本:zookeeper-3.4.5.tar.gz)链接:https://pan.baidu.com/s/1heWjYrlO7Y9fiwqvSPpeOA提取码:jhet安装前置工作:我这整好了三台虚拟机,所以准备打一个zookeeper集群。首先在三台虚拟机上全部装好jdk(卸载openjdk,安装sun公司的jdk)...原创 2019-06-23 17:08:42 · 726 阅读 · 0 评论 -
Java学习-设计模式-享元模式
Java学习-设计模式-享元模式概述享元模式主要用于减少创建对象的数量,以减少内存占用和提高性能,它提供了减少对象数量从而改善应用所需的对象结构的方式。**优点:**大大减少对象的创建,降低系统的内存,使效率提高。**缺点:**提高了系统的复杂度,需要分离出外部状态和内部状态,而且外部状态具有固有化的性质,不应该随着内部状态的变化而变化,否则会造成系统的混乱。理解:这个也很好理解,还是...原创 2019-03-16 13:16:01 · 96 阅读 · 0 评论 -
Java学习-设计模式-外观模式
Java学习-设计模式-外观模式概述:外观模式隐藏系统的复杂性,并向客户端提供了一个客户端可以访问系统的接口。通过向现有的系统添加一个接口,来隐藏系统的复杂性。优点: 1、减少系统相互依赖。 2、提高灵活性。 3、提高了安全性。**缺点:**不符合开闭原则,如果要改东西很麻烦,继承重写都不合适。理解:这个理解很简单,还是以水果店为例,水果店需要进多种水果,比如橘子、苹果、香蕉等等。假设...原创 2019-03-16 13:15:12 · 94 阅读 · 0 评论 -
Java学习回忆录-基础语法-008
Java学习回忆录-基础语法-008对象创建对象的方法:数据类型 对象名 = new 数据类型(参数)通过new 创建对象. 创建的对象,就是用于表示生活是在的一个个体事物. new Phone() -> 这一个对象,就表示生活中一个具体的手机 new Student(); ->这是对象,就表示生活中一个具体的学生. 对象的操作: 创建对象:类名 对象名=new 类...原创 2019-02-20 22:39:27 · 138 阅读 · 0 评论