排序:
默认
按更新时间
按访问量

知识图谱基础知识--模式语言与知识图谱

知识图谱是将域划分为不同粒度级别的产品,因此我们可以非常轻松地管理和管理每个级别。 此外,知识图谱分为以下五个主要问题: •分析问题(目标) •设计问题(能力) •知识问题(目标和能力在一起) •发展问题(发展方案) •部署问题(部署方案)知识地图上发现的每个知识问题都是分层的,并分为三层软件稳...

2018-11-15 22:09:31

阅读数:4

评论数:0

Linux cenots shell 批量关闭指定关键字的进程,并重新启动新的进程 进程重新启动

#!/bin/bash #确保shell 切换到当前shell 脚本文件夹 current_file_path=(cd"(cd "(cd"(dirname “$0”)&qu...

2018-11-15 14:55:55

阅读数:26

评论数:0

Hive性能优化指南

Hive 性能优化指南 Hive是Hadoop中数PB数据的SQL查询标准。它提供对HDFS中数据的类似SQL的访问,使Hadoop可用作数据仓库。 Hive查询语言(HQL)在关系数据库中具有与标准SQL类似的语义和功能,因此经验丰富的数据库分析人员可以轻松掌握它。 Hive的查询语言可以在不同...

2018-11-14 14:21:21

阅读数:23

评论数:0

Centos7 安装HUE 实录

使用了HUE的docker 版本后,发现了很多问题,于是干脆自己手动安装一个。 [root@hadoop-namenode1 mysql]# uname -a Linux hadoop-namenode1 4.4.58-1.el7.elrepo.x86_64 #1 SMP Thu Mar 30 1...

2018-11-14 14:08:29

阅读数:19

评论数:0

DBSchema 连接Hive2

前提条件: 1.hadoop 集群运行正常 2. hive 安装正常 3. 启动了hive2 服务,默认端口是10000 User: hadoop is not allowed to impersonate hive, serverProtocolVersion:null could not es...

2018-11-13 08:05:51

阅读数:9

评论数:0

现代大数据的8大特点

大数据不仅仅是大量数据。在这里,Big这个词指的是大范围的数据。这个领域的一个众所周知的谚语是用字母V开头的三个单词来描述大数据:数据量大,速度和变化。但分析和数据科学界已经看到数据在其他方面有所不同,除了大数据的三个基础,如准确性,可变性,波动性,可视化和价值。到目前为止提到的不同Vs解释如下:...

2018-11-13 01:03:29

阅读数:35

评论数:0

NFS服务器部署实战

NFS 服务器 192.168.2.16 操作系统centos7 物理机器,磁盘很大 1.安装前准备 a.确认可以连接互联网 ping baidu.com #PING baidu.com (123.125.115.110): 56 data bytes #64 bytes from 123.1...

2018-11-12 17:41:12

阅读数:4

评论数:0

发现 已存在的 RPM 数据库问题的简单解决办法

[root@hadoop-namenode1 server]# yum -y install nfs-utils -y 已加载插件:fastestmirror Loading mirror speeds from cached hostfile base: mirrors.aliyun.com ...

2018-11-12 17:18:19

阅读数:6

评论数:0

flink基础知识----水印处理

水印 到目前为止,我们一直在从管道作者或数据科学家的角度来看待流处理。第2章介绍了水印作为回答事件时间处理发生位置以及处理时间结果何时实现的基本问题的答案的一部分。在本章中,我们处理相同的问题,而不是从流处理系统的底层机制的角度来看。查看这些机制将有助于我们激发,理解和应用水印的概念。我们将讨论如...

2018-11-12 15:56:22

阅读数:22

评论数:0

Flink基础知识--何时以及如何使用流处理模式

Going Streaming:何时以及如何 我们只是观察批量引擎上窗口管道的执行情况。 但是,理想情况下,我们希望我们的结果具有较低的延迟,并且我们还希望本地处理无界数据源。切换到流媒体引擎是朝着正确方向迈出的一步,但是我们之前等待我们的输入被全部消耗以生成输出的策略已不再可行。输入触发器和水印...

2018-11-12 10:59:11

阅读数:24

评论数:0

Flink基础知识--无界数据处理

无界数据:流式传输与大多数基于批处理的无界数据处理方法的临时性质相反,流式系统是针对无界数据构建的。正如我们之前所讨论的,对于许多真实的分布式输入源,您不仅会发现自己处理无界数据,还会处理以下数据:事件时间高度无序,这意味着您需要某种时间 如果要在发生它们的上下文中分析数据,则在管道中进行基于sh...

2018-11-11 20:36:44

阅读数:41

评论数:0

Flink基础知识--有界数据处理

有界数据处理 有界数据在概念上非常简单,并且可能对每个人都很熟悉。在图1-2中,我们从左侧开始,其中包含一个充满熵的数据集。我们通过一些数据处理引擎(通常是批处理,虽然设计良好的流引擎也能正常工作)运行它,例如MapReduce,并且在右侧最终得到一个具有更大内在价值的新结构化数据集。 图1-2。...

2018-11-11 20:33:02

阅读数:20

评论数:0

Flink基础知识 ---事件时间与处理时间

事件时间与处理时间要谈论无限数据处理,需要清楚地了解所涉及的时间域。在任何数据处理系统中,通常有两个我们关心的时间域:事件时间这是事件实际发生的时间。 处理时间这是在系统中观察事件的时间。 并非所有的用例都关心事件时间(如果你的事情没有,那么万岁!你的生活会更容易),但很多人都这么做。示例包括表征...

2018-11-11 20:30:11

阅读数:13

评论数:0

Ansible高级应用--创建DDNS (动态域名解析)

Ansible高级应用–创建DDNS 运行环境bind-dns docker [root@localhost bind]# more start-docker.sh #!/bin/bash sudo ls current_file_path=(cd"(cd &am...

2018-11-09 09:06:47

阅读数:44

评论数:0

Ansible高级应用--动态创建hosts实践,简化部署配置文件。

使用Ansible 时不可少的时hosts 文件, 每次运行都会用到。但是这个hosts文件经常成为项目难以管理的问题源头。因为需要定义太底层的hosts 文件。实际项目比这个要复杂很多,如果我们能通过面向对象的原理来管理hosts 文件,这样生活就会简单和可控制的多。 经过2年多的实际的项目部署...

2018-11-09 08:49:37

阅读数:55

评论数:0

领域驱动设计(Domain Drive Design)学习分享--战术模式是DDD的关键

战术模式是DDD的关键 DDD不是面向对象设计的书,也不是以代码为中心的哲学或模式语言。但是,如果您在网上搜索有关DDD的文章,那么您会错误地认为它只是少数几种实现模式,因为DDD上的大多数文章和博客都关注建模模式。开发人员更容易看到代码中实现DDD的战术模式,而不是业务用户和团队之间的对话,这是...

2018-11-06 20:54:01

阅读数:21

评论数:0

领域驱动设计(Domain Drive Design)学习分享--DDD的战略模式

DDD是一种软件开发方法,使团队能够有效地管理复杂问题域的软件构建和维护。 并非所有大型软件产品都需要完美设计 - 实际上尝试这样做会浪费精力。开发团队和领域专家使用分析模式和知识运算来将大型问题域提炼为更易于管理的子域。 这种蒸馏揭示了核心子域 - 软件编写的原因。核心领域是正在开发的产品的驱...

2018-11-06 20:43:25

阅读数:29

评论数:0

Scala设计模式UML图例和代码实现实战 行为模式--空对象设计模式

空对象设计模式 空对象设计模式大多数面向对象的语言都有一种指定某些值不存在的方法。例如,在Scala和Java中,这可以是可以分配给对象的空值。在对象上调用null的任何方法都会导致NullPointerException,因此开发人员应该小心并检查是否存在这种可能性。但是,这些检查可能会使源代...

2018-11-06 10:48:01

阅读数:25

评论数:0

Scala设计模式UML图例和代码实现实战 行为模式--值对象设计模式

值对象设计模式 值对象设计模式 在编程中,有不同的比较数据的方法。我们可以比较对象标识或它们的值。这些在不同的场景中很有用,在这里,我们将看到对象是什么以及何时可以使用它们。 值对象是小而简单的不可变对象。他们的平等不是基于身份,而是基于价值平等。 值对象用于表示数字,金钱,日期等。它们应该是小...

2018-11-06 10:34:10

阅读数:29

评论数:0

Scala设计模式UML图例和代码实现实战 行为模式--责任链设计模式

示例类图 用于说明责任链设计模式的常见示例是关于应用程序中的事件处理,具体取决于它们是来自鼠标还是键盘操作。对于我们的类图和代码示例,让我们看看我们每天使用的其他东西 - ATM。他们如何以不同的音符组合返回正确的金额?答案当然是责任链。 我们将在这里提供两个图表 - 一个允许我们实现责任链模式的...

2018-11-06 10:19:53

阅读数:24

评论数:0

提示
确定要删除当前文章?
取消 删除