Hbase四种数据迁移方案

官方文档 参考文档 1. HDFS层次迁移 一.完全关机备份 某些环境可以容忍其HBase群集的定期完全关闭,例如,如果它正在使用后端分析容量而不是服务于前端Web页面。好处是NameNode / Master是RegionServers已关闭,因此没有机会错过对StoreFiles或元数据的任何...

2019-03-05 11:17:33

阅读数 98

评论数 0

hive跨集群迁移数据

1.源端查看要传递的表建表语句 源端hive shell执行 show create table tablename 2.目标端建表 目标端hive shell执行 根据第一步中建表语句建表即可 3.distcp 源端shell执行 hadoop distcp -D ipc.client.fal...

2019-03-01 16:55:30

阅读数 19

评论数 0

Mac 上搭建 Flink 1.7.2 环境并构建运行简单程序入门

准备工作 1、安装查看 Java 的版本号,推荐使用 Java 8。 2.安装 brew /usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/instal...

2019-02-28 15:50:38

阅读数 159

评论数 0

Oracle OGG Kafka

GoldenGate介绍 GoldenGate软件是一种基于日志的结构化数据复制软件。GoldenGate 能够实现大量交易数据的实时捕捉、变换和投递,实现源数据库与目标数据库的数据同步,保持亚秒级的数据延迟。 GoldenGate能够支持多种拓扑结构,包括一对一,一对多,多对一,层叠和双向复制等...

2019-02-25 14:05:40

阅读数 186

评论数 0

github+hexo个人博客网站建设(一)

github官网申请自己的账户 githubID: username 新建一个如下的仓库: username.github.io eg: 必须这样格式命名 安装配置git 不细说了,直接到官网下载安装就好了 https://git-scm.com/downloads 绑定域名(非必要操...

2019-01-25 14:43:56

阅读数 43

评论数 0

Office 2019 Mac 破解版+激活分享

下载 第一种方式:网站下载,(可能比较慢)https://www.waitsun.com/?s=office 此处可以下载Microsoft Office 2019 16.20 Mac 破解版 第二种网盘下载: 链接:https://pan.baidu.com/s/16XWMld2ovk...

2019-01-17 15:22:18

阅读数 2158

评论数 3

Flink Tumbling Windows Join

前言 前面说了官网的实例其实就是Inner JoinWindows Join Example 下面就开始说说Tumbling Windows Join翻滚窗口连接 官网翻译 Tumbling Window Join 当执行翻滚窗口连接时,具有公共密钥和公共翻滚窗口的所有元素以成对组合的形式连接并...

2019-01-15 13:23:03

阅读数 73

评论数 0

Flink Stream Windows Join

前言 从文章标题看出这是个窗口的join讲解文章,我们还是从官网的例子说起 Windows Join 窗口连接连接两个共享公共密钥并位于同一窗口中的流的元素。可以使用窗口分配器定义这些窗口,并对来自两个流的元素进行评估。 然后将来自双方的元素传递给用户定义的,JoinFunction或者FlatJ...

2019-01-15 11:25:53

阅读数 113

评论数 0

Flink流处理之迭代案例

前言 我们在学习flink时一般都离不开flink官网,而我们通常都要先学会“Example”,Apche的开源项目一般都会有这个目录,今天就说一下flink的Example中的流处理的迭代 官网流处理的迭代地址 对于流处理(DataStream),Flink相同提供了对迭代的支持。这一节我们...

2019-01-14 13:41:04

阅读数 100

评论数 0

mac windows 的IDEA,Pycharm永久破解

前言 之前用windows系统,就写过如何永久破解,这回换了mac系统再记录一下吧,基本都是下载最新的版本了 下载安装(mac,window) idea,pycharm 下载安装就不说了吧?直接到官网去下载安装 官网地址:https://www.jetbrains.com/ 下载安装之后不要着急...

2019-01-08 13:34:41

阅读数 256

评论数 0

Kafka+SparkStreaming+MongoDB

快放假了,不想说废话 主要操作类 package com.action import com.conf.{ConfigManager, ConstantsInterface} import com.until.LocalKafkaUntils import org.apache.kafka.cl...

2018-12-29 14:45:58

阅读数 229

评论数 0

impala kudu的烦恼

前言 有这么一个场景,mysql数据实时同步到hive,然后impala查询hive 使用streamset 我将上述的流程设计完毕,但是我们必须要考虑的是hive的更新与删除,这如何处理?删除可能还有办法处理,可以使用spark程序处理,但是数据更新呢?很是为难,然后有人给我推荐使用kudu ,...

2018-12-26 15:45:59

阅读数 164

评论数 0

Elasticsearch install

install k8ssn125 [root@k8sn125 opt]# curl -L -O https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.5.2.tar.gz ... [root@k8sn125 o...

2018-12-21 17:51:42

阅读数 86

评论数 1

Elasticserach简介

前言 最近要用ES,所以就简单的学习一下 应用场景 1.站内搜索 主要是网页信息量比较大的网站会有站内全文检索这一功能,方便用户快速检索信息 2.Nosql ES在读写性能优于MongoDB,同时支持地理位置查询 3.日志分析 日志分析由实时日志分析平台ELK(Elasticsearch...

2018-12-21 17:49:25

阅读数 105

评论数 0

redis集群安装部署

1. 工具 / 环境 虚拟机环境 操作系统:CentOS 7 3台虚拟机IP:192.168.9.139、192.168.9.140、192.168.9.141 (注:Redis集群要求至少要有三个节点) 2. 安装Redis # yum -y install gcc # wget ...

2018-12-18 17:24:20

阅读数 37

评论数 0

Hive注释中文乱码

前言 今天刚安装完CDH环境,交给同事使用,反馈说hive有乱码问题 建表语句 create external table movie( userID int comment '用户ID', movieID int comment '电影ID', rating int comment '电影评分'...

2018-12-18 13:27:34

阅读数 32

评论数 0

CDH6.0.1 HUE 访问HBase报500错误 ,无法连接thrift

前言 公司决定搞新版本deCDH,然后我就安装部署了CDH6.0.1,安装的路程就不说了,本以为安装好添加服务就可以用了,可是却遇到这个问题,我开始以为thrift jar包问题,问别人要了CDH6.0.0里面的jar包替换,后面又说什么配置问题,均未解决,后来找java大神看thrift j...

2018-12-12 18:04:12

阅读数 546

评论数 0

Cloudera Mannager Install StreamSets

Installation Requirements 在满足以下最低要求的计算机上安装Data Collector。要在群集执行模式下运行管道,群集中的每个节点都必须满足最低要求。 零件 最低要求 操作系统 使用以下操作系统和版本之一: Mac OS X.CentOS 6.x或7....

2018-11-30 16:33:35

阅读数 133

评论数 0

CentOS7.5,CDH6安装部署

SCM-CDH安装部署 集群规划 1.CDH简介 Cloudera’s Distribution, including Apache Hadoop 基于Web的用户界面,支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqo...

2018-11-30 13:46:03

阅读数 2219

评论数 0

kafka-flink-hbase

前言 flink现在是越来越火了,我最近也有在看flink官网,上周五一个朋友叫我写个flink读取kafka,还有读取mysql,本人比较苦逼,没有实验集群,样例是写出来了,能不能成事,你们用自己的集群测试一下 flink-1.6.2 kafka-0.10 Maven pom.xml &a...

2018-11-26 17:34:34

阅读数 631

评论数 1

提示
确定要删除当前文章?
取消 删除
关闭
关闭