排序:
默认
按更新时间
按访问量

oracle goldengate上线步骤和常见问题整理

OGG上线步骤 源服务器 确认生产环境是否与测试环境一致(操作系统和数据库版本),如果不一致,需提前告知生产的环境信息。 下载对应的安装介质,网址 http://www.oracle.com/technetwork/middleware/goldengate/downloads/ind...

2018-07-31 22:49:36

阅读数:133

评论数:0

spark优化策略

一、常见问题 1、org.apache.spark.shuffle.FetchFailedException 当前的配置为每个 executor 使用 1cpu,5GRAM,启动了 20 个 executor,       这种问题一般发生在有大量 shuffle 操作的时候,task 不断...

2018-07-25 23:18:58

阅读数:47

评论数:0

DB2开启日志归档配置

  DB2的归档配置 [root@M02-01 ~]# mkdir -p /opt/ibm/db2/V9.7/db2src/backup DB2的归档配置比较简单,只需要需要修改LOGARCHMETH1参数即可,命令如下 [root@M02-01 ~]# db2 db2 =>...

2018-07-25 23:17:05

阅读数:72

评论数:0

hbase的rowkey设计

rowkey长度原则rowkey是一个二进制码流,可以是任意字符串,最大长度 64kb ,实际应用中一般为10-100bytes,以byte[] 形式保存,一般设计成定长。建议越短越好,不要超过16个字节,原因如下:目前操作系统都是64位系统,内存8字节对齐,控制在16个字节,8字节的整数倍利用了...

2018-05-20 10:05:10

阅读数:48

评论数:0

hue安装步骤+mysql元数据存储、hive、hadoop做集成

1. 使用yum工具来安装hue相关的依赖软件:sudo yum install krb5-develcyrus-sasl-gssapi cyrus-sasl-deve libxml2-devel libxslt-devel mysql mysql-developenldap-devel pyth...

2018-05-16 16:20:15

阅读数:517

评论数:0

利用Spark sql操作Hdfs数据与Mysql数据,sql窗口函数的使用

需求说明:根据商品的点击数据,统计出各个区域的销量排行TOPK 产品输入:开始时间与结束时间输出:每个城市的销量排行TOP K 产品地区级别 地区名称 产品名称 点击量 产品类型 A 西南片区 雾霾口罩 1000000 第三方 A 西南片区 雾霾口罩 1000000 第三方...

2018-05-15 17:35:15

阅读数:221

评论数:0

DQL、DML、DDL、DCL区别

二. SQL语言的分类SQL语言共分为四大类:数据查询语言DQL,数据操纵语言DML,数据定义语言DDL,数据控制语言DCL。1. 数据查询语言DQL数据查询语言DQL基本结构是由SELECT子句,FROM子句,WHERE子句组成的查询块:SELECT <字段名表&a...

2018-05-14 15:08:54

阅读数:38

评论数:0

spark sql集成hive步骤

SPARK ON HIVE:让spark sql通过sql的方式去读取hive当中的数据HIVE ON SPARK:让hive的计算引擎由MapReduce改为SPARK1、  先按官网的参考代码,构建val conf = new SparkConf().setMaster("...

2018-05-13 16:06:55

阅读数:113

评论数:0

flume集成CDH步骤与异常解决

1、  确定你的flume在哪台主机上2、  确认该台主机上的flume是否可以正常使用? 在指定的目录下,创建一个bigdata_page_to_hive.conf内容可以是官网的实例:http://flume.apache.org/FlumeUserGuide.html启动:flume-ng ...

2018-05-12 17:57:12

阅读数:583

评论数:0

CDH版本的Maven依赖

之前一直结合Maven开发Hadoop2.2.0的程序,环境换成CDH5.2后报错,发现是Maven依赖库的问题。之前一直使用http://mvnrepository.com/查找maven依赖,但这类网站只能查到通用的maven依赖,没有包含CDH依赖,还好Cloudera提供了CDH的依赖:h...

2018-05-12 16:54:04

阅读数:86

评论数:0

hive 部署需要注意的几点以及Version information not found 错误解决办法

异常问题:MetaException(message:Version information not found in metastore. ) at org.apache.hadoop.hive.metastore.ObjectStore.checkSchema(ObjectStore.jav...

2018-05-09 11:01:15

阅读数:52

评论数:0

virt-manager(kvm)安装虚拟机无法使用键盘解决

今天远程用VNC登录服务器安装虚拟机,结果使用virt-manager安装虚拟机后在初始阶段无法使用键盘设置,这不雪崩了,后来来回试,找到了原因。 在新建导向的时候最后一步之前,选择查看细节那里,在desplay的地方选择VNC server ,再在keyboard地方选择us-en,这下进入安装...

2018-05-08 14:32:12

阅读数:582

评论数:0

用IDEA开发spark应用,发生java.lang.ClassNotFoundException的解决

用IDEA开发spark应用的配置方法。在完成集群配置之后,我写了下面的demo进行测试        如果把“spark://master:7077”变为local[2]就能正常运行,但是修改为spark集群就报错demo案例如下:package com.keduox import org.a...

2018-05-06 03:03:52

阅读数:270

评论数:0

HBase Shell命令使用

hbase创建表:1、必须要指定表名和至少一个列族     create 't01','cf01' 如果是字符串的话,需要加上引号 创建一个带有多个列族的表        create 't03','cf01','cf02'2、增加记录      每一次put,是一个cell为单位    ...

2018-05-04 16:45:11

阅读数:30

评论数:0

比reduceByWindow更高效的reduceByKeyAndWindow()的实现版本

reduceByKeyAndWindow这个算子也是lazy的,它用来计算一个区间里面的数据,如下图:实现代码如下:import org.apache.log4j.{Level, Logger} import org.apache.spark.SparkConf import org.apache...

2018-05-04 16:18:17

阅读数:665

评论数:0

Spark-Streaming updateStateByKey用法(计算累加值)、并与kafka集成使用

说明   Spark Streaming的updateStateByKey可以DStream中的数据进行按key做reduce操作,然后对各个批次的数据进行累加。计算word count所有批次的累加值。import org.apache.log4j.{Level, Logger} import ...

2018-05-04 14:53:16

阅读数:150

评论数:0

手机号码正则表达式

匹配手机号码的正则表达式:^1([358][0-9]|4[579]|66|7[0135678]|9[89])[0-9]{8}$目前匹配号段中国电信号段133、149、153、173、177、180、181、189、199中国联通号段130、131、132、145、155、156、166、175、1...

2018-04-26 16:59:47

阅读数:22

评论数:0

redis最新版本在linux中安装

下载地址:https://redis.io/download下载的是最新版未编译版本,所以安装之前需要安装c的依赖包yum install -y gcc-c++上传到linux中解压,进入到目录里面,执行> make等等。。。。。完成之后。进入到src目录启动服务端 &...

2018-04-20 09:37:52

阅读数:45

评论数:0

com/typesafe/config/ConfigException :Unsupported major.minor version 52.0解决办法

1.首先解释一下:stanford parser和jdk版本对应关系J2SE 8 = 52, J2SE 7 = 51, J2SE 6.0 = 50, J2SE 5.0 = 49, JDK 1.4 = 48, JDK 1.3 = 47, JDK 1.2 = 46, JDK 1.1 = 45Unsup...

2018-04-11 21:09:43

阅读数:251

评论数:0

centos系统添加/删除用户和用户组

        centos系统添加/删除用户和用户组  在centos中增加用户使用adduser命令而创建用户组使用groupadd命令,这个是不是非常的方便呀,其实复杂点的就是用户的组与组权限的命令了,下面来给各位介绍一下吧。1、建用户:adduser phpq               ...

2018-04-11 10:48:41

阅读数:27

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭