2016年07月_老农民挖数据

12月 11月 10月 09月 08月 07月 06月 05月 04月 02月 01月

原创同步分区表

1.在源数据库查看表hdfs存放位置[slave02:21000] > show create table stat_city_app_hour;Query: show create table stat_city_app_hour+--------------------------------------------------------------------------+| r

2016-07-27 15:49:52 961

原创 java.net.SocketTimeoutException: Read timed out

今天在处理impala同步过程，遇到了一个报错，貌似连接满了。直接上图：说明：hive.metastore.client.socket.timeout说明: Client socket 的超时时间默认值：20秒原因：这里有可能是通信网络不好，网卡问题，延迟等问题，所以通常可以设置500秒处理步骤hiv

2016-07-20 22:42:22 7599

原创 sqoop 测试

sqoop在cdh安装时就已经集成了，和1.0版本相比，相对简单了。--1.查看所有参数命令[root@MASTER01 ~]# sqoop helpWarning: /opt/cloudera/parcels/CDH-5.2.0-1.cdh5.2.0.p0.36/bin/../lib/sqoop/../accumulo does not exist! Accumulo imports

2016-07-11 00:03:58 1871

原创 hive和impala查询数据对比

首先impala查询数据，更像rdbms一样（mysql）。--1.impala连接 [root@MASTER01 ~]# impala-shell -islave03;Starting Impala Shell without Kerberos authenticationConnected to slave03:21000Server version: impalad v

2016-07-10 23:20:08 3129

原创数据库迁移之impdp_dblink测试, 12c迁移到11gr2

平时都在忙项目，今天周末可以搞下有兴趣的测试（对于公司来说，确实是在忙，但对于技术爱好者来说是瞎忙。技术回潮）技术本身不值钱，都得依赖项目，这个哲学是销售和项目经理多年的争论。但往往销售的钱比项目经理多。进入公司之前，得关注公司文化。言归正传：我们平常的迁移都是网络不通的，所以没有办法实施Impdp dblink，都是expdp和impdp配合使用。那么今天对于网络通，但是数据量特别

2016-07-09 14:00:19 2816

原创 ORA-01618: redo thread 2 is not enabled - cannot mount RAC

我的环境是Sun solairs10 ,安装 11.2.0.3 RAC遇到的错误。在dbca中遇到 ora-00904 ora-01613 ora-01618基本都是这个错误，见下图：查看安装后的状态--解决：1.尝试在第2节点 startup$ iduid=1100(oracle

2016-07-08 16:03:18 2037

原创 solairs 挂载asm磁阵

format--1.列出所有磁盘.....--2.赋权磁盘（记得加上/devices） chown grid:asmadmin /devices/scsi_vhci/ssd@g6006016009402b00a2f5f3cdfa31e611:g,rawchown grid:asmadmin

2016-07-07 19:02:40 624

原创 INS-06002: Authentication failed

在建立ssh等价的时候报错其实这个问题原因是：在节点2 grid用户和oracle用户没有设置密码导致解决：节点1和节点2 的grid和oracle的密码要设置一致。因为要验证。在setup时成功

2016-07-07 17:13:10 1892

原创 sun solairs安装11gr2RAC，界面打不开

sun solairs安装11gr2RAC，界面打不开这里为什么要提一下呢，因为3年前安装过solairs，3年后基本都用linux了，x86的天下。但是作为一个老兵，什么操作系统都得会啊。点到为止。。。按照之前的风格， xhost + su - oracle./runInstaller 就可以了最多加个 export

2016-07-07 15:48:35 485

原创根据阈值清理指定路径的文件 linux

#!/bin/bash # ------------------------------------------------------------------------------+# DELETE FILE SYSYTEM SPACE BY THRESHOLD |# Filename: del_spac

2016-07-06 10:41:00 681

原创 cdh卸载

1、停止群集 2、删除群集 3、停止CM服务 service cloudera-scm-agent stopservice cloudera-scm-server stop service cloudera-scm-server-db stop yum remove 'cloudera-manager-*' -yumount /var/run/cloudera-

2016-07-05 13:02:23 623