大数据
wenxuechaozhe
和大神学习,向大神努力
展开
-
kafka异常connection reset by peer
最近查阅kafka对应的系统log文件server.log,查阅到一条异常信息ERROR Closing socket for /120.24.169.139 because of error (kafka.network.Processor) Connection reset by peer异常信息:[2016-09-22 13:17:52,804] ERROR Closi原创 2016-09-25 22:12:17 · 11839 阅读 · 3 评论 -
ORACLE导出CSV文件
前言ORACLE的导出功能会经常使用,也同样经常会有需求进行导出为CSV文件,用于往别的数据库进行迁移,本次实例及在ORACLE实现导出CSV文件操作。实现①创建导出目录,并授权给需执行导出CSV文件的用户读写权限sqlplus / as sysdbaSQL > create or replace directory OUT_PATH as '/home/wenxuechao/csv_fi...原创 2018-06-02 16:13:22 · 7567 阅读 · 1 评论 -
Strom运行监控
总所周知,storm提供的UI界面进行查看运行情况,但是在storm的运行过程中,无法时刻进行观察storm UI界面是否有失败或者处理延时等情况,根据STORM提供的API进行抓取storm运行情况并输出log文件,进行文件监控,若发生失败场景进行报警处理。由于使用log日志监控,使用python进行编写此案例,示例代码如下:#!/usr/bin/python# -*- coding:UTF-...原创 2018-06-02 15:58:37 · 1703 阅读 · 0 评论 -
ORACLE设置用户密码不过期
针对不同的业务场景,会有不一样的业务需求,oracle的用户密码,生产环境肯定需要定期进行更换,保证安全性。但是也同样会有需求要求oracle用户的密码永远不过期。修改ORACLE用户密码永不过期①查看用户使用的profileSQL > SELECT username,PROFILE FROM dba_users;②查看密码过期时间设置,默认为180天。SQL > SELECT * F...原创 2018-06-02 15:43:01 · 9844 阅读 · 0 评论 -
spark同storm的对比
对比点StormSpark Streaming实时计算模型纯实时,来一条数据,处理一条数据准实时,对一个时间段内的数据收集起来,作为一个RDD,再处理实时计算延迟度毫秒级秒级吞吐量低高事务机制支持完善支持,但不够完善健壮性 / 容错性ZooKeeper,Acker,非常强Checkpoint,WAL,一般动态调整并行度支持不支持对于Storm来说:1、建议在那种需要纯实时,不能忍受1秒以上延迟的场...原创 2018-06-22 22:35:08 · 403 阅读 · 0 评论 -
shell进入内部命令执行命令
在linux操作过程中,经常会出现进入服务内部进行操作,比如oracle执行查询,比如ORACE GODEN GATE等。在使用脚本编程过程中,如何使用脚本进行内部操作有如下两种方式(仅接触到如下两种,后续有其他再进行补充)以OGG的使用为例进行梳理方式一:./ggsci << EODinfo allinfo all,taskexitEOD方式二:(info all;info ...原创 2018-06-22 22:31:48 · 2673 阅读 · 0 评论 -
ORACLE 查看完整DDL语句
通过SQLPLUS方式查看ORACLE的某个表完整的建表语句set line 200set pagesize 0set long 99999select dbms_metadata.get_ddl('TABLE','TABLE_NAME','TABLE_OWNER') from dual;示例set line 200set pagesize 0set long 99999select ...原创 2018-06-13 10:35:17 · 10925 阅读 · 0 评论 -
ogg各场景维护
配置定时删除过期队列用于自动删除过期队列,节省硬盘空间建议配置在Mgr进程中,可集中管理所有队列在mgr参数中加入以下行purgeoldextracts //dirdat/*, usecheckpoint, minkeepdays 7其中,第一个参数为队列位置,*可匹配备份中心所有队列文件;第二个参数表示是首先要保证满足检查点需要,不能删除未处理队列;第三个参数表示转载 2017-04-04 17:28:57 · 1844 阅读 · 0 评论 -
ogg维护命令--简单操作
1.查看进程状态GGSCI (PONY) 2> info all2.查看进程详细状态,有助于排错GGSCI (PONY) 2> view report +进程名称3.查看告警日志信息GGSCI (PONY) 2> view ggsevt4. 查看延时,以及文件抽取应用情况GGSCI> lag 可以查看详细的延时信息。例如:GGSCI (db4) 1原创 2017-04-04 17:26:23 · 1250 阅读 · 0 评论 -
ogg操作命令整理
由于系统上线,一直没有进行更新,惭愧,之前的计划也没有计划进行。现重新进行开始。ogg简介Oracle Golden Gate软件是一种基于日志的结构化数据复制备份软件,它通过解析源数据库在线日志或归档日志获得数据的增量变化,再将这些变化应用到目标数据库,从而实现源数据库与目标数据库同步。Oracle Golden Gate可以在异构的IT基础结构(包括几乎所有常用操作系统平台和数据库原创 2017-03-30 11:09:53 · 19057 阅读 · 0 评论 -
自动轮询文件夹,检查文件不在变化后将文件挪走
业务需求通过文件推送至源目录,进行轮询检查文件是否已经推送完毕,推送完毕后将文件推送至指定目录。执行思路通过定时任务进行巡检文件夹,判断文件夹大小不再发生改变后,进行相关业务处理代码示例#!/bin/bash#源目录sourceURL="/Volumes/MacBookProHD/Soft"#目标目录targetURL="/Users/wenxuechao/Desk...原创 2018-08-07 17:19:01 · 1921 阅读 · 0 评论