viviliving的专栏

原创 hive入门环境启动测试实战

首先启动hadoop（存放hive表数据），spark可以不用启动 /usr/local/hadoop/sbin/start-all.sh /usr/local/spark/sbin/start-all.sh启动mysql（metastore存hive元数据） 检查hive配置more hive-site.xml<?xml version="1.0" encoding="...

原创 eclipse4.7.0+maven3.3.9+scala2.11.8+spark2.1.0+hadoop2.7.1在ubuntu16里的wordcount实例

删掉src/test下的junit内容pom.xml参考如下进行修改（确认好使）<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apach...

原创 通过xmanager passive模式在window下运行ubuntu里的eclipse（很酷）

打开xmanager的passive程序，托盘区一个X图标然后如下Last login: Thu Sep 27 15:27:12 2018 from 10.0.3.2hadoop@dblab-VirtualBox:~$ export DISPLAY=10.0.3.2:0.0 hadoop@dblab-VirtualBox:~$ xhost +access control disa...

原创 Flashback全记录（自行整理大全，不太好看，资源里下载vsd原文）

原创 vivissi登录action设计

原创 vivissi的初期架构规划（已经全部实现，历时四年，边学习边战斗）

原创 自行设计vivissi架构模式（已投入生产使用）（基于DWZ+SSI增加了系统自动菜单，图表、vpd等功能）

原创 weblogic在F5后的冗余模式研究（个人认为最为合理的模式，机器down、节点down不影响全局）

原创 社保三大目录中心端、收费端政策使用模式(仅供学习了解，政策变化性太强，差异性太大)

原创 Rac的osn配置

Rac查看ons状态 Ons.config内容 localport=6100              # line added by Agentallowgroup=trueusesharedinstall=trueremoteport=6200           # line added by Agentnodes=hdsb-d...

原创 自动rman备份计划（带脚本源码）

根据自己对rman的理解，实践后可行的脚本，每月1日0级备份，每周末一级备份，每周除周末二级备份 [root@hdsb-db2 ~]# crontab -l -u oracle59 2 1 * * /home/oracle/rman/rmbackup_level0.sh59 23 * * 0 /home/oracle/rman/rmbackup_level1.sh59 23 *...

转载 Hadoop Shell命令

FS Shell调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用配置中...

原创 spark 大数据搜狗测试数据SogouQ1.txt文件格式问题说明

为了学习，从网上搞到了SogouQ1.txt,执行到rdd3.count()显示了一堆乱码怀疑编码不对，使用em转成utf-8ok了结果再执行rdd3.count()，又提示等等Caused by: java.lang.NumberFormatException: For input string: "什么是OSI参考模型？各层的主要功能是什么？]"  at java.lang.Numb...

原创 weblogic的多个managedserver节点的之间通过NFS方式共用缓存，减少启动时间

weblogic的项目，大点的社保项目1G以上的class项目文件，启动在30分钟左右，作为天天只能下班打版的我们这些farmer，启动一个mangedserver需要30分钟，最少的集群6个下来（按两个server节点可以同步启动），最少得30*3=90分钟解释一下为啥不能6个用shell同时点击启动，虽然都是在后台，但是发现同时启动会存在缓冲区中文件数目不一致的现象可以是服务器或o...

原创 weblogic的adminserver与managedserver的启动如何不用密码

经实践发现adminserver的启动密码放在 AdminServer/security/ boot.properties缓存的security目录下的boot.properties文件中，可以用明文输入，启动后会自行加密设置后启动不用再输入密码 managedserver的启动密码放在startManagedWebLogic.shWLS_USER="weblogic"...

原创 weblogic勿装成32位，如何修改成64位模式

经如下实践可行WLS_MEM_ARGS_32BIT="-d64 -Xms5024m -Xmx5072m"cp /bea/wlserver_10.3/server/native/hpux11/IPF64/*.* /opt/java6/jre/lib/IA64W/server/chmod 555 /opt/java6/jre/lib/IA64W/server/*.*chown bin:bi...

原创 oracle表的keep与cache实践

创建测试表create table t1 storage(buffer_pool keep) as select * from dba_objects;查看表大小select sum(bytes/1024/1024)||'M' from dba_segments where segment_name='T1' and owner='SYS';7Mset autot traceo...

原创 sqlplus之arraysize设置影响SQL*Net roundtrips

SQL> set autot traceonly statSQL> select * from t1;63539 rows selected.Statistics----------------------------------------------------------        288  recursive calls          0  db b...

原创 undo的使用情况跟踪，根据undo_retent确定使用的undo大小

通过如下sql每5秒钟运行一次SELECT DISTINCT STATUS "状态",                COUNT(*) "EXTENT数量",                SUM(BYTES) / 1024 / 1024 / 1024 "UNDO大小"  FROM DBA_UNDO_EXTENTS GROUP BY STATUS; 运行一整天后发现 每天早晨1...

原创 JSONObject不能识别“yyyy-MM-dd”的格式，得调用JSONUtils设置（红色部分）

       dwz前台传给后台的object的json格式对象化的时候出错，网上查了下，得调用json设置（红色部分）        obj = JSONObject.fromObject(request.getParameter("aac001aae030"));                //处理时间避免获取当前系统时间——原因JSONObject不能识别“yyyy-MM-dd”...

转载 putty使用技巧

 技巧一： 增大输出缓存     默认情况下，Putty的输出显示最多200行，也就是说你cat一个500行的文件，它只能显示出最后的200行，你要通过滚动条看前300行的内容是看不到的，幸亏这个值可以配置，具体位置是category->window下，将Lines of scrollback 由缺省的200改成一个更大的值，我改成了2000。技巧二：最大化最小化快捷键    在w...

原创 vpd对oracle执行计划的影响（plsql 查看执行计划与实际计划不一致）

         大的项目软件使用到oracle vpd的话，vpd都会在运行时在底层给涉及到vpd权限的sql附加配置好的条件，这样plsq F5查看的计划就不是最真实的，所以大家遇到这种情况，不要奇怪         要找到真是的执行计划可以这么试试：1、oracle10g以上都有em console，从sql监控中找到对应的会话，sql然后查看最真的执行计划之oracle版2...

原创 数据转换的多线程使用（比较少使用）

         有人用吗？估计没有，我用了一次，也在没用过，效果还是很快的，提速明显，单线程每小时300万，提速后可以到3000万,我的个人建议，上亿的大表使用多线程，小表单线程，效率是最高的，小表用多线程反而可能快不了。参考代码：单表过程供并发用（我跟踪后发现其实就是用rowid的方式分段，然后触发过程各个段分片执行转换，而且rowid不一定分片均匀，有些片数据量大有些数据条数小，因为...

原创 数据转换的整体流程图规划（本人自己绘制自用，未公开）

          技术人员要学会事前规划，高级工具也不用，visio手边的就能达到目标，这样执行中不会迷糊，这个vsd说白了就是玄幻小说中的“道”，无道也能修仙，但是会遇到瓶颈的。         画的比较颜色丰富以示各个环节的区别：  ...

原创 数据泵并行度最优值评估实践

        数据库越来越大，社保的AC43表经过不断的细化和拆分，目前一次数据转换入门级都是20G左右的，因此大多数项目都是用到了数据泵，他的导出效率相当高，导入大家可能会遇到一些和索引、undo有关的问题,这里结合自己的项目实践与大家一起分析讨论。        1、并行度        导出：命令：expdp XXSi/XXSi dumpfile=expdp_dir:XXSi2...

原创 数据泵impdp上亿数据量的生产环境导入参考（完全本人总结，与公司机密无关）

总述：         目前动不动几十年的数据量迁移，10年前的exp/imp已经成为历史，对于1G以内的expdp就不用看此文了，对于很多大行业名声数据库相关的历史数据迁移，往往都是100G以上的dmp，而且做过impd泵入的数据迁移专家都知道，这种泵入弄不好相当消耗时间，有些项目估计有一次泵入消耗时间超过三天以上的。           我亲自跟过一个宁夏项目，到了现场，大家都知道数据...

原创 oracle数据转换万能通用初级脚本自动生成器（本人多年数据转换自己用的数据转换的初次迭代脚本生成器，不涉及公司机密，完全个人产品）

完全本人根据15年社保工作经验，结合多年数据转换总结，本脚本适合oracle资深玩家下载调试后应用于生产，一般人玩不了的1、下载解压（本人下载资源中已上传，永久有效，资源分比较低，大家就不要在转载了）。（https://download.csdn.net/download/viviliving/10680210）2、学习了解脚本自动比对源表目标表机制（字段名、注释名自动字符串匹配机制）。...

原创 核三通用数据库表定期优化性能shell执行脚本（纯个人整理，不涉及公司机密）

fx.sh内容（注意修改自己的路径）#!/usr/bin/sh umask 022export PS1="`/usr/bin/hostname`-> "export ORACLE_BASE=/u01/app/oracleexport ORACLE_HOME=$ORACLE_BASE/11gr2export ORA_GRID_HOME=/u01/app/crs_home/e...

原创 oracle利用level取月份01-12

select 2015||lpad(level,2,0) from dual connect by level<13

原创 oracle 利用绝杀招将 hashjoin 计划转变为 nestloop

         以前遇到两个表做关联，每个表都是1亿以上的数据量，执行计划走的hashjoin，直接5个小时没执行完，我看看sql已经优化到没法优化了，但是加hint走nestloop后几分钟就执行完毕了，感觉对于数据量巨大的两个表，加条件的小表作为驱动表nestloop还是很快的将hashjoin  转为 nested loophashjoin原文：SELECT  KC24.AKB0...

原创 oracle10g 一批新的hints来袭，你了解了么

10g数据库介绍：可以使用更多新的optimizer hints来控制优化行为。现在让我们快速解析一下这些强大的新hints:spread_min_analysis 使用这一hint，你可以忽略一些关于如详细的关系依赖图分析等电子表格的编译时间优化规则。其他的一些优化，如创建过滤以有选择性的定位电子表格访问结构并限制修订规则等，得到了继续使用。由于在规则数非常大的情况下，电子表格分析会很...

原创 如何从oracle执行计划看出表的统计信息太老

建立测试表create table testobj as select * from dba_all_tables;执行动态带标签的跟踪select /*+ gather_plan_statistics testvivi*/ * FROM testobj WHERE  table_name like 'K%'；找到sql_id select * from v$open_curs...

原创 oracle sql会话跟踪找到sid的注释方法

增加自定义的一个标签即可，红色部分 select /*+testvivi*/count(*) from testobj  ;然后使用下sql可以找到对应的sid信息，注意 v$open_cursor会不断的冲掉老sqltextselect * from v$open_cursor where SQL_TEXT LIKE '%testvivi%' and sid<>usere...

原创 【绝对原创，互联网上除了这里肯定是没有的】oracle字符串匹配度函数

自己写的函数，互联网上肯定是没有的，本人经常数据转换，这个函数用的比较多，大家参考，留着也不能产生经济效益，就分享出来啦  ，oracle10以上才有正则匹配函数例子： y varchar2(50):='西宁市社会事业保险管理局'; zd varchar2(50):='西宁市社保局';   result:=0.5 y varchar2(50):='西宁市社保局'; zd varc...

转载 Oracle Serucity — Oracle应用上下文

--Application Context应用上下文是一个具有只读属性的内存容器,在应用程序中可以显式或者隐式的使用这些属性;使用应用上下文非常简单,就好像是你把一个经常使用的电话号码存在电话本中,当你想使用时很容易找到它;上下文拥有的内存区域叫一个命名空间,命名空间中有已命名的属性,每个属性都可以保存一个字符串的值;感觉像是cookie;应用上下文命名空间标示一个应用上下文,也就...

原创 scala的柯里化例子

原scala> def add1(x:Int,y:Int)=x+y;add1: (x: Int)(y: Int)Intscala> add1(1,2)res38: Int = 3第一次柯里化scala> def add1(x:Int)(y:Int)=x+y;add1: (x: Int)(y: Int)Intscala> add1(1)(2);r...

原创 oracle的负载均衡没起作用可能和你的remote_listener 未配置有关

rac1:rac的cluster的负载均衡机制如下图分两层ocssd.bin负责底层，db层链接到来先根据ocssd搜集的pmon的信息，决定，如果忙，则转到其他节点，pmon根据remote_listener                      来看都有哪些节点的监听，人乎负载均衡给其他rac 服务器端配置参考：     remote_listener   ...

原创 oracle并发hints的正确打开姿势

你知道这个语句执行并发的后台机制么？不然仅仅感觉加了参数就并行了么请注意检查一下参数是否配置了相关内容，需指定并行实例组对于olap最好是并行方式，而且扩展到多个节点，速度更快设置实例组 alter system set instance_groups='ALL','RAC2' scope=spfile sid=racdb2; alter system set instan...

原创 目前社保行业大多数公司服务器采用oracle rac方式但是使用经常慢的主因分析

现状：10年前大多使用的cluster模式采用主次节点，一个干活一个歇，遇到故障临时切，切换时间比较慢目前基本都是RAC方式，双活，均在线，均办理业务问题：1、有些实施运维人员不太了解rac相关知识，生产中出现过一个节点掉，整个weblogic停止服务的情况2、各个节点直接均衡连接后，同一个业务在两个rac跑的频繁时，出现大量的双节点块高速缓存同步等待事件3、表分析不到位（...

原创 rac的cluster的failover在客户端tnsnames里的配置

rac客户端的配置LOAD_BALANCE默认是打开的，但是FAILOVER_MODE 是需要配置的，平时开发人员几乎是不知道这些参数，售后运维配置的时候也是不考虑这些参数的，所有客户运行中会发现，节点掉了，前台业务立即受到影响，客户反问集成人员你们不是双节点冗余，还有一个节点活着呢，怎么业务会受到影响呢？原因就是参数大家没概念，如下配置可以保证只要不是所有节点均down，当前会话是不会中断的...