2021年08月_hzp666

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

转载 linux性能排查

今日重点： ① 学会查看linux各种状态，包括：网络IO、磁盘、CPU、内存等； ② 学会理解命令所代表的含义，能够迅速发现集群存在的问题。1、核心命令linux 监控网络IO、磁盘、CPU、内存：CPU：vmstat 、sar –u、top磁盘IO：iostat –xd、sar –d、top网络IO：iftop -n、ifstat、dstat –nt、sar -n DEV 2 3磁盘容量：df –h内存使用：free –m、top2、常用命令（1）内存：条数...

2021-08-31 10:34:23 332

转载 kettle 7.1连接Oracle 19c

对于jdbc 连接数据库时，url兼容两种模式如下：1、"jdbc:oracle:thin:@127.0.0.1:1512:pdb"2、"jdbc:oracle:thin:@127.0.0.1:1512/pdb"第1中模式端口后使用的是“：” 那么pdb代表的是数据库的实例名一般情况数据库都是多实例的第2中模式端口后使用的是“/” 那么pdb代表的是数据库的服务名如果使用第1中模式，将pdb错误的填为服务名就会报错，显示错误，kettle就是因为这个原因报错。查看...

2021-08-19 17:42:41 1160

原创 kettle意外关闭，重启后右上角没有连接资源库按钮

1、找到repository.xml文件目录，(一般是kettle根目录下，.kettle文件夹内)我的是“C:\Users\Administrator\.kettle\repository.xml”;2、看下repository.xml文件是否乱码，是则将乱码的资源库删除掉，或者改为英文；3、将同文件夹下的.spoonrc文件和db.cache-*文件删除掉；4、重启你的kettle。...

2021-08-19 16:56:54 1019 2

原创数栖平台ETL作业配置手顺

1.新建分层文件夹，2.ddl层，hive 建表，分区表，drop table if exists APP_ALL_PROJ_NUM_FACT;create table if not exists APP_ALL_PROJ_NUM_FACT ( Id bigint comment '自增主键' ,ProjCode string comment '项目长编码' ,ProjName string...

2021-08-16 10:10:35 1790

转载 linux常用命令2

目录一、基本命令 1.1 关机和重启 1.2 帮助命令二、目录操作命令 2.1 目录切换 cd 2.2 目录查看 ls [-al] 2.3 目录操作【增，删，改，查】 2.3.1 创建目录【增】 mkdir 2.3.2 删除目录或文件【删】rm 2.3.3 目录修改【改】mv 和 cp 2.3.4 搜索目录【查】find 三、文件操作命令 3.1 文件操作【增，删，改，查】 3.1.1 新建文件【增】touch

2021-08-12 16:48:43 555

转载 Crawle taoBao

几个月前，姐姐跟我说要在淘宝上开一个网店，把家里池塘养的鱼做成零食去卖，因为网上有很多这种小鱼零食网店，看起来销量都还不错。姐姐知道我会一些在她们眼里比较“高超的技术”，所以就问我能不能帮她弄一些这方面的数据，因为在开店之前得做一些调查，比如说哪些价位的小鱼零食卖得最多这种调查。当然了，自己也可以手动去统计，但那很麻烦并容易出错，所以用技术来解决最为合适。这对我来说倒不是什么很难的事情，于是抽空就给她去做了一波爬虫和数据分析，最后把数据结果给了她，经过她一分析之后，发现原来看似红海的小鱼零食市场

2021-08-12 16:45:31 172

原创 Oracle19c 和 11g 兼容驱动

解决Oracle 版本连接问题，kettle 或者其他联系多数据源的工具，如果出现有两个 Oracle源库，一个 11g 版本，一个19C 版本，可以使用 ojdbc7.jar 兼容两个数据库版本jdk环境为 jdk1.8ojdbc7 下载：https://download.csdn.net/download/hzp666/20964140...

2021-08-10 16:08:50 2915

原创帆软系统-查看拥有某个菜单权限的用户

Oracle版：WITH a as(SELECTb.displayName,b.deviceType,dbms_lob.substr(b.path) as path,c.realName,c.userName,e.nameFROMFR10SYS.fine_authority aLEFT JOIN FR10SYS.fine_authority_object b ON a.authorityEntityId = b.idRIGHT JOIN FR10SYS.fine_user...

2021-08-10 15:52:22 651

原创 Oracle报错ORA-00911: 无效字符问题

跑kettle任务今天写sql查询数据库数据时出现ORA-00911: 无效字符问题，我把SQL到toad中是可以查询到数据的，但是在MyECLIPSE中执行就报ORA-00911: 无效字符的错误，原因SQL中有个分号里面多了一个";"，去掉就ok了...

2021-08-10 15:24:30 2643

转载 kettle error–只有一个输入记录期待设置变量并且至少已经收到2个变量

kettle error–只有一个输入记录期待设置变量并且至少已经收到2个变量在kettle 处理多条数据结果时，若不注意则会出现上图的错误，解决方法其实很简单，双击job或transformation，勾选下图选项即可解决。...

2021-08-06 13:27:34 3254

转载 kettle 一个未预期的错误发生在Spoon: probable cause:在停止Spoon前,请先关闭其它spoon

For input string: "!System.Combo.Primary!" java.lang.NumberFormatException: For input string: "!System.Combo.Primary!" 百度谷歌一大堆,没有一个解决问题,折腾了我好久. 最终解决方法: 删除C:\Users\你的用户\.kettle文件夹下的所有文件!...

2021-08-05 17:45:03 3603

转载 kettle打开spoon.bat后无反应

主要两点 1.配置环境变量、2.修改spoon.bat点击spoon.bat后，没反应添加环境变量系统变量PENTAHO_JAVA_HOME(4)新建->系统变量名“PENTAHO_JAVA_HOME”,变量值“C:\Program Files\java\jdk1.8.0_66”（我在这里遇到坑，这个变量没有新增，导致我一直启动kettle出现找不到文件C:\Program Files\Java\jre1.8.0_66\bin\bin\java.exe）..

2021-08-03 16:02:11 5625

转载 windows下Oracle监听和实例服务开启关闭

①在关闭oracle服务时，先关闭监听再关闭实例，因为当关闭监听后，客户端是无法再访问数据库，但是关闭了实例未关闭监听，此时客户端还是可访问到服务，可能会导致一系列问题，至于是啥问题，嗯，我也说不清楚； ②在启动oracle服务时，先启动实例再去启动监听，原因同上，避免出现客户端访问过来时，实例已经关闭；按下“花键+R键”，打开运行窗口。输入services.msc命令。按下回车，打开服务界面。鼠标随便选中一行，按“O”键，快速切换到..

2021-08-03 14:32:25 3378

转载 linux下Oracle服务的启动和关闭

1.前言确保我们能够访问oracle数据库包含两部分，一个是oracle实例，一个是监听，两个同时开启，我们才能正常的使用数据库，因此我们在关闭和启动oracle服务时，也需要同时操作实例和监听。能够操作linux的工具有很多，如：xshell，vncviewer等，本次使用shell工具。2.关闭oracle服务第一步：若不是以oracle用户进行登录的，则需要切换用户，命令为：su - oracle，如下图我是以root用户进行登录的，在需要操作数据库时则需要切换到...

2021-08-03 14:19:02 2615

转载 windows下安装kettle7.1

因为公司需求，最近需要用数据迁移和转换，目前用etl的比较多，现在选择了工具Kettle。一：Kettle安装前JDK环境配置由于Kettle是Java语言开发的，该软件的允许需要Java运行环境的依赖。需要先安装JDK,准备好Java软件的运行环境。安装jdk1.8版本新版本官网下载：http://www.oracle.com/technetwork/java/javase/downloads/jdk10-downloads-4416644.html 点击打开链接...

2021-08-03 14:03:25 988