wang12345566的博客

原创 kettle 抽取大数据量到excel

原创 java项目 linux服务器Oracle出现not a valid month

将oracle库中某表的varchar2字段存的是timestamp格式的数据 转化为date格式在plsql执行成功的语句：这个语句在java项目用用jdbc执行也是有结果返回的，但是把项目部署到linux服务器上时就会出现ot a valid month错误 ；最终解决方案：SELECT CAST(TO_TIMESTAMP(JZKSRQ,'dd-MON-yy ...

原创 生成免费SSL nginx实现网站设置

一：证书和密钥的生成cd /server/nginx/ (这个是证书的安装目录，建议放置在 nginx 根目录 )1.创建服务器证书密钥文件 server.key;openssl genrsa -des3 -out server.key 1024 (建立服务器私钥，在这个过程中需要输入密码短语，需要记住这个密码，后面会用到。 另：下面所有涉及到密码的都设置成了 123456, ...

原创 java 代码实现Fastdfs 上传出现找不到配置文件路径

问题：接手别人开发好的项目，fastdfs一直报错，一开始我使用的是fastdfs-clinet-1.0.0-M.jar配置文件：工具类： 一开始使用第一种方法初始化ClientGlobal.init函数， 一直报获取不到系统文件 然后我就是试着用第二个方法获取fdfs_client.conf,但是在下面的TrackerClient tracke...

原创 mysql oracle SQL server系统表

--------------------------------------------------------------oracle --查询表信息select t.TABLE_NAME,b.comments from user_tables tjoin user_tab_comments b on t.TABLE_NAME=b.table_name ;--查询表注释sel...

原创 kettle 调用post接口 出现非法字符 ，kettle如何调用post接口并解析

 1.kettle post接口非法字符此post接口在postman中是可以成功调用，但是在kettle中调用就会报错，具体报错信息请看下面 排查了很久报错原因是非法字符，最后查出是时间格式的问题，此接口的入参为jsonArgs=start_time:2018-07-24 00:00:00;end_time:2018-07-26 00:00:00;account:xf...

原创 Hadoop hive表基本操作

一：hadoop基本常用命令1.查看指定文件下内容hdfs dfs -ls /tmp/lcj2.打开某个已存在的文件hdfs dfs -cat /tmp/lcj/t_gz.txt3.删除指定文件hdfs fs -rm /tmp/lcj/t_gz.txt4.删除文件夹hdfs fs -rmr /tmp/lcj5.创建新的文件夹hdfs fs -mkdir /tmp/new二：hive的基本操作1.登...

原创 kettle将oracle库中数据抽取到hadoop中中文乱码

将hadoop file output组件中的编码设置成你需要的

原创 kettle 只做插入操作不做更新

需求：表1和表2不在同一物理机上，将表2中的有的表1中没有的数据插入表1中，在表1有的数据不做更新操作1.表1原数据2.表2原数据3.表1和表2join后数据4.处理后数据kettle实现就使用插入/更新组件就能实现（插入/更新插入在数据量很大时不建议使用，此组件的效率很低，当需要插入更新时，使用先删除再插入，效率会很

原创 kettle 抽取数据入库中文乱码

中文乱码是因为两个库的编码不一致导致在job 的DB链接中设置数据库编码  characterEncoding  utf8 或者gbk，根据自己的需求

原创 oracle 根据手机号判断三大运营商函数

create or replace function fn_gzk_sbyys(in_v1 varchar2) return varchar2 is--识别运营商  out_cs varchar2(50);begin  select case           when substr(in_v1, 1, 3) in                ('134', '135',

原创 在kettle资源库中找某一个表或sql在哪个job中使用的

--1.在步骤属性表r_step_attribute寻找需要查询的sqlselect * from r_step_attribute aa where aa.value_str like '%join ucweb_user_info%' ;ID_TRANSFORMATION 就是转换的id，VALUE_STR 字段中存放相关的sql;--2.根据转换id查询job的idse

原创 根据身份证号码计算星座

--1.创建函数get_xingzuocreate or replace function get_xingzuo(yr in varchar2) RETURN VARCHAR2 is xingzuo VARCHAR2(20);dnum number(4);dt date;begin  dt := to_date(yr,'MMDD');  dnum:=to_number

原创 oracle 根据出生年份计算生肖

select decode(mod(1996, 12),              0,              '猴',              1,              '鸡',              2,              '狗',              3,              '猪',              4,

原创 oracle 前台页面输入框中模糊搜索值传入后台问题

当前台要求输入框是模糊查询时，我们后台的sql一把都是双like这样就会导致当前台输入框传的%时，我们sql就获取所有的数据其实前台传%只是想获取qlrmc中包含%的数据，用双like就但不到这个效果那么我们就使用oracle的instr函数

原创 oracle order by 和union all（union）的使用

正常思维肯定都是如此写select * from dual order by 1union allselect * from dual order by 1但是这样的sql会报错，sql命令未正确结束下面提供三种方式1.select * from dual union allselect * from dual order by 1;虽然order by 是