JCrazyUltimate-CSDN博客

原创大数据的数据接入和数据服务技术的研究

转自我的语雀：https://www.yuque.com/docs/share/4a3838e2-f63d-4c00-8842-0bcd881516eb?# 《论文：大数据的数据接入和数据服务技术的研究-已发表》

2021-06-03 20:14:52 1186 2

架构canal实时监控mysql，丢给kafka，flink/spark sink，datax首次或周期核数。方案0、增删改hive内部表但是性能非常差，启动mr引擎需要2-3s，即使使用hive on spark引擎也需要1-2s启动。不满足实时要求。1、首次全量抽取写textfile文件，创建hive外部表。实时接入append写上面的textfile文件。此时：注意1）分隔符的选定，尽量不要与数据内容中存在的制表符相同。可以在创建hive外...

2021-06-03 20:12:10 393

原创运维：大数据（hadoop、spark）性能优化

Linux优化调大预读缓冲区大小来提高性能https://blog.csdn.net/xiaolang85/article/details/17790267【JC】HDFS的可以调整为blockdev --setra 8192 /dev/sda在Linux中，使用noatime选项挂载磁盘，以减少不必要的写入操作。可以减少记录最新一次更新时间。查看io负载CentOS 7.2中磁盘iowait过高解决 https://www.linuxidc.com/Linux/2017-08/146267.

2021-06-03 20:05:09 277

原创基于docker的CDH离线安装部署。将cdh安装在docker中，并配置网络

规划与规范确定版本服务器版本：Centos7CDH版本：CDH 6.1.1JDK版本：openjdk1.8docker engine：19.0.3Database：mysql 5.7统一用户密码或设置免密登录CDH安装过程中需要用到root用户权限，一般使用root用户进行安装。如果必须使用非root用户，请参考官网配置。如果使用root用户，则统一密码。如果使用免密登录，则配置免密登录（Centos7配置略）。密码规范：（略）集群规划1...

2021-06-03 20:03:43 904

原创 sqlserver 利用trigger实现增删改操作的审计audit日志log记录

/*首先建立数据库Test，建立两个表，我们命名为grades和audit，利用audit实现对grades的审计功能，其中grades用于存放学生的成绩，包括“sdudentID，courseID，grade”三个字段，主键为sdudentID，courseID；audit仅仅比表grades增加了两个字段：changeType，changTime，用于记录grades表被修改的类型和修改时间。建立2个表格的sql语句如下：*/create table grades(studentID int

2021-06-03 19:04:56 719 2

转载【技术支持】MySQL对emoji的支持

MySQL对emoji的支持https://blog.csdn.net/kingmax54212008/article/details/82941332======以下是原链接内容做了点整理begin：一：首先我们修改my.cnf参数[client]default-character-set=utf8mb4[mysql]default-character-set=...

2019-09-07 20:00:21 221

原创【项目管理】使用SVN客户端搭建可以在局域网中访问的SVN本地库，类似局域网的SVN服务器

参考：TortoiseSVN 取消日志最小长度限制 http://blog.csdn.net/templar1000/article/details/39345057svn 要求强制写日志 http://www.makaidong.com/%E5%8D%9A%E5%AE%A2%E5%9B%AD%E6%8E%A8%E8%8D%90/462.shtml一、创建本地库：

2016-10-18 14:51:00 8538

原创绿色instance client连接Oracle服务器的配置方法

参考：http://www.cnblogs.com/tearer/archive/2012/12/13/2815595.htmlhttp://blog.itpub.net/21726588/viewspace-706462/本方法是通过使用ORACLE官方提供的精简版客户端，即绿色免安装的客户端。 Instant client

2016-10-08 17:52:25 8379

原创【技术支持】开发人员从客户数据库环境中导出数据用户测试的几种方法途径

以下是一些批量导出的方法：1、客户是oracle数据库，使用exp/imp导出全量库。# exp username1/userpwd@ip:port/tnsname file=bak-ip-sid-owner.dmp log=bak-ip-sid-owner.log owner=username2 rows=y direct=y; 说明：1）username1是客户提供的

2016-09-29 16:07:46 1382

原创【技术支持】Oracle imp/exp应用全解析

//====导出表数据1、使用oracle用户登录2、执行导出方式一、全量备份# exp username1/userpwd@tnsname file=bak.dmp log=bak.log owner=username2 rows=y direct=y;说明：·rows参数表示是否导出数据；·direct参数表示一种导出的方式；·file表示导出后

2016-09-22 16:53:40 572

原创【技术支持】各种数据库DB管理工具

·Navicathttps://www.navicat.com.cn/products可以管理市面上大多流行的DB。如果，仅仅查看数据库表，使用Navicat Essentials即可。·PLSQL Developer或Oracle SQL Developer使用这两个连接Oracle数据库。·Oracle SQL Devel

2016-09-18 14:40:28 636

原创【技术支持】使用eclipse登陆oracle

如果要登陆sys用户，必须这样设置：

2016-01-12 22:37:58 511

原创【工具优化】Eclipse设置（包括优化、易用性、必备插件等的说明）----持续更新

【转】Eclipse设置、调优、使用http://yuanzhifei89.iteye.com/blog/974082Eclipse 重新加载插件1. 删除 configuration/org.eclipse.update2. cmd 运行 eclipse -clean还不行.找到configuration/config.ini 修改

2016-01-12 22:36:04 4929 1

转载【工具优化】Windows版Vim的优化设置

转自：http://www.liuhuadong.com/archives/68/index.htmlvim、gvim在windows下中文乱码的终极解决方案在windows下vim的中文字体显示并不好，所以我们需要调整字体显示编码为utf-8，只有这样才能使用美观的中文。这时候可能出现很多中文乱码。如：文件显示乱码、菜单乱码、右键菜单乱码、conlse输出乱码、文件关

2015-12-02 21:20:00 990

原创【技术支持】Oracle plsql中的having子句并非都能改写成where子句。having子句的适用场景。

一句话：group by子句让聚合函数输出不同的记录，having子句优先级低于聚合函数，其就是用于筛选聚合后的各组值，以弥补where子句的不足。所以，having子句中的条件必须是聚合函数。例子：update t_userinfo tu set tu.status = 3 , tu.update_time = to_date(str_date, 'yyyy

2015-07-10 16:13:08 2510

原创【技术支持】Oracle报连接超时，TNS-12535:TNS:operation timed out。WARNING: inbound connection timed out (ORA-3136)

oracle:~> cat sqlnet.oratcp.validnode_checking=yestcp.invited_nodes=*sqlnet.inbound_connect_timeout=3 ------改为30 重启数据库监听和oracle服务oracle:~> lsnrctl stoporacle:~> lsnrctl startoracle:

2015-07-10 11:16:32 1580

原创 Oralce的pl/sql中什么时候用(not)exists比较合适？

dml中语法上可以使用exists的无非增删改查。在select语句中能用exists的地方，都可以用表连接来改写。在insert语句中要用exists的是在select子句中，也都可以用表连接来改写。在update、delete语句中，有的时候必须使用exists：在需要根据表A的判断条件，来update、delete表B的某一条记录的时候，就必须使用exists了。

2015-07-07 11:35:33 2780

原创 Oracle pl/sql中的group by子句不能使用别名，应该这样写。

下面的语句执行的话会报错：ORA-00904: "CALLT": 标示符无效select case when ta.call_time = 0 then 0 when ta.call_time 0 then 1 when ta.call_time 6 then 2 when ta.call_time 60 then 3 else 4 end as call

2015-07-06 19:58:51 13337

原创 Oracle 列转行行转列

--方法一，listaggwith tableName as ( select 1 as a, 1 as b from dual union all select 1 as a, 2 as b from dual union all select 3 as a, 1 as b from dual)select a, listagg(b, ',') within grou

2014-05-25 23:27:22 854

原创 Oracle plsql递归统计所有节点下的子节点&内容个数——start with connect by prior用法

/*create table test_category(cid varchar2(20), parentid varchar2(20));create table test_category2content(cateid varchar2(20),contid varchar2(20));insert into test_category valu

2014-01-13 01:05:16 7364 3

原创 Sql中Number类型与ETL工具中的数据类型的对应关系。

number是浮点型，对应ETL工具中的double类型。number(p,s)是定点型，S=0是定点整型，对应ETL工具中的long/integer类型，p=10是long，S=10是double。

2014-01-11 11:21:26 1593

原创 Oracle Sql根据不同取值选择不同的表

select case when 1 then t1 when 2 then t2from （select a.code as t1,b.code as t2,c.code as t3,d.code as t4from a,b,c,d） x, rel_view_record ywhen case when 1 then y.code = x.t1when 2

2013-11-16 20:38:53 2761

原创 Oracle之赋予resource角色自动赋予UNLIMITED TABLESPACE权限，回收同理。

创建一个角色create role role_test1;grant create session to role_test1;创建一个用户create user user_test1 identified by test1;赋予resource角色和role_test1角色grant resource to user_test1;grant role_test1 to u

2013-09-11 23:58:01 1589

原创 SQL之如何不创建数据库表模拟数据

with tt as ( select '1' as a, '2' as b, 12 as c from dual union all select '1' as a, null as b, 12 as c from dual) select count(distinct a || b ) from tt;

2013-09-11 22:08:36 1174

原创 oracle之将UTC时间转换成本地时间

select * from V$TIMEZONE_NAMES;select TZ_OFFSET('+8:00') from dual;select TZ_OFFSET('Africa/Abidjan') from dual;select TZ_OFFSET(dbtimezone) from dual;select TZ_OFFSET(sessiontimezone) from dual;

2013-09-09 00:10:05 8960 3

转载一条select语句将一个用逗分隔的列分成多行

原文：http://www.itpub.net/thread-1284089-2-1.html--下面的精妙sql!with test1 as ( select 1 as a, '1,2,3,4,5,6,7,8,9,9,8,8,8,8,7,6,5,4,5,6,7,8,9,0,-,1,1,1,1,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2

2013-09-08 01:22:52 1200

原创 Oracle11gR2的服务一键启动/停止脚本

@echo onset ORAHOME=OraDb11g_home1set ORASID=ORCL:net start OracleVssWriter%ORASID%:net start OracleDBConsole%ORASID%:net start OracleJobScheduler%ORASID%:net start OracleMTSRecoveryService:n

2013-08-10 23:01:32 1766

原创 Oracle之自建字符串函数

create or replace function get_splitstr_location ( i_souString in varchar2, i_desString in varchar2, i_delimiter in varchar2) return number/*===============================源字符串是多个小字符串由多分隔符连

2013-08-04 22:00:15 799

原创 Oracle之在创建Table之前先判断是否存在，存在就删除

create or replace function Func_Is_Exists_Table( i_table_name in varchar2) return number is o_result number;begin declare num number; begin select count(1) into num from user

2013-04-19 01:04:49 1525

原创 Windows之基础优化

//====加速启动1、IDE通道----设备类型改为“无”（WinXP）2、开启 Hybrid Boot (混合启动技术)（Win8）开启 Win8 独有的混合启动技术可以让电脑启动飞快。它默认是启动的，但如果你的没有被启动，可以到控制面板 – 电源选项 – 选择电源按钮的功能 – 更改当前不可用的设置 – 关机设置 – 勾上启用快速启动。如果没有看到这功能，请先开启休眠：Wi

2013-04-18 23:33:55 1316

原创 Oracle之create tablespace、user

--创建表空间iptvrptcreate tablespace iptvrptdatafile 'D:\oracle\oradata\iptvrpt\iptvrpt.dbf'size 2mautoextend onnext 2m maxsize unlimitedextent MANAGEMENT LOCAL;--创建临时表空间create temporary

2013-04-18 23:32:15 1252

原创数据库表的设计模式

表的种类：一、信息表----即主扩展模式1）信息主表2）信息扩展表以上两者一对一的关系说明：对于信息表，查的时候多于增、删、改。二、状态表----即主从模式1）状态主表2）状态从表以上两者一对多的关系特殊的是状态自身主从表，即自联结模式特殊的是继承模式说明：对于状态表，查、改的时候多于增、删。三、关

2013-04-08 23:00:13 1583

原创 Oracle之查看所有表空间的大小

表空间的查询主要是以下四个数据字典：select * from dba_data_files t;select * from dba_free_space t;select * from dba_temp_files t;select * from dba_temp_free_space t;查询方法一：SELECT dbf.tablespace_name

2013-04-06 22:43:52 816

原创 Oracle11gR2的服务简介

//====Oracle11gR2的服务简介名称是否必须简介OracleServiceORCLY数据库服务(数据库实例)，是Oracle核心服务该服务，是数据库启动的基础，只有该服务启动，Oracle数据库才能正常启动。 OracleOraDb11g_home1TNSListener

2013-04-06 21:04:37 1454

转载 Oracle9i、10g、11g区别

转自：http://space.itpub.net/20948385/viewspace-665062Oracle 10g比9i多的新特性？ 1. 10g支持网格计算，即多台结点服务器利用高速网络组成一个虚拟的高性能服务器，负载在整个网格中衡(Load Balance)，按需增删结点，避免单点故障(Single Point of

2013-04-04 16:10:48 979

转载 Oracle11g R2相比R1的区别

一、新增功能11g r2增加了rac one node 11g r2增加了SCAN二、删除功能11g r2不再支持裸设备建库三、修改功能增强了集群四、补丁

2013-04-04 16:05:13 3970

原创探讨页面按键管理的各种方式

以一个简单的播控页面（机顶盒上的播控页面）为例来探讨页面的按键管理方式（没有鼠标，不考虑组合键）。简单的播控页面：这个播控页面由2个子页面组成：1）播放页面2）信息面板MINIEPG这2个页面的按键责任如下：1）播放页面：·

2011-10-19 03:54:21 609

探讨页面按键管理的各种方式

以一个简单的播控页面（机顶盒上的播控页面）为例来探讨页面的按键管理方式（没有鼠标，不考虑组合键）。简单的播控页面：这个播控页面由2个子页面组成：1）播放页面2）信息面板MINIEPG这2个页面的按键责任如下：1）播放页面： ·up：调出MINIEPG，在其中显示下一个频道的信息； ·down：调出MINIEPG，在其中显示上一个频道的信息； ·CH+：切台，播放下一个频道，并...

2011-10-19 03:42:56 210