- 博客(38)
- 资源 (18)
- 问答 (2)
- 收藏
- 关注
原创 大数据的数据接入和数据服务技术的研究
转自我的语雀:https://www.yuque.com/docs/share/4a3838e2-f63d-4c00-8842-0bcd881516eb?# 《论文:大数据的数据接入和数据服务技术的研究-已发表》
2021-06-03 20:14:52
1273
2
原创 大数据hadoop实时数据接入实现与周期核数
架构canal实时监控mysql,丢给kafka,flink/spark sink,datax首次或周期核数。方案0、增删改hive内部表但是性能非常差,启动mr引擎需要2-3s,即使使用hive on spark引擎也需要1-2s启动。不满足实时要求。1、首次全量抽取写textfile文件,创建hive外部表。实时接入append写上面的textfile文件。此时:注意1)分隔符的选定,尽量不要与数据内容中存在的制表符相同。可以在创建hive外...
2021-06-03 20:12:10
446
原创 运维:大数据(hadoop、spark)性能优化
Linux优化调大预读缓冲区大小来提高性能https://blog.csdn.net/xiaolang85/article/details/17790267【JC】HDFS的可以调整为blockdev --setra 8192 /dev/sda在Linux中,使用noatime选项挂载磁盘,以减少不必要的写入操作。可以减少记录最新一次更新时间。查看io负载CentOS 7.2中磁盘iowait过高解决 https://www.linuxidc.com/Linux/2017-08/146267.
2021-06-03 20:05:09
320
原创 基于docker的CDH离线安装部署。将cdh安装在docker中,并配置网络
规划与规范确定版本服务器版本:Centos7CDH版本:CDH 6.1.1JDK版本:openjdk1.8docker engine:19.0.3Database:mysql 5.7统一用户密码或设置免密登录CDH安装过程中需要用到root用户权限,一般使用root用户进行安装。如果必须使用非root用户,请参考官网配置。如果使用root用户,则统一密码。如果使用免密登录,则配置免密登录(Centos7配置略)。密码规范:(略)集群规划1...
2021-06-03 20:03:43
980
原创 sqlserver 利用trigger实现增删改操作的审计audit日志log记录
/*首先建立数据库Test,建立两个表,我们命名为grades和audit,利用audit实现对grades的审计功能,其中grades用于存放学生的成绩,包括“sdudentID,courseID,grade”三个字段,主键为sdudentID,courseID;audit仅仅比表grades增加了两个字段:changeType,changTime,用于记录grades表被修改的类型和修改时间。建立2个表格的sql语句如下:*/create table grades(studentID int
2021-06-03 19:04:56
809
2
转载 【技术支持】MySQL对emoji的支持
MySQL对emoji的支持https://blog.csdn.net/kingmax54212008/article/details/82941332======以下是原链接内容做了点整理begin:一:首先我们修改my.cnf参数[client]default-character-set=utf8mb4[mysql]default-character-set=...
2019-09-07 20:00:21
241
原创 【项目管理】使用SVN客户端搭建可以在局域网中访问的SVN本地库,类似局域网的SVN服务器
参考:TortoiseSVN 取消日志最小长度限制 http://blog.csdn.net/templar1000/article/details/39345057svn 要求强制写日志 http://www.makaidong.com/%E5%8D%9A%E5%AE%A2%E5%9B%AD%E6%8E%A8%E8%8D%90/462.shtml一、创建本地库:
2016-10-18 14:51:00
8590
原创 绿色instance client连接Oracle服务器的配置方法
参考:http://www.cnblogs.com/tearer/archive/2012/12/13/2815595.htmlhttp://blog.itpub.net/21726588/viewspace-706462/本方法是通过使用ORACLE官方提供的精简版客户端,即绿色免安装的客户端。 Instant client
2016-10-08 17:52:25
8421
原创 【技术支持】开发人员从客户数据库环境中导出数据用户测试的几种方法途径
以下是一些批量导出的方法:1、客户是oracle数据库,使用exp/imp导出全量库。# exp username1/userpwd@ip:port/tnsname file=bak-ip-sid-owner.dmp log=bak-ip-sid-owner.log owner=username2 rows=y direct=y; 说明:1)username1是客户提供的
2016-09-29 16:07:46
1415
原创 【技术支持】Oracle imp/exp应用全解析
//====导出表数据1、使用oracle用户登录2、执行导出方式一、全量备份# exp username1/userpwd@tnsname file=bak.dmp log=bak.log owner=username2 rows=y direct=y;说明:·rows参数表示是否导出数据;·direct参数表示一种导出的方式;·file表示导出后
2016-09-22 16:53:40
594
原创 【技术支持】各种数据库DB管理工具
·Navicathttps://www.navicat.com.cn/products可以管理市面上大多流行的DB。如果,仅仅查看数据库表,使用Navicat Essentials即可。·PLSQL Developer或Oracle SQL Developer使用这两个连接Oracle数据库。·Oracle SQL Devel
2016-09-18 14:40:28
659
原创 【工具优化】Eclipse设置(包括优化、易用性、必备插件等的说明)----持续更新
【转】Eclipse设置、调优、使用http://yuanzhifei89.iteye.com/blog/974082Eclipse 重新加载插件1. 删除 configuration/org.eclipse.update2. cmd 运行 eclipse -clean还不行.找到configuration/config.ini 修改
2016-01-12 22:36:04
4993
1
转载 【工具优化】Windows版Vim的优化设置
转自:http://www.liuhuadong.com/archives/68/index.htmlvim、gvim在windows下中文乱码的终极解决方案在windows下vim的中文字体显示并不好,所以我们需要调整字体显示编码为utf-8,只有这样才能使用美观的中文。这时候可能出现很多中文乱码。如:文件显示乱码、菜单乱码、右键菜单乱码、conlse输出乱码、文件关
2015-12-02 21:20:00
1024
原创 【技术支持】Oracle plsql中的having子句并非都能改写成where子句。having子句的适用场景。
一句话:group by子句让聚合函数输出不同的记录,having子句优先级低于聚合函数,其就是用于筛选聚合后的各组值,以弥补where子句的不足。所以,having子句中的条件必须是聚合函数。例子:update t_userinfo tu set tu.status = 3 , tu.update_time = to_date(str_date, 'yyyy
2015-07-10 16:13:08
2551
原创 【技术支持】Oracle报连接超时,TNS-12535:TNS:operation timed out。WARNING: inbound connection timed out (ORA-3136)
oracle:~> cat sqlnet.oratcp.validnode_checking=yestcp.invited_nodes=*sqlnet.inbound_connect_timeout=3 ------改为30 重启数据库监听和oracle服务oracle:~> lsnrctl stoporacle:~> lsnrctl startoracle:
2015-07-10 11:16:32
1617
原创 Oralce的pl/sql中什么时候用(not)exists比较合适?
dml中语法上可以使用exists的无非增删改查。在select语句中能用exists的地方,都可以用表连接来改写。在insert语句中要用exists的是在select子句中,也都可以用表连接来改写。在update、delete语句中,有的时候必须使用exists:在需要根据表A的判断条件,来update、delete表B的某一条记录的时候,就必须使用exists了。
2015-07-07 11:35:33
2833
原创 Oracle pl/sql中的group by子句不能使用别名,应该这样写。
下面的语句执行的话会报错:ORA-00904: "CALLT": 标示符无效select case when ta.call_time = 0 then 0 when ta.call_time 0 then 1 when ta.call_time 6 then 2 when ta.call_time 60 then 3 else 4 end as call
2015-07-06 19:58:51
13494
原创 Oracle 列转行 行转列
--方法一,listaggwith tableName as ( select 1 as a, 1 as b from dual union all select 1 as a, 2 as b from dual union all select 3 as a, 1 as b from dual)select a, listagg(b, ',') within grou
2014-05-25 23:27:22
918
原创 Oracle plsql递归统计所有节点下的子节点&内容个数——start with connect by prior用法
/*create table test_category(cid varchar2(20), parentid varchar2(20));create table test_category2content(cateid varchar2(20),contid varchar2(20));insert into test_category valu
2014-01-13 01:05:16
7451
3
原创 Sql中Number类型与ETL工具中的数据类型的对应关系。
number是浮点型,对应ETL工具中的double类型。number(p,s)是定点型,S=0是定点整型,对应ETL工具中的long/integer类型,p=10是long,S=10是double。
2014-01-11 11:21:26
1619
原创 Oracle Sql根据不同取值选择不同的表
select case when 1 then t1 when 2 then t2from (select a.code as t1,b.code as t2,c.code as t3,d.code as t4from a,b,c,d) x, rel_view_record ywhen case when 1 then y.code = x.t1when 2
2013-11-16 20:38:53
2844
原创 Oracle之 赋予resource角色自动赋予UNLIMITED TABLESPACE权限,回收同理。
创建一个角色create role role_test1;grant create session to role_test1;创建一个用户create user user_test1 identified by test1;赋予resource角色和role_test1角色grant resource to user_test1;grant role_test1 to u
2013-09-11 23:58:01
1627
原创 SQL之 如何不创建数据库表模拟数据
with tt as ( select '1' as a, '2' as b, 12 as c from dual union all select '1' as a, null as b, 12 as c from dual) select count(distinct a || b ) from tt;
2013-09-11 22:08:36
1219
原创 oracle之 将UTC时间转换成本地时间
select * from V$TIMEZONE_NAMES;select TZ_OFFSET('+8:00') from dual;select TZ_OFFSET('Africa/Abidjan') from dual;select TZ_OFFSET(dbtimezone) from dual;select TZ_OFFSET(sessiontimezone) from dual;
2013-09-09 00:10:05
9085
3
转载 一条select语句将一个用逗分隔的列分成多行
原文:http://www.itpub.net/thread-1284089-2-1.html--下面的精妙sql!with test1 as ( select 1 as a, '1,2,3,4,5,6,7,8,9,9,8,8,8,8,7,6,5,4,5,6,7,8,9,0,-,1,1,1,1,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2
2013-09-08 01:22:52
1227
原创 Oracle11gR2的服务一键启动/停止脚本
@echo onset ORAHOME=OraDb11g_home1set ORASID=ORCL:net start OracleVssWriter%ORASID%:net start OracleDBConsole%ORASID%:net start OracleJobScheduler%ORASID%:net start OracleMTSRecoveryService:n
2013-08-10 23:01:32
1791
原创 Oracle之 自建字符串函数
create or replace function get_splitstr_location ( i_souString in varchar2, i_desString in varchar2, i_delimiter in varchar2) return number/*===============================源字符串是多个小字符串由多分隔符连
2013-08-04 22:00:15
818
原创 Oracle之 在创建Table之前先判断是否存在,存在就删除
create or replace function Func_Is_Exists_Table( i_table_name in varchar2) return number is o_result number;begin declare num number; begin select count(1) into num from user
2013-04-19 01:04:49
1572
原创 Windows之基础优化
//====加速启动1、IDE通道----设备类型改为“无”(WinXP)2、开启 Hybrid Boot (混合启动技术)(Win8)开启 Win8 独有的混合启动技术可以让电脑启动飞快。它默认是启动的,但如果你的没有被启动,可以到控制面板 – 电源选项 – 选择电源按钮的功能 – 更改当前不可用的设置 – 关机设置 – 勾上启用快速启动。 如果没有看到这功能,请先开启休眠:Wi
2013-04-18 23:33:55
1388
原创 Oracle之create tablespace、user
--创建表空间iptvrptcreate tablespace iptvrptdatafile 'D:\oracle\oradata\iptvrpt\iptvrpt.dbf'size 2mautoextend onnext 2m maxsize unlimitedextent MANAGEMENT LOCAL;--创建临时表空间create temporary
2013-04-18 23:32:15
1286
原创 数据库表的设计模式
表的种类:一、信息表----即主扩展模式1)信息主表2)信息扩展表以上两者一对一的关系说明:对于信息表,查的时候多于增、删、改。二、状态表----即主从模式1)状态主表2)状态从表以上两者一对多的关系特殊的是 状态自身主从表,即自联结模式特殊的是 继承模式说明:对于状态表,查、改的时候多于增、删。三、关
2013-04-08 23:00:13
1634
原创 Oracle之 查看所有表空间的大小
表空间的查询主要是以下四个数据字典:select * from dba_data_files t;select * from dba_free_space t;select * from dba_temp_files t;select * from dba_temp_free_space t;查询方法一:SELECT dbf.tablespace_name
2013-04-06 22:43:52
848
原创 Oracle11gR2的服务简介
//====Oracle11gR2的服务简介名称是否必须简介OracleServiceORCLY数据库服务(数据库实例),是Oracle核心服务该服务,是数据库启动的基础, 只有该服务启动,Oracle数据库才能正常启动。 OracleOraDb11g_home1TNSListener
2013-04-06 21:04:37
1483
转载 Oracle9i、10g、11g区别
转自:http://space.itpub.net/20948385/viewspace-665062Oracle 10g比9i多的新特性? 1. 10g支持网格计算,即多台结点服务器利用高速网络组成一个虚拟的高性能服务器,负载在整个 网格中衡(Load Balance),按需增删结点,避免单点故障(Single Point of
2013-04-04 16:10:48
1022
转载 Oracle11g R2相比R1的区别
一、新增功能11g r2增加了rac one node 11g r2增加了SCAN二、删除功能11g r2不再支持裸设备建库三、修改功能增强了集群四、补丁
2013-04-04 16:05:13
4046
原创 探讨页面按键管理的各种方式
以一个简单的播控页面(机顶盒上的播控页面)为例来探讨页面的按键管理方式(没有鼠标,不考虑组合键)。 简单的播控页面:这个播控页面由2个子页面组成:1)播放页面2)信息面板MINIEPG这2个页面的按键责任如下:1)播放页面:·
2011-10-19 03:54:21
640
探讨页面按键管理的各种方式
以一个简单的播控页面(机顶盒上的播控页面)为例来探讨页面的按键管理方式(没有鼠标,不考虑组合键)。 简单的播控页面:这个播控页面由2个子页面组成:1)播放页面2)信息面板MINIEPG这2个页面的按键责任如下:1)播放页面: ·up:调出MINIEPG,在其中显示下一个频道的信息; ·down:调出MINIEPG,在其中显示上一个频道的信息; ·CH+:切台,播放下一个频道,并...
2011-10-19 03:42:56
235
《计算网络工程》答案
2009-03-28
《计算网络工程》答案
2009-03-28
jsp 实用教程(第二版)程序源代码
2009-03-28
为什么java实体类中一般不定义业务方法?这是否和面向对象的思想有所出入?
2017-06-09
成员变量的“声明时初始化”和“构造方法中初始化”有什么区别?
2011-08-03
TA创建的收藏夹 TA关注的收藏夹
TA关注的人