2019年01月__Kafka_

12月 11月 10月 09月 08月 07月 05月 04月 03月 02月 01月

转载 RPC框架调用过程详解

转自：https://blog.csdn.net/heyeqingquan/article/details/78006587 RPC是远程调用过程的简写，是一个协议，处于网络通信协议的第五层：会话层，其下就是TCP/IP协议，在建立在其基础上的通信会话协议。RPC定义了交互的模式，而应用程序使用这些模式，来访问其他服务器的方法，并不需要关系具体的网络上的细节。一、RPC...

2019-01-30 15:33:38 1390

转载 HDFS中SecondaryNameNode合并fsimage和edit log操作

转自：http://flyingdutchman.iteye.com/blog/1874824本节我们主要写Secondary NameNode是如何合并命名空间文件和编辑日志文件。 //------------------------------------------------------------------------------------------------------...

2019-01-30 15:07:19 1542

转载 Hadoop NameNode详解

转自：https://blog.csdn.net/lb812913059/article/details/78713634NameNode在内存中保存着整个文件系统的名字空间和文件数据块的地址映射(Blockmap)。如果NameNode宕机，那么整个集群就瘫痪了整个HDFS可存储的文件数受限于NameNode的内存大小这个关键的元数据结构设计得很紧凑，因而一个有4G内存的Nameno...

2019-01-30 13:50:56 1384

转载 Spark Stage划分标准

转自：https://blog.csdn.net/zhyooo123/article/details/82703723RDD之间有一系列的依赖关系，依赖关系又分为窄依赖和宽依赖。Spark中的Stage其实就是一组并行的任务，任务是一个个的task 。窄依赖父RDD和子RDD partition之间的关系是一对一的。或者父RDD一个partition只对应一个子RDD的partition...

2019-01-29 16:27:01 719

转载 MapReduce Input Split（输入分/切片）详解

转自：https://blog.csdn.net/Dr_Guo/article/details/51150278看了很多博客，感觉没有一个说的很清楚，所以我来整理一下。先看一下这个图输入分片（Input Split）：在进行map计算之前，mapreduce会根据输入文件计算输入分片（input split），每个输入分片（input split）针对一个map任务，输入分片...

2019-01-28 14:38:08 822

转载关于 HDFS 数据块占用实际磁盘空间问题

转自：https://blog.csdn.net/samhacker/article/details/23089157一个常被问到的一个问题是：如果一个HDFS上的文件大小(file size) 小于块大小(block size) ，那么HDFS会实际占用Linux file system的多大空间？答案是实际的文件大小，而非一个块的大小。下面做一个实验：1、往hdfs里面添加新文件...

2019-01-28 14:35:15 7829 5

转载值得一提：关于 HDFS 的 file size 和 block size

2019-01-28 14:26:14 445

转载 HDFS小文件问题及解决方案

转自：https://blog.csdn.net/huangjin0507/article/details/51798629?utm_source=blogxgwz0 1、概述小文件是指文件size小于HDFS上block大小的文件。这样的文件会给hadoop的扩展性和性能带来严重问题。首先，在HDFS中，任何block，文件或者目录在内存中均以对象的形式存储，每个对象约占150byt...

2019-01-23 15:11:16 359

原创 oracle 临时表

在Oracle8i或以上版本中，可以创建以下两种临时表： 1。会话特有的临时表CREATE GLOBAL TEMPORARY <TABLE_NAME> ( <column specification> ) ON COMMIT PRESERVE ROWS； 2。事务特有的临时表CREATE GLOBAL TEMPORARY <TABLE_NAM...

2019-01-14 14:32:04 210

原创 errbuf,retcode参数

并发请求中，往往有errbuf,retcode OUT类型参数，在请求中往往出现ORA-06550错误，原因之一是 errbuf,retcode参数没有定义存储过程一定要有两个参数errbuf和retcode两个OUT类型参数，并且作为第一和第二个参数可以都为varchar2类型的，errbuf是用来输出错误的信息，retcode输出错误号，一般为0表示无错误，1表示警告，2表示有错误。 ...

2019-01-14 14:10:19 3993 1

原创请求查询

select req.request_id 请求编号, fcp.user_concurrent_program_name 请求名, usr.user_name 提交人, (select f.full_name from per_all_people_f f where f.person_id = usr.employ...

2019-01-10 15:07:53 276

转载 oracle创建临时表

临时表：像普通表一样，有结构，但是对数据的管理上不一样，临时表存储事务或会话的中间结果集，临时表中保存的数据只对当前会话可见，所有会话都看不到其他会话的数据，即使其他会话提交了，也看不到。临时表不存在并发行为，因为他们对于当前会话都是独立的。（它默认是事务级别的）在oracle中临时表可分为会话级临时表和事务级别临时表。临时表的作用：对于庞大的数据我们只要查询其中一小部分结果集这样我们可...

2019-01-10 10:42:05 247

原创 oracle ebs输出报表分sheet

<?xml version="1.0" ?><?mso-application progid="Excel.Sheet"?> <Workbook xmlns="urn:schemas-microsoft-com:office:spreadsheet" xmlns:o="urn:schemas-microsoft-com:offic.

2019-01-09 11:22:39 459

原创批量给一个OU分配物料

DECLARE x_return_status VARCHAR2(1); x_msg_count NUMBER; CURSOR cur_item IS SELECT msi.segment1, msi.primary_uom_code, msi.inventory_item_id, msi.organi...

2019-01-03 17:54:52 412