- 博客(101)
- 资源 (9)
- 收藏
- 关注
RSS订阅转载 Java 9 新特性：Reactive Streams
Reactive Streams Reactive Streams 是一个使用非阻塞背压机制的异步流处理标准。back pressure（背压）是其中的关键概念。在异步模式中，消费者订阅生产者，从生产者那里获取数据，需要提供回调方法，当生产者产生新的可用数据后，就调用回调方法。当生产者发送数据的速度大于消费者处理的速度时，消费者就会抢占更多的资源来处理，并且有崩溃的可能。为了防止这种问题，需...
2018-09-04 09:01:05
392
转载 PO、VO、BO、DTO、POJO、DAO、DO之间的关系
DO： domain object持久对象就是从现实世界中抽象出来的有形或无形的业务实体。PO： persistant object持久对象最形象的理解就是一个PO就是数据库中的一条记录。 好处是可以把一条记录作为一个对象处理，可以方便的转为其它对象。BO： business object业务对象主要作用是把业务逻辑封装为一个对象。这个对象可以包括一个或多个其它的对象。...
2018-08-17 11:10:56
1108
1
转载 hive的脚本执行
hive-e"SQL"hvie-f file实例[root@spark1 ~]# hive -e "show tables" #查看有哪些表[root@spark1 ~]# hive -e "show tables" >> wujiadong #将查看结果追加到wujiadong文件中[root@spark1 ~]# hive -f 1.
2017-08-07 14:24:46
699
转载 HBase单个RegionServer的region数目上限
前言RegionServer维护Master分配给它的region，处理对这些region的IO请求,负责切分在运行过程中变得过大的region, 由于集群性能（ 分配的内存和磁盘是有限的 ）有限的，那么HBase单个RegionServer的region数目肯定是有上限的。Region数目上限RegionServer的region数目取决于memstore的内
2016-12-12 10:26:37
9488
2
转载 Heap memory和Stack memory的区别
1.Heap Memory是堆内存，Stack Memory是栈内存。2.Stack memory内存空间由操作系统自动分配和释放，Heap Memory内存空间手动申请和释放的，Heap Memory内存常用new关键字来分配。3.Stack Memory内存空间有限，Heap Memor的空间是很大的自由区几乎没有空间限制。在Java中，声明的对象是先在栈内存中为其分配
2016-11-30 10:20:29
10193
转载 自相关函数，互相关函数
1. 首先说说自相关和互相关的概念。 这个是信号分析里的概念，他们分别表示的是两个时间序列之间和同一个时间序列在任意两个不同时刻的取值之间的相关程度，即互相关函数是描述随机信号x(t),y(t)在任意两个不同时刻t1，t2的取值之间的相关程度，自相关函数是描述随机信号x(t)在任意两个不同时刻t1，t2的取值之间的相关程度。 自相关函数是
2016-11-15 15:20:49
31693
转载 Oracle 查看一个表对应的主键和外键的约束关系
select a.owner, --主键拥有者 a.table_name, --主键表 b.column_name, --主键列 c.OWNER, --外键拥有者 c.table_name, --外键表 d.column_name --外键列 from user_constrain
2016-07-20 15:09:46
930
转载 Ganglia监控Hadoop与HBase集群
Hadoop 集群基本部署完成，接下来就需要有一个监控系统，能及时发现性能瓶颈，给故障排除提供有力依据。监控hadoop集群系统好用的比较少，自身感觉 ambari比较好用，但不能监控已有的集群环境，挺悲催的。ganglia在网上看到原生支持Hadoop、Hbase性能监控，试用一段时间感觉还不 错，监控项比较全面，配置简单，软件包在epel网络源中，使用yum安装方便快捷。Gangl
2016-07-15 13:33:01
492
原创 ORA-22922 :nonexistent LOB value解决方案
背景：JAVA使用JDBC方式查询语句报错开发人员提交一个错误给我， 问我是否有其它的查询语句方式，错误如下：uncategorized SQLException for SQL [select * from (select TMP_RESULT.*, ROWNUM RN from (SELECT FILE_ID,
2016-06-17 18:03:26
14174
4
转载 CPU概念和调度算法
基本概念1、物理CPU、逻辑CPU、CPU核数(1) 一个物理CPU上有多个CPU核，如果采用了intel的超线程技术(HT), 就会再多出一倍的cpu核出来(2)一般情况下，逻辑cpu数=物理CPU*cpu核数(3)如果采用了超线程技术，则正常逻辑cpu数=物理CPU*cpu核数*2top看到的cpu个数以及java中的Runtime.getRuntime
2016-06-12 13:47:16
2290
转载 Spark 中map与 flatMap的区别
通过一个实验来看Spark 中 map 与 flatMap 的区别。步骤一：将测试数据放到hdfs上面hadoopdfs -put data1/test1.txt /tmp/test1.txt该测试数据有两行文本：该测试数据有两行文本：步骤二：在Spark中创建一个RDD来读取hdfs文件/tmp/test1.txt
2016-05-24 17:44:42
857
转载 java2的三个版本
Java EE是一种利用Java2平台来简化企业解决方案的开发、部署和管理相关的复杂问题的体系结构。Java SE 用于开发和部署桌面、服务器以及嵌入设备和实时环境中的Java应用程序。Java ME是一个技术和规范的集合，它为移动设备（包括消费类产品、嵌入式设备、高级移动设备等）提供了基于Java环境的开发与应用平台。
2016-04-08 09:35:20
568
转载 MemCached OsCache EhCache
Memcache:分布式内存对象缓存系统，占用其他机子的内存。Oscache:页面级缓存（网上强调最多的东西）,占用本机的内存资源。EhCache：Hibernate缓存，DAO缓存，安全性凭证缓存（Acegi），Web缓存，应用持久化和分布式缓存。
2016-04-07 16:14:22
477
转载 Ganglia监控Hadoop及Hbase集群性能(安装配置)
Ganglia简介Ganglia 是 UC Berkeley 发起的一个开源监视项目，设计用于测量数以千计的节点。每台计算机都运行一个收集和发送度量数据（如处理器速度、内存使用量等）的名为 gmond 的守护进程。它将从操作系统和指定主机中收集。接收所有度量数据的主机可以显示这些数据并且可以将这些数据的精简表单传递到层次结构中。正因为有这种层次结构模式，才使得 Ganglia 可以实现良好的扩展
2016-03-18 14:07:08
1174
转载 Tachyon：Spark生态系统中的分布式内存文件系统
Tachyon把内存存储的功能从Spark中分离出来， 使Spark可以更专注计算的本身， 以求通过更细的分工达到更高的执行效率。
2016-03-16 16:50:45
461
转载 一文看懂大数据的技术生态圈，Hadoop，hive，spark都有了
大数据本身是个很宽泛的概念，Hadoop生态圈（或者泛生态圈）基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆，各有各的用处，互相之间又有重合。你可以用汤锅直接当碗吃饭喝汤，你可以用小刀或者刨子去皮。但是每个工具有自己的特性，虽然奇怪的组合也能工作，但是未必是最佳选择。大数据，首先你要能存的下大数据。 传统的文件系统是单机的，不能横跨不同的机器。
2016-03-09 15:10:29
471
转载 算法时间复杂度的计算
时间复杂度的定义一般情况下，算法中基本操作重复执行的次数是问题规模n的某个函数，用T(n)表示，若有某个辅助函数f(n)，使得当n趋近于无穷大时，T(n)/f(n)的极限值为不等于零的常数，则称f(n)是T(n)的同数量级函数。记作T(n)=O(f(n))，称O(f(n))为算法的渐进时间复杂度(O是数量级的符号 )，简称时间复杂度。
2016-03-09 13:57:54
810
转载 利用Mahout实现在Hadoop上运行K-Means算法
K-Means算法是基于分划分的最基本的聚类算法，是学习机器学习、数据挖掘等技术的最基本的知识，所以掌握其运行原理是很重要的。
2016-03-03 10:45:01
699
转载 基于分布式hadoop的机器学习算法工具包
Apache Mahout 是 ApacheSoftware Foundation (ASF) 旗下的一个开源项目，提供一些可扩展的机器学习领域经典算法的实现，旨在帮助开发人员更加方便快捷地创建智能应用程序，并且，在 Mahout 的最近版本中还加入了对Apache Hadoop 的支持，使这些算法可以更高效的运行在云计算环境中。Mahout实现的机器学习算法见表
2016-03-02 14:39:49
2484
转载 Mahout和Hadoop：机器学习的基本原理
计算技术通常用来分析数据，而理解数据则依赖于机器学习。多年来，对于大多数开发者来说，机器学习却是非常遥远、一直是难以企及的。 这可能是现在收益最高，也是最受欢迎的一项技术之一。毫无疑问——作为开发人员，机器学习是一个能够大展身手的舞台。图1：机器学习的构成 机器学习是简单数据检索与存储的合理扩展。通过开发各种组件，使计算机更加智能学习和发生行为。
2016-03-02 13:50:20
3663
转载 最小生成树-Prim算法和Kruskal算法
Prim算法1.概览普里姆算法（Prim算法），图论中的一种算法，可在加权连通图里搜索最小生成树。意即由此算法搜索到的边子集所构成的树中，不但包括了连通图里的所有顶点（英语：Vertex (graph theory)），且其所有边的权值之和亦为最小。该算法于1930年由捷克数学家沃伊捷赫·亚尔尼克（英语：Vojtěch Jarník）发现；并在1957年由美国计算机科学家罗伯特·普
2015-12-29 09:53:12
355
转载 通往数据分析成功之路的五大挑战
挑战一：IT人员缺乏随着信息化建设速度的加快，企业也越来越重视数据分析产生的效能。然，数据分析对IT软件公司只是小case，但是对于一些传统企业，或是只运营线下产品的公司来说，他们的公司组成大部分是销售业务人员，只有极少数IT人员，从事的也仅是网站建设及维护。这在现在是远远不够的，即使是经营线下产品的公司，也会产生大量的销售，库存等数据，如果能对这些数据进行有效的数据分析，带来的利
2015-12-20 23:45:01
556
转载 复合增长率
复合增长率的英文缩写为：CAGR（Compound Annual Growth Rate）。 CAGR并不等于现实生活中GR（Growth Rate）的数值。它的目的是描述一个投资回报率转变成一个较稳定的投资回报所得到的预想值。我们可以认为CAGR平滑了回报曲线，不会为短期回报的剧变而迷失。原理一项投资在特定时期内的年度增长率计算方法为总增长率百分比的n方根，n相等于有关时期内
2015-12-20 21:44:26
3154
转载 hadoop对于压缩文件的支持
hadoop对于压缩格式的是透明识别,我们的MapReduce任务的执行是透明的，hadoop能够自动为我们 将压缩的文件解压，而不用我们去关心。如果我们压缩的文件有相应压缩格式的扩展名（比如lzo，gz，bzip2等），hadoop就会根据扩展名去选择解码器解压。hadoop对每个压缩格式的支持,详细见下表：压缩格式工具算法文件扩展名多文件可分割性
2015-12-01 16:23:20
428
转载 HBase修改压缩格式及Snappy压缩实测分享
一、要点有关Snappy的相关介绍可参看Hadoop压缩-SNAPPY算法，如果想安装Snappy，可以参看Hadoop HBase 配置 安装 Snappy 终极教程。1. HBase修改Table压缩格式步骤2. 实测结果分享二、HBase修改Table压缩格式步骤修改HBase压缩算法很简单，只需要如下几步：1. hbase shell命令下，disable相
2015-12-01 13:53:45
487
转载 Cognos组件介绍
一 、Cognos 详细组件列表：从大模块来看， Cognos产品组件只有三个：Cognos Powerplay Transformation Server：负责将数据源变成数据立方体；Cognos Powerplay Enterprise Server：负责将数据立方体以OLAP分析、OLAP报表等方式展现出来；Cognos ReportNet Server：负责实现基于数据库的
2015-11-30 09:14:18
1126
转载 Shell—AWK—脚本实例
日期循环：给定起始日期#! /bin/shbeginDate="20140101";endDate="20140203";while [[ "$beginDate" -le "$endDate" ]] dobeginDate=`date -d "+1 day $beginDate" +%Y%m%d`echo $beginDatedoneFROM:ht
2015-11-25 20:18:15
449
转载 11.2.0.4 Patch Set - Availability and Known Issues (Doc ID 1562139.1)
11.2.0.4 Patch Set - Availability and Known Issues (Doc ID 1562139.1)Known Issues specific to the 11.2.0.4 Patch SetPlease note that 11.2 Patch Sets 11.2.0.2 and higher are supplied as ful
2015-09-02 08:41:48
597
转载 查看linux中某个端口（port）是否被占用（netstat,lsof）
netstat -tunlp 会显示所有端口和所有对应的程序,用grep管道可以过滤出想要的关键字段.列一下22端口占用的程序[root@leiwan tmp]# netstat -tunlp |grep 22tcp 0 0 0.0.0.0:42957 0.0.0.0:* LISTEN 223
2015-07-03 14:41:58
1710
转载 扫盲：字符编码与字符集的区别（2010年10月9日修改）
近来学习字符编码，发现网络上总是把“字符集（Character Set）”与“字符编码（Encode）”搞混了，我也给弄得晕头转向。 其实字符编码与字符集在本质上就是不同的东西。 字符（Character）> 一个文字就是一个字符。在计算机中，字符是用数字来表示的，不同的文字用不同的数字表示。 字符集（Character Set） 既然是“集”，也就是“集合”
2015-06-24 10:49:40
493
转载 递归算法探讨
递归算法探讨递归在计算机科学和数学中是一个很重要的工具, 它在程序设计语言中用来定义句法, 在数据结构中用来解决表或树形结构的搜索和排序等问题。另外, 递归在计算方法、运筹学模型、行为策略和图论的研究中都得到了广泛的应用。 1、 递归的概念若一个对象部分地包含它自己, 或用它自己给自己定义, 则称这个对象是递归的; 在程序设计中, 若一个过程直接地或间接地调用自己, 则称这个过
2015-06-23 15:41:53
619
转载 SVN:One or more files are in a conflicted state
解决代码冲突 如果commit时出现“You have to update your work copy first.”红色警告，说明版本库中的此文件已经被其他人修改了。请先点“ok”按钮退出。执行update,然后再commit。 如果修改与update得到的代码不冲突，则自动合并。如果冲突（比如对同一行代码进行了修改），则出现”One or more files
2015-06-18 09:34:32
4717
转载 oracle 最佳实践经验
MEMORY_TARGE=物理内存*80%MEMORY_MAX_SIZE=物理内存*80%对于OLTP系统：SGA_TARGET=(物理内存*80%)*80%SGA_MAX_SIZE=(物理内存*80%)*80%PGA_AGGREGATE_TARGET=(物理内存*80%)*80%对于DSS系统：SGA_TARGET=(物理内存*
2015-06-17 16:47:42
1094
原创 oracle A点出发到各地的路径及其距离
求所有的可能路径及距离样例数据如下：with bus as(select 1 id, 'A' dstart, 'B' dend, '120' distance from dual union allselect 2 id, 'B' dstart, 'C' dend, '200' distance from dual union allselect 3 id, 'C' dst
2015-03-23 14:04:18
618
1
原创 oracle合并连续数值
原始数据 ID PID 1000 10101011 10501051 10561059 10731200 12101211 12401501 15701571 15801581 1600 效果startNO endNo1000 10561059 10731200 12401501 1600
2015-03-19 09:41:10
857
转载 win7 64位数据库连接问题：在指定的 DSN 中，驱动程序和应用程序之间的体系结构不匹配
通过ODBC/JDBC连接程序和数据库时，异常报错“在指定的 DSN 中，驱动程序和应用程序之间的体系结构不匹配”的解决办法在指定的 DSN 中，驱动程序和应用程序之间的体系结构不匹配本机：64位win7，64位JDK，做Web实验用32位myeclipse不管是Access还是SQLServer连接数据库都出问题后，我终于明白当初做Java实验为啥连不上Access数据库但SQLSe
2015-03-10 17:04:51
1403
转载 undo_retention&guarantee
undo_retention:指定事物commit后undo将要保存的时间(秒)，在ORACLE10g中默认的是900秒。GUARANTEE ：保证undo_retention参数所设定的时间有效，这个是10g的新功能。SQL> ALTER TABLESPACE undotbs1 RETENTION GUARANTEE;SQL> ALTER TABLESPACE undotbs
2014-10-08 17:10:17
531
转载 斜杠与反斜杠区别
正斜杠/slash 表示除法，分隔。在windows系统中通常用来分隔命令行参数，/表示选项等。不能作为文件名。而在unix系统中，/表示目录。由于web遵循unix命名，所以在网址（URL）中，/表示目录。反斜杠\backslash，在windows系统中用来表示目录。
2014-06-09 09:56:54
924
oracle hr schema
2014-02-21
How To Drop, Create And Recreate DB Control In A 10g Database [ID 278100.1]
2011-08-30
Oracle Clusterware and Oracle Real Application Clusters
2011-08-18
oracle官方文档 Oracle Concept B14220
2011-08-18
Data Guard Concepts and Administration 10g Release 2
2011-08-11
Linux基础及系统管理.pdf
2011-07-04
ORACLE MYSQL SQLSERVER DB2等数据库转换工具
2010-02-22
MYSQL ODBC 驱动
2009-02-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人