- 博客(20)
- 收藏
- 关注
RSS订阅原创 java.sql.SQLException: 无效的列索引
java.sql.SQLException: 无效的列索引“无效的列索引”其实是个低级的错误，原因无非几个： 1、sql串的?号数目和提供的变量数目不一致：例如：jdbcTemplate.update(sql, new Object[] {newState,oldState});如果sql里面有1个?号，Object[]送了2个，就会报错。 2、sql串里的?号书写不正...
2016-01-04 11:44:05
143
原创 32位hadoop编译实现与64位操作系统兼容
没有安装过集群的朋友，可能没有发现，hadoop版本没有64位的，我们在安装hadoop之前需要将hadoop源码包进行编译，否则lib下的部分jar包无法使用【有人可能会说hadoop不分操作系统的bit数，这个问题我有怎么会悄悄告诉你呢！！！！哈哈，开玩笑，接下来，给大家分享一下我第一次编译出现的糗事】如果不编译会出现啥问题呢？？你可以看俺遇到的问题描述：[root@db96 ...
2015-12-08 20:47:25
304
原创 shell中的tput命令讲解
什么是 tput？tput 命令将通过 terminfo 数据库对您的终端会话进行初始化和操作。通过使用tput，您可以更改几项终端功能，如移动或更改光标、更改文本属性，以及清除终端屏幕的特定区域。什么是 terminfo 数据库？UNIX 系统上的 terminfo 数据库用于定义终端和打印机的属性及功能，包括各设备（例如，终端和打印机）的行数和列数以及要发送至该设备的文...
2015-12-04 15:05:23
1327
hive建的表丢了？其实它一直在
问题来了：1.hive使用derby作为元数据库找达到所创建表的原因？2.为什么会找不到所创建的表？根本没有小偷，是我们找错地方了》》》》在学习环境中，我们习惯使用derby作为hive元数据库，也就是这个嵌入式数据库很可能为很多hive学习者造成很多问题。问题场景：1.命令行键入 hive后创建表，2.在show tables; 显示表列表，上面显示刚才创建的...
2015-12-03 18:49:29
1582
原创 linux的bc计算器
bc 命令: bc 命令是用于命令行计算器。 它类似基本的计算器。 使用这个计算器可以做基本的数学运算。语法: 语法是 bc [命令开关]命令开关: -c 仅通过编译。 bc命令的输出被发送到标准输出。-l 定义数学函数并且初始化值为20，取代默认值0。filename 文件名，它包含用于计算的计算器命令，这不是必须的命令。示...
2015-11-23 13:06:03
208
原创 pctfree和pctused
一、建立表时候，注意PCTFREE参数的作用 PCTFREE：为一个块保留的空间百分比，表示数据块在什么情况下可以被insert，默认是10，表示当数据块的可用空间低于10%后，就不可以被insert了，只能被用于update；即：当使用一个block时，在达到pctfree之前，该block是一直可以被插入的，这个时候处在上升期。 PCTUSED：是指当块里的...
2015-11-19 11:19:37
144
原创 物化视图
一、准备条件以及备注 假设双方数据库都是ORACLE10g，需要同步过来的表名叫：GG_ZLX_ZHU，对方数据库用户名：username，密码：password，SID：CPEES。 二、开始干活 1、首先要创建DB_LINK CREATE DATABASE LINK to_cpees CONNECT TO ...
2015-11-19 10:52:08
129
原创 oracle的高水位问题处理方式
最近遇到Oracle 表中数据量很大查询和更新比较慢 需要删除，发现删除后查询速度还是很慢，原来是delete oracle 高水位没有下降的原因。在oracle里,使用delete删除数据以后，数据库的存储容量不会减少，而且使用delete删除某个表的数据以后，查询这张表的速度和删除之前一样，不会发生变化。因为oralce有一个HWM高水位，它是oracle的一个表使用空间最高水位线。当...
2015-11-19 10:13:09
495
原创 set feedback
1。set feedback有三种方式：set feedback onset feedback offset feedback n默认的当一条sql发出的时候，oracle会给一个反馈，比如说创建表的时候，如果成功，命令行会返回类似：Table created的反馈，又比如执行一个pl/sql成功的时候，命令行会返回：PL/SQL procedure successfully ...
2015-11-19 09:27:55
180
hive 的CLI使用手册
写的不够全，后面有时间再补吧hive CLI语言手册【hive命令行操作】可以使用命令 ./hive -H或./hive -help 查看帮助（为hive0.9.0版使用）usage: hive -d,--define hive中的变量替换应用 -e 将hive的命令行不显示执行过程 -f ...
2015-11-18 15:18:14
628
原创 hive文件存储格式
整理了一下网上的几种Hive文件存储格式的性能与Hadoop的文件存储格式。 Hive的三种文件格式：TEXTFILE、SEQUENCEFILE、RCFILE中，TEXTFILE和SEQUENCEFILE的存储格式都是基于行存储的，RCFILE是基于行列混合的思想，先按行把数据划分成N个row group，在row group中对每个列分别进行存储。另：Hive能支持自定义格式，详情见：H...
2015-11-06 22:35:54
100
原创 面试经验总结
今天是面试的第一天，从西安来北京这么久，感觉今天的挫败感好强，一直以来我都很努力的在要求自己。 从事hadoop方面学习一年多以来，学习效果也挺不错的，今天被自己打败了，问的问题后头一想就会了，当紧张时，什么低级错误都会出，这里我给自己记下一笔。这里哪些丢人的简单问题就不说了，给大家分享一些面试遇见的问题吧！（1）介绍对半结构化数据与非结构化数据的处理经验（2）hadoop这...
2015-11-06 21:53:48
92
原创 R语言与hadoop之间的千万柔情
Hadoop的家族如此之强大，为什么还要结合R语言？a. Hadoop家族的强大之处，在于对大数据的处理，让原来的不可能（TB,PB数据量计算），成为了可能。b. R语言的强大之处，在于统计分析，在没有Hadoop之前，我们对于大数据的处理，要取样本，假设检验，做回归，长久以来R语言都是统计学家专属的工具。c. 从a和b两点，我们可以看出，hadoop重点是全量数据分析，而R语言重点是...
2015-11-06 21:02:45
146
MapReduce 从作业、任务（task）、管理员角度调优
【摘自hyj博主】Hadoop为用户作业提供了多种可配置的参数，以允许用户根据作业特点调整这些参数值使作业运行效率达到最优。一 应用程序编写规范1.设置Combiner 对于一大批MapReduce程序，如果可以设置一个Combiner,那么对于提高作业性能是十分有帮助的。Combiner可减少Map Task中间输出的结果，从而减少各个Reduce Task的远程拷...
2015-10-14 00:53:16
571
hadoop作业的优化常用手段
在mapreduce应用机制全部完成后，常面临一个常见问题“作业运行太慢”，此时我们需要通过一下几个方面进行调优，一边提升作业运行速度（1）通过jobtracker的web界面可以查看到本次作业使用的mapper数量，查看每个mapper的平均运行时间，如果mapper运行时间过短（如每个mapper运行10多秒），此时苗明mapper没有得到良好的利用，我们需要减少mapper的数量，使...
2015-10-13 23:38:39
196
oracle中修改有数据的表的字段类型
【修改时会涉及到数据类型转换，小心】在修改列的长度时候,只能编辑比现有字段实际存的长度还要大,否则提示下面的错误: ORA-01441: 无法减小列长度, 因为一些值过大此处对oracle中数据类型转换做一个小结：oracle数据类型转换规律：（1）比较时，一般是字符型转换为数值型，字符型转换为日期型（2）算术运算时，一般把字符型转换为数值型，字符型转换为日期型（3）...
2015-10-10 02:00:24
350
初始化参数设置—processes与session
【摘自jslfl的微博，感谢大神的总结，很有帮助所以收藏了】1.sessions 在初始化参数所设定的限制中，最为人所知的估计就是sessions和processes Sessions 参数指定了一个 Instance中能够同时存在的sessions数量，或者说，就是能同时登陆到数据库的并发用户数。通常，我们设定这个数字时需要考虑我们可能会有多少个同时连接到数据库的并发用户，并加上...
2015-10-10 01:18:54
400
原创 ORACLE并行度
在索引create 和rebuild的时候，在CPU 允许的情况下，我们可以使用parallel来加快操作的速度，但长期开并行会严重影响服务器性能。对于OLTP类型的数据库，除非只用于做统计、报表类的表或索引，建议不对相关表或索引调置并行度。Oracle在并行处理时，会启动多少个并行进程来同时执行任务，并行度越高， 并行进程越多，执行速度 会越快,默认是noparallel，如果我们设置并...
2015-10-10 00:50:55
686
原创 Hadoop_Avro数据类型与模式
1.Avro基本数据类型类型 描述 模式示例null The absence of a value "null"boolean A binary value "boolean"int 32位带符号整数 "int"long 64位带符号整数 "long"float ...
2015-10-10 00:01:08
436
原创 hadoop_AVRO数据序列化系统_简介
声明（）内容为个人理解，[]内容为注解（1）Avro是一个独立于编程语言的数据序列化系统[基于IDL]，目的在于解决hadoop中的语言移植性问题；Avro数据是用语言无关的模式定义的。【注解】IDL：接口描述语言，以不依赖于具体语言的方式进行声明，以独立于语言和硬件的方式来定义接口。（2）Avro模式通常采用JSON写，数据通常采用二进制格式来编码，也可以用Avro IDL语言编...
2015-10-09 22:47:23
134
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人