- 博客(225)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Linux 下更改 oracle 客户端字符集和服务端字符集
1.Linux 下更改 oracle 客户端字符集，即设置环境变量“ NLS_LANG“ 的值 查看客户端字符集，在终端下执行： echo $NLS_LANG修改客户端字符集： sudo gedit /etc/environment 在environment 文件中增加以下内容： NLS_LANG=”SIMPLIFIED CHINESE_CHINA.ZHS16GBK” export NL
2015-06-26 19:52:55
1104
原创 oracle分区表详解
一. 分区表理论知识Oracle提供了分区技术以支持VLDB(Very Large DataBase)。分区表通过对分区列的判断，把分区列不同的记录，放到不同的分区中。分区完全对应用透明。Oracle的分区表可以包括多个分区，每个分区都是一个独立的段（SEGMENT），可以存放到不同的表空间中。查询时可以通过查询表来访问各个分区中的数据，也可以通过在查询时直接指定分区的方法来进行查
2015-06-08 14:25:14
519
原创 comet4j java服务端推送消息到web页面实例
对于页面一直监控,以前都是使用ajax请求即可,但是小并发这做法没多大问题,但是到了大并发就不太合适,如果不想自己写线程来操控就可以偷懒找一些插件,例如comet4j下面我来演示下如何使用这个插件 先准备需要的工具:comet4j-tomcat6.jar(tomcat6的就导入这个)comet4j-tomcat7.jar(tomcat7的就导入这个)
2015-05-31 11:57:40
697
1
原创 oracle11G静默安装过程——linux环境
oracle11G静默安装过程——linux环境 1.操作系统及Oracle版本Linux版本：CentOS release 5.5 (Final)Oracle版本：Oracle Database 11g Release 2 (11.2.0.1.0) for Linux x86-64 (linux.x64_11gR2_database_1of2.zip、linux.
2015-05-04 15:53:20
428
原创 Linux环境配置增强型的Oracle简单客户端-Instant_Client
一、配置环境Linux CentOS release 6.2 x86_64需要在安装有oracle软件的相同操作系统上获取部分oracle的系统文件二、配置目标无需安装oracle服务器或客户端软件，达到能使用以下功能的目标：Ø oci、occi、jdbc的支持Ø tnspingØ sqlplusØ sqlldrØ expØ impØ tk
2015-05-04 15:37:50
535
原创 linux之sed用法
sed是一个很好的文件处理工具，本身是一个管道命令，主要是以行为单位进行处理，可以将数据行进行替换、删除、新增、选取等特定工作，下面先了解一下sed的用法sed命令行格式为： sed [-nefri] ‘command’ 输入文本 常用选项： -n∶使用安静(silent)模式。在一般 sed 的用法中，所有来自 STDIN的资料一般
2015-05-04 15:36:25
356
原创 spark SQL Running the Thrift JDBC/ODBC server
Running the Thrift JDBC/ODBC server1:运行./sbin/start-thriftserver.sh --hiveconf hive.server2.thrift.port=10000 --hiveconf hive.server2.thrift.bind.host=feng02 --master spark://feng02:70
2015-03-27 14:45:02
1373
原创 Linux下批量转换GBK文件到UTF-8编码方法
查看文件编码 file -i filename 1.递归转换(包括子文件夹) find default -type d -exec mkdir -p utf/{} \; find default -type f -exec iconv -f GBK -t UTF-8 {} -o utf/{} \; 这两行命令将default目录下的文件由GBK编码
2015-03-24 11:53:16
750
原创 hive merge小文件
当Hive输入由很多个小文件组成，由于每个小文件都会启动一个map任务，如果文件过小，以至于map任务启动和初始化的时间大于逻辑处理的时间，会造成资源浪费，甚至OOM。为此，当我们启动一个任务，发现输入数据量小但任务数量多时，需要注意在Map前端进行输入合并当然，在我们向一个表写数据时，也需要注意输出文件大小1. Map输入合并小文件对应参数：set mapred.max.
2015-03-20 16:22:42
345
原创 使用hive来分析json格式数据
如果了解hive的load data原理的话，还有一种更简便的方式，可以省去load data这一步，就是直接将sink1.hdfs.path指定为hive表的目录。下面我将详细描述具体的操作步骤。我们还是从需求驱动来讲解，前面我们采集的数据，都是接口的访问日志数据，数据格式是JSON格式如下：{"requestTime":1405651379758,"requestPar
2015-03-20 16:22:07
3437
1
原创 用Oracle sqlldr导入文本文件TXT 总结
最近在处理一批文本数据，规定按照接口说明导入到ORACLE数据库中，经过最近的研究，解决了一些问题，觉得我必要总结一下： 常规资料： ----------------------------------------------------Dos 环境下使用SQl*Loader命令 加载使用其它数据库的数据转移工具Oracle 企业管理器中的数
2015-03-17 16:47:29
420
原创 Linux sftp用法
sftp用法1. 用sftp如何登录服务器 sftp 是一个交互式文件传输程式。它类似于 ftp, 但它进行加密传输，比FTP有更高的安全性。下边就简单介绍一下如何远程连接主机，进行文件的上传和下载，以及一些相关操作。举例，如远程主机的 IP 是 192.168.0.1，用户名是kyu,在命令行模式下: sftp [email protected]
2015-03-16 14:08:34
508
原创 HADOOP 2.2.0 HA搭建(现有集群，QJM方案)
HADOOP 2.2.0 HA搭建手册V1.0 *本文档分别阐述了给新建集群配置HA的方法（需要格式化namenode）以及给现有集群配置HA的方法（不需要格式化namenode），均使用QJM方案。一、机器情况angel110.2.0.101baby1810.1.1.38
2015-03-13 14:45:33
672
原创 Apache Hadoop 2.2.0 HDFS HA + YARN多机部署
部署逻辑架构：HDFS HA部署物理架构注意：JournalNode使用资源很少，即使在实际的生产环境中，也是把JournalNode和DataNode部署在同一台机器上；生产环境中，建议主备NameNode各单独一台机器。YARN部署架构：个人实
2015-03-13 10:37:10
368
原创 Hadoop2.2 HA安装
hdfs-site.xml 配置：1. dfs.nameservices ：配置nameservice的逻辑名称，与core-site.xml里fs.defaultFS配置的对应 dfs.nameservices mycluster2. dfs.ha.namenodes.[nameservice ID] ：在nameservice中给每个Na
2015-03-13 10:37:05
304
原创 cloudera impala 源码编译
cloudera impala 是一个运行在HDFS 和 HBase 上的执行分布式查询的引擎。该源是我们内部开发版本的一个快照，我们会定期进行版本更新。这个README文档描述了怎样利用该源来构建Cloudera impala，更多的文档请看这里：https://ccp.cloudera.com/display/IMPALA10BETADOC/Cloudera+Impala+1.0+
2015-02-27 17:52:39
885
原创 Grant的时候报错的解决：Access denied for user 'root'@'localhost' (using password: YES)
Grant的时候报错的解决：Access denied for user 'root'@'localhost' (using password: YES)mysql> grant all on *.* to 'root'@'192.168.1.1' identified by 'password';ERROR 1045 (28000): Access denied for user
2015-01-23 15:13:08
2162
1
原创 linux下设置ssh无密码登录
ssh配置 主机A：10.0.5.199主机B：10.0.5.198 需要配置主机A无密码登录主机A，主机B先确保所有主机的防火墙处于关闭状态。在主机A上执行如下： 1. $cd ~/.ssh 2. $ssh-keygen -t rsa --------------------然后一直按回车键，就会按照默认的选项将生成的密钥保存在.ssh/id_rsa文件中。
2015-01-23 13:19:49
399
原创 linux在shell中获取时间
获得当天的日期date +%Y-%m-%d输出： 2011-07-28 将当前日期赋值给DATE变量DATE=$(date +%Y%m%d) 有时候我们需要使用今天之前或者往后的日期，这时可以使用date的 -d参数 获取明天的日期date -d next-day +%Y%m%d 获取昨天的日期date -d last-day +%Y%m%d获取上个
2015-01-09 18:11:25
432
原创 linux中用date命令获取昨天、明天或多天前后的日期
在实际操作中，一些脚本中会调用明天，或者昨天，或更多天前的日期，本文将叙述讲述用date命令实现时间的显示。在Linux系统中用man date -d 查询的参数说的比较模糊，以下举例进一步说明：# man date-d, --date=STRINGdisplay time described by STRING, not ‘now’查看明天日期# date -d
2015-01-06 18:38:09
466
原创 向Hive程序传递变量的三种方法
图 1 外部向Hive程序中传递变量的方法使用Hive编写程序最常用的方法是将Hive语句写到文件中，然后使用hive -f filename.hql来批量执行查询语句。经常需要将外部参数传入到hql语句中替换其中的变量来动态执行任务，比如动态设定数据库名、表名、时间值、字段序列等变量，以达到脚本泛化执行的目的。1) 方法1：字符串、正则、模板引擎等暴力方式替换最简
2015-01-06 17:14:58
1069
原创 Hive基本命令整理
创建表：hive> CREATE TABLE pokes (foo INT, bar STRING); Creates a table called pokes with two columns, the first being an integer and the other a string创建一个新表，结构与其他一样hive> create table n
2014-12-22 15:13:12
366
原创 hive中UDF和UDAF使用说明
Hive进行UDF开发十分简单，此处所说UDF为Temporary的function，所以需要hive版本在0.4.0以上才可以。一、背景：Hive是基于Hadoop中的MapReduce，提供HQL查询的数据仓库。Hive是一个很开放的系统，很多内容都支持用户定制，包括：a）文件格式：Text File，Sequence Fileb）内存中的数据格式： Java Integer/St
2014-12-17 18:29:54
408
原创 Hadoop --MapReduce2 - 群集设置
目的 本文档描述了如何在多个节点以及大集群中数千个节点进行安装，配置和管理Hadoop集群。 先决条件 在Apache官网站点下载的Hadoop的稳定版本。安装 安装Hadoop集群通常需要在所有集群计算机上的解压软件hadoop软件包或安装的RPM。通常，集群中一台机器被指定为NameNode和另一台机器的作为的ResourceManager，独立存在的。这两台集
2014-12-11 17:57:47
504
原创 overwrite在hive内部表及外部表特性
overwrite在hive内部表及外部表特性。overwrite即为重写的意思， 指定了OVERWRITE，会有以下效果：•目标表（或者分区）中的内容（如果有）会被删除，然后再将 filepath 指向的文件/目录中的内容添加到表/分区中。 •如果目标表（分区）已经有一个文件，并且文件名和 filepath 中的文件名冲突，那么现有的文件会被新文件所替代。
2014-12-10 17:56:00
544
原创 Hive数据导入和导出
1/hive数据导出 很多时候，我们在hive中执行select语句，希望将最终的结果保存到本地文件或者保存到hdfs系统中或者保存到一个新的表中，hive提供了方便的关键词，来实现上面所述的功能。 1.将select的结果放到一个的的表格中（首先要用create table创建新的表格） insert overwrite table test select uid
2014-12-10 16:32:30
417
原创 使用java api操作HDFS文件
全部程序如下：[java] view plaincopyprint?import java.io.IOException; import java.net.URI; import java.net.URISyntaxException; import org.apache.hadoop.conf.Configuration; import org
2014-12-09 14:55:45
453
原创 hive 创建/删除/截断 表(翻译自Hive wiki)
简单的创建表create table table_name ( id int, dtDontQuery string, name string) 创建有分区的表create table table_name ( id int, dtDon
2014-12-05 17:48:00
395
原创 hive中partition如何使用
网上有篇关于hive的partition的使用讲解的比较好，转载了：一、背景1、在Hive Select查询中一般会扫描整个表内容，会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据，因此建表时引入了partition概念。2、分区表指的是在创建表时指定的partition的分区空间。3、如果需要创建有分区的表，需要在create表的时候调用
2014-12-05 17:46:57
380
原创 hive创建数据库
Databases in Hive1.如果在hive中未定义数据库的话，这个“default”作为默认的数据库。2.创建数据库的语法很简单：hive> create databasefinancials; 如果financials存在的话,就会抛出错误，可以这样：hive> create databases IF NOT EXISTS financials;3
2014-12-05 16:25:32
3497
原创 【hive实战】使用hive分析 hadoop 日志
http://www.cnblogs.com/linjiqin/archive/2013/03/07/2948078.html实战2——Hadoop的日志分析1). 日志格式分析首先分析 Hadoop 的日志格式, 日志是一行一条, 日志格式可以依次描述为:日期、时间、级别、相关类和提示信息。如下所示: 2013-03-06 15:23:48,132 INF
2014-12-04 16:36:32
515
原创 Oracle中的ORA-01548: active rollback segment '_SYSSMU1$' found
Oracle中的ORA-01548: active rollback segment '_SYSSMU1$' found接上文《Oracle Undo tablespace恢复（无备份）》 http://www.linuxidc.com/Linux/2014-06/103779.htmRMAN备份与恢复之undo表空间丢失 http://www.linuxidc.com/Linux/20
2014-09-14 17:30:35
1663
原创 oracle的还原表空间UNDO写满磁盘空间，解决该问题的具体步骤
产生问题的原因主要以下两点：1. 有较大的事务量让Oracle Undo自动扩展，产生过度占用磁盘空间的情况；2. 有较大事务没有收缩或者没有提交所导制；说明：本问题在ORACLE系统管理中属于比较正常的一现象，日常维护多注意对磁盘空间的监控。UNDO表空间介绍UNDO表空间用于存放UNDO数据,当执行DML操作(INSERT,UPDATE和DELETE)时,oracl
2014-09-14 17:27:46
978
原创 json复杂对象处理jsonConfig
我们通常对一个Json串和java对象进行互转时，经常会有选择性的过滤掉一些属性值，而json-lib包中的JsonConfig为我们提供了这种 功能，具体实现方法有以下几种。(1)建立JsonConfig实例，并配置属性排除列表,(2)用属性过滤器,(3)写一个自定义的 JsonBeanProcessor.1. 实现JSONString接口的方法 public class
2014-08-25 10:03:46
1300
原创 Linux字符集的问题
Linux系统登录或是远程操作时或者有时候当我们在字符终端下使用man 查看某个命令的说明文档时，其内容可能会因包含类似于“”的一些乱码。在这种情况下，可以使用下面命令消除乱码：[test@pan ~]$ unset LANG这个是什么问题呢？这个就不得不得说一个概念——字符集， 为何说道字符集，引用一段话：“locale 是国际化与本土化过程中的一个非常重要的概念，个人
2014-07-30 16:53:28
832
原创 ORACLE查看并修改最大连接数
第一步,在cmd命令行，输入sqlplus第二步，根据提示输入用户名与密码1. 查看processes和sessions参数 SQL> show parameter processes NAME TYPE VALUE db_writer_processes
2014-07-30 16:48:44
728
原创 查看及修改Oracle编码格式方法
首先查看oracle数据库的编码SQL> select * from nls_database_parameters where parameter ='NLS_CHARACTERSET';PARAMETER--------------------VALUE--------------------NLS_CHARACTERSETAL32UTF8
2014-07-30 16:47:24
903
原创 expdp impdp 数据库导入导出命令详解
一、创建逻辑目录，该命令不会在操作系统创建真正的目录，最好以system等管理员创建。create directory dpdata1 as 'd:\test\dump';二、查看管理理员目录（同时查看操作系统是否存在，因为Oracle并不关心该目录是否存在，如果不存在，则出错）select * from dba_directories;三、给scott用户赋予在指定目录的
2014-07-29 19:18:01
1376
原创 linux 压缩文件的命令总结
Linux压缩文件的读取· *.Z compress程序压缩的档案； · *.bz2 bzip2程序压缩的档案； · *.gz gzip程序压缩的档案； · *.tar tar程序打包的数据，并没有压缩过； · *.tar.gz tar程序打包的档案，其中并且经过 gzip 的压缩！
2014-07-22 18:12:17
619
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人