- 博客(12)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 sqoop导入Hive配置
数据库中经常有换行符之类的数据，导入到Hive里面会发生重大的问题，所以，sqoop是有一个配置项来解决这个问题的。 sqoop import --connect jdbc:oracle:thin:@url --username user --password pwd \--table PA18ODSDATA.PARTNER_INFO \--columns ID_PARTNER...
2013-07-31 18:07:52
1021
原创 将你的Linux命令放在后台执行
文章refer to: http://www.cnblogs.com/lwm-1988/archive/2011/08/20/2147299.html 有两种方式： 1. command & ： 后台运行，你关掉终端会停止运行 2. nohup command & ： 后台运行，你关掉终端也会继续运行command 表示你执行的shell命令，或者...
2013-07-26 17:47:41
899
原创 Bloom Filter布尔过滤
最近在研究Python，想用Python写一个爬虫来爬数据。爬虫有几个关键的地方，一个是防止如何递归地重复爬一个网址，一个就是页面信息的解析。 那么这里主要介绍一下如何通过bloom filter达到判断一个网址是否被爬过。bloom filter的介绍refer：http://blog.csdn.net/jiaomeng/article/details/1495500 ...
2013-07-25 11:04:37
193
原创 Python模拟MapReduce的流程
说一下开发环境，是在WIN7下面进行的。python环境是：python2.7 MapReduce的主要流程有：Map阶段->Shuffle阶段->Reduce阶段。那么一下分别对应三个python脚本片段： 数据样本：test.txta b c da b c daa bb cc ddee ff gg hhfoo foo quux l...
2013-07-24 16:50:41
263
Hive下的变量使用
Hive的变量前面有一个命名空间，包括三个hiveconf，system，env，还有一个hivevar1. hiveconf的命名空间指的是hive-site.xml下面的配置变量值。2. system的命名空间是系统的变量，包括JVM的运行环境。3. env的命名空间，是指环境变量，包括Shell环境下的变量信息，如HADOOP_HOME之类的 普通的变量可以使用 ...
2013-07-17 14:40:44
1485
原创 Hive连接超长Hbase宽表异常
我们用Hive去连接一个Hbase款表，大概有150多个字段。因此，就报了异常：FAILED: Error in metadata: MetaException(message:javax.jdo.JDODataStoreException: Put request failed : INSERT INTO `SERDE_PARAMS` (`PARAM_VALUE`,`SERDE_ID`...
2013-07-17 09:32:36
374
原创 Oracle Share Pool 与ORA-04031
oracle share pool详解：http://blog.csdn.net/tianlesoftware/article/details/6560956参考自：百度百科 共享池（Shared Pool）共享池是SGA保留的区，用于存储如SQL、PL/SQL存储过程及包、数据字典、锁、字符集信息、安全属性等。 共享池包含有：1） 库高速缓存（Library Cache）；...
2013-07-16 11:25:46
135
原创 Sqoop环境变量异常
在通过Oozie调用sqoop action从DB导入数据到hive表的时候，发现了异常。28167 [Thread-30] INFO org.apache.sqoop.hive.HiveImport - FAILED: SemanticException [Error 10028]: Line 2:17 Path is not legal ''h...
2013-07-12 09:27:47
329
原创 [转]hive产生动态分区太多导致的问题 .
转自：http://blog.csdn.net/chenyi8888/article/details/8236726 做应用开发的也要帮助他们找BUG，真是头疼。遇到如下异常，度娘给出的答案如下： 过多的动态分区会导致job出现以下情况：org.apache.hadoop.hive.ql.metadata.HiveException: org.apache.hadoop.i...
2013-07-12 09:18:45
710
原创 Hive使用regexp，RLIKE需要使用转义字符
使用Hive做数据清洗，经常需要使用正则表达式。 比较讨厌的是，正则表达式匹配失败的时候，hive完全不会报错。原来的写法SELECT * from ahhs_product_info where product_name NOT RLIKE '([\u4e00-\u9fa5])+' ; 在hive里面的写法SELECT * from ahhs_product_in...
2013-07-11 10:25:57
3139
原创 Java实现DES加密算法
常用的对称加密算法DES算法。在Java中有一个工厂类里面存放着各种常用的加密算法，我们通过实例化DES算法来实现DES加密。 Java代码示例：import java.security.SecureRandom;import javax.crypto.Cipher;import javax.crypto.SecretKey;import javax.crypto...
2013-07-04 09:48:09
568
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人