- 博客(13)
- 资源 (19)
- 收藏
- 关注
RSS订阅原创 hive导出查询文件到本地文件的2种办法
通过HQL语句 可以将hive 中表的数据生成到指定的目录。有时候 我们可以利用hive来生成统计的中间文件（比源文件小的多的）方法有如下2种： 1.INSERT OVERWRITE LOCAL DIRECTORY将结果输出到指定的目录：生成的文件数 和redurcer的数目的一样的在hive下面执行INSERT OVERWRITE LOCAL DIRECTO
2012-12-24 16:49:59
5322
原创 hive日志文件的批量导入
/hive_dat/getui/目录下面存着大量的.log日志,现在需要将它们全部导入到hive里面简单的导入语法如下： for file_n in `ls /hive_dat/getui/*log`dohive -S -e"load data local inpath '$file_n' into table report_im_push_msg_log;"done
2012-12-24 16:42:44
3257
原创 hive问题Cannot get a connection, pool error Could not create a validated object 的解决办法
[hadoop@master hive_dat]$ hive Logging initialized using configuration in file:/app/hive/conf/hive-log4j.propertiesHive history file=/tmp/hadoop/hive_job_log_hadoop_201212181216_2004188466.txthi
2012-12-18 12:15:25
6379
原创 hive 终端产生的问题
FAILED: Error in metadata: javax.jdo.JDOFatalDataStoreException: Failed to start database 'metastore_db', see the next exception for details.NestedThrowables:java.sql.SQLException: Failed to start
2012-12-18 12:07:31
1795
原创 如何批量删除redis中keys
在linux中 批量操作redis中的 keys的方法：1.统计个数：redis中名称含有OMP_OFFLINE的key的个数；src/redis-cli keys "*OMP_OFFLINE*"|wc -l2.批量删除批量删除 0号数据库中名称含有OMP_OFFLINE的key：src/redis-cli -n 0 keys "*OMP_OFFLINE*"|xar
2012-12-15 17:17:55
22497
原创 dfs.data.dir 配置导致datanode无法启动
在新装的hadoop集群中 由于大意 dfs.data.dir参数 所对应的目录没有建立导致 该datanode没有起来：错误信息如下：2012-12-14 12:17:50,463 INFO org.apache.hadoop.metrics2.impl.MetricsConfig: loaded properties from hadoop-metrics2.propertie
2012-12-14 15:48:17
13072
转载 HIVE的表操作语句
转自：http://hi.baidu.com/zhangxinandala/item/49752510cc7ad08789a956171.创建表的语句：Create [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_
2012-12-14 15:42:03
916
原创 oracle字符集相关知识小计
查询数据库的字符集Select * from nls_database_parameters where PARAMETER='NLS_CHARACTERSET';--数据库的信息select * from Nls_database_parameters;--实例的信息select * from Nls_instance_parameters;--当前会话的信息sele
2012-12-12 18:21:15
728
原创 mysql精简版（初始化安装） 主从复制的配置
若主机ip:192.168.1.3在主机上：log-bin = master_binlog-bin-index = master-bin.indexserver-id = 1create user replislave;grant replication slave on *.* to replislave
2012-12-12 18:16:22
1021
原创 Hbase 无法创建表 创建表卡住不动
hbase shell不能创建表的原因分析。一.现象：前一段时间 安装了Hbase hbase shell 进去之后 list status 命令都能够正常运行。但是执行建表语句 ：create 'aaa','bbb'的时候 他就一直卡在那不动,也不报任何错误， 日志里面一直在刷如下的 debug日志：DEBUG org.apache
2012-12-12 17:19:09
17722
原创 EXP-00026: conflicting modes specified
问题的现象：EXP-00026: conflicting modes specifiedEXP-00000: Export terminated unsuccessfully 备份文件会生成 但是没有内容。这个问题主要是 exp的时候 里面参数发生了冲突。 比较常见的： 1.同时指定了 owner 和 tables2.同时指定了 FULL 和ta
2012-12-07 17:52:06
13498
2
原创 启动hbase 报错 Address already in use 的解决办法
master: java.net.BindException: Address already in usemaster: at sun.nio.ch.Net.bind(Native Method)master: at sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:1
2012-12-07 12:21:25
12245
原创 ssh无密码访问的实现
虽然原理不是很难，在网上看到各种关于ssh无密码访问的实现 写的都不是很全面 在此，我通过最近的一次实验写出如何具体的实现各个机器之间不用密码就可以实现ssh.现在有机器8台：192.168.1.240192.168.1.241192.168.1.244192.168.1.245192.168.1.246192.168.1.250
2012-12-06 10:00:14
5238
深入理解MySQL核心技术（中文PDF）
2013-03-22
zookeeper 3.4.3安装包
2012-11-30
X-Win32 2012 安装文件
2012-11-06
redis安装包
2012-10-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人