- 博客(18)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 hadoop远程客户端安装配置、多用户权限配置
hadoop远程客户端安装配置客户端系统：ubuntu12.04客户端用户名：mjiang服务器用户名：hadoop下载hadoop安装包，保证和服务器版本一致（或直接copy服务器的hadoop安装包） 到 http://mirror.bjtu.edu.cn/apache/hadoop/common/ 下载tar.gz安装包，解压。tar zxvf had
2012-08-20 19:14:58
20068
2
原创 Sqoop客户端安装以及使用小结
SQOOP是一款开源的工具，主要用于在HADOOP(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，下面从SQOOP用户手册上摘录一段描述Sqoop is a tool designed to transfer data between Hadoop andrelational databases. You can use Sqoop to import
2012-08-20 19:13:34
15491
原创 20120820
hive> load data inpath '/fenxi_system/r_fx_daily_all/stat_time=20120612/000000_0' overwrite into table r_fx_daily_all partition(stat_time='20120612'); FAILED: Parse Error: line 1:0 character ' ' n
2012-08-20 15:32:45
3252
转载 关于distinct 和group by的去重逻辑浅析
http://liuzhiqiangruc.iteye.com/blog/1461038关于distinct 和group by的去重逻辑浅析博客分类：数据仓库数据架构SQLgroup bydistinctsqlgroupdistinct数据库 在数据库操作中，我们常常遇到需要将数据去重计数的工作。例如：表A，列colACABCD
2012-08-18 20:44:01
25271
1
原创 20120817
6:28hive> from r_fx_daily_all > insert into table r_fx_period_all partition(stat_time='20120807') > select user_name,1,sum(sms_send_count),1,1,1,1,1,1,1,1,1,1,1,1 > group by
2012-08-17 18:23:54
741
原创 ubuntu下hive安装
hadoophive版本0.9.0下载hive0.9.0版本:http://mirror.bjtu.edu.cn/apache/hive/hive-0.9.0/解压 tar zxvf hive-0.9.0.tar.gz配置:$$ $HADOOP_HOME/bin/hadoop fs -mkdir /tmp$$ $HADOOP_HOME/bin/hadoop
2012-08-17 13:49:14
1701
原创 20120815
`````````````````????insert overwrite table t_calc_sms_ex_base partition(stat_time='20120807')select /*+mapjoin(b)*/a.user_name,b.camp_id,b.project_id,b.camp_type,a.send_time,a.mobile,a.sms_bill
2012-08-15 15:05:07
1898
原创 20120813record
｀｀｀｀｀｀｀｀｀｀｀｀｀｀｀｀｀sql中连接有多个表时。都是有效的。 join 后 表继续可用。｀｀｀｀｀｀｀｀｀｀｀｀｀｀if(a.user_name is null,b.user_name,a.user_name) 三木运算｀｀｀｀｀｀｀｀｀｀｀｀｀｀11111111111111111hive实践hive> load data local inpath '/home
2012-08-14 19:28:52
13383
原创 record
````````````````5:15xxxxxxxxxxxxx select user_name,task_id,send_time,count(uid) from s_sms group by user_name,task_id,send_time; >>re ;xxxxxxxxxxxxx select user_name,task_id,send_time,count
2012-08-14 17:12:08
2491
转载 HIVE的CTAS用法探究
文章转载自：量子恒道官方博客HIVE的CTAS用法探究Posted by lengchuan on 2011 年 4 月 29 日Leave a commentGo to comments最近在使用ADM系统的时候遇到一个问题，ADM在自动将HIVE QL包装成CTAS之后，由于HIVE内部缺省使用’N’来存储NULL，这样就会产生一个问题，因为我们处理的很多结
2012-08-14 14:27:43
4123
原创 record
11111111111tipsinsert into table r_fx_period_all partition(stat_time='{CURRENT_DATE}')｀｀｀｀｀｀｀｀｀｀｀｀｀3：47 Context Line Control -A NUM, --after-context=NUM Print NUM line
2012-08-13 10:48:51
649
原创 hadoop修改权限问题
core-site.xml106 107 #jiangmingyan@2012.07.26 for sqoop uses mjiang form remote node108 109 hadoop.proxyuser.oozie.groups110 mjiang111 Allow the superuser oozie to impersonate any memb
2012-08-10 15:04:31
2604
原创 hadoop多个模式的安全转换
1：确保不同模式在HDFS下有不同的文件存储位置所有配置文件都在conf下，只需修改其下的配置即可默认配置在find ./ -name core-default.xml src/core/core-default.xml1）file:///home/mjiang/hadoop-1.0.0/docs/core-default.htmlhadoop.t
2012-08-10 11:39:18
453
原创 ubuntu下eclipse与python，mysql结合
以前在gentoo linux的eclipse安装过，想直接用以前的文件，结果不显示。环境system:ubuntu12.04eclipese:3.7.2python:2.7.3mysql：5.5eclipe安装python插件在eclipse菜单栏－>eclipse maketplace->搜索pydev:点击pydev for ec
2012-08-10 11:14:01
24985
原创 hive学习记录
2012.08.07python中运行hive>>> command = "hive -e " + "\"" + load data inpath '/fenxi_system/cs/20120612/sms_20120612' overwrite into table s_sms partition(stat_time='20120612') + "\"" File
2012-08-10 10:30:04
704
原创 ubuntu使用问题记录
ubuntu的菜单栏默认是隐藏的，刚安装完时以为安装不成功，因为找不到eclipse的菜单栏。查看当前内核能支持哪些睡眠模式：# cat /sys/power/statemem disk （内核只支持两种睡眠模式）
2012-08-10 09:55:50
421
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人