- 博客(6)
- 收藏
- 关注
RSS订阅原创 win7开发hadoop的一些问题
windows下开发mr程序,经常会出现一些乱七八糟的问题1.身份问题,UserGroupInformation中会处理身份问题.而且取的是系统当前登录用户,也就是你win7的用户,以这个身份进入hadoop集群.会导致hadoop拒绝执行任务解决办法:(1).在win7的环境变量中添加HADOOP_USER_NAME=hadoop HADOOP_PROXY_USER=hadoop
2016-06-22 11:27:20
281
原创 hive学习笔记
hql语句的执行过程解析器 语法分析编译器 生成hql语句执行计划优化器 生成最优执行计划show tablesshow functionsdesc 表名 查看表的信息dfs -lsr /tmp 在cli中也可以查看hdfs上的文件!ls /root 在cli中也可以执行linux的命令source /root/demo.sql 执行一个sql文件
2016-06-14 22:49:31
296
原创 suse zypper源
[update]name=updateenabled=1autorefresh=1baseurl=http://mirrors.sohu.com/opensuse/update/12.1/path=/type=rpm-mdkeeppackages=0备用zypper refresh 刷新源zypper install zlib-devel 安装
2016-06-14 16:48:48
531
原创 hadoop 编译native包
最近公司让我研究一下hadoop hbase native包先附上参考地址 http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/NativeLibraries.html上图是官网对native包的作用描述上图是官网关于编译本地包的步骤首先就是os了,支持RHEL4/Fe
2016-06-08 14:14:32
2399
原创 spring TaskScheduler 来实现定时任务
最近在整定时任务.第一开始准备使用jdk 自带的java.util.timmer来写,发现其有一个缺点 当客户指定每个月的第一天 api就不能满足了 还有一个问题是 firstTime写的是时间点比系统时间更早的话,定时任务是不会执行的.之后的话就把注意打在了spring上,百度出来的东西都是注解的模式实现的.与我公司的需求不一致.之后就是翻官方文档了.附上地址:http://docs
2016-06-01 16:00:36
2955
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人