![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 78
ocean_side
爱好计算机
展开
-
Eclipse远程调试hadoop源码
1. 修改对应调试端口之前的一篇blog里讲述了hadoop单机版调试的方法,那种调试只限于单机运行hadoop命令而已,对于运行整个hadoop环境而言是不可取的,因为hadoop会开启多个java进程,如果统一为一个端口启动,则启动会报错说端口被占用,同时对于jdwp agent而言也只能加载一次,故调试时单机只能有一个java进程开启debug模式,其实这个也足够了。通过分析ha原创 2014-03-25 21:42:12 · 769 阅读 · 0 评论 -
Hive语法
1.select语法原创 2014-09-24 22:39:04 · 771 阅读 · 0 评论 -
hive:排序分析函数
2.hive排序排名函数语法:rank()over([partition by col1] order by col2)dense_rank()over([partition by col1] order by col2)row_number()over([partition by col1] order by col2)其中[partition by col1]可省略案例:原创 2014-10-09 16:59:21 · 4517 阅读 · 0 评论 -
hive:条件判断脚本
参考hive常用运算。转载 2014-10-09 15:37:11 · 946 阅读 · 1 评论 -
hive: insert数据时Error during job, obtaining debugging information 以及beyond physical memory limits
770.39 sec2014-10-09 10:40:26,312 Stage-1 map = 100%, reduce = 32%, Cumulative CPU 2772.25 sec2014-10-09 10:40:27,368 Stage-1 map = 100%, reduce = 32%, Cumulative CPU 2772.48 sec2014-10-09 10:40:原创 2014-10-09 10:51:31 · 7844 阅读 · 0 评论 -
Hbase配置java客户端
1.修改windows配置文件C:\WINDOWS\system32\drivers\etc原创 2014-09-24 11:01:12 · 1320 阅读 · 0 评论 -
hadoop性能调优
平衡磁盘利用率hadoop balancer -Threshold 20或者 sh $HADOOP_HOME/bin/start-balancer.sh –t 20%原创 2014-10-08 17:24:32 · 465 阅读 · 0 评论 -
sqoop:mysql和Hbase/Hive/Hdfs之间相互导入数据
1.关系数据库到HBASE/mysql到hbase原创 2014-09-23 22:25:26 · 755 阅读 · 0 评论 -
hadoop修改权限问题
sudo addgroup hadoop#添加一个hadoop组sudo usermod -a -G hadoop larry#将当前用户加入到hadoop组sudo gedit etc/sudoers#将hadoop组加入到sudoer在root ALL=(ALL) ALL后 hadoop ALL=(ALL) ALL修改hadoop目录的权限sudo chown -R转载 2014-09-08 22:59:14 · 2632 阅读 · 0 评论 -
Hadoop编译方法
1.在hadoop官网下载hadoop的源码(同步跟踪最新源代码)mvn checkout http://svn.apache.org/repos/asf/hadoop/common/trunk/ hadoop-trunkhadoop-trunk目录下即就是下载的源码2.源码版本和安装的版本应该会不一样,因此先使用默认的hadoop单机配置下。因此引进的原创 2014-07-11 16:35:19 · 546 阅读 · 0 评论 -
eclipse调试hadoop2.2.0源码笔记
在hadoop1.x版本时使用的是在Windows下编译Eclipse插件,远程调试集群。换成2.2.0,没有eclipse-plugin文件。 hadoop2.2.0“远程调试集群”,是指调试NameNode/DataNode,JobTracker/Tasktracker,ResourceManager/NodeManager等服务进程,可以在hadoop-env.sh(对于NN/D原创 2014-07-11 16:36:16 · 513 阅读 · 0 评论 -
ubuntu配置
首先就是Ubuntu的更新源问题,需要更改,否则更新不了。其次就是Securecrt的远程登陆问题,windows主机和ubuntu虚拟机如果能通信,要求在同一网段上,而ubuntu是动态加载,需要手动更改成二者在同一网段上。网上好多更改网址的方法,经过验证,以下的方法是最好的:1. 配置静态ip地址$sudo vi /etc/network/interfaces原有内容只有如下两原创 2014-07-11 16:36:18 · 461 阅读 · 0 评论 -
eclipse hadoop1.2.0配置及wordcount运行
本人这次的编译环境是linuxmint15 64bit,与上文的编译环境win2003不同了首先要配置linux的jdk 1.6.0_45、ant 1.9.1以及相关环境变量,这部分内容本文就不再赘述了然后需要下载eclipse和hadoop的源码包,本人下载的eclipse版本是Eclipse Classic 4.2.2 ,下载地址Eclipse Classic 4.2.2hadoo转载 2014-07-11 16:37:52 · 579 阅读 · 0 评论 -
Hama安装及示例运行
Hama介绍Apache Hama是一个纯BSP(Bulk Synchronous Parallel)计算框架,模仿了Google的Pregel。用来处理大规模的科学计算,特别是矩阵和图计算。BSP概念由Valiant(2010图灵奖获得者)在1990年提出,具体参看wikipedia。Google在2009年发表了论文,在分布式条件下实现了BSP模型。Hama安装安装环境:O转载 2014-07-11 16:32:26 · 1403 阅读 · 0 评论 -
hadoop配置遇到问题的解决
ssh localhost: 不能登陆:将错误提示中的文件全部删除。原因:登陆过远程主机原创 2014-07-11 16:32:56 · 1726 阅读 · 0 评论 -
HDP2.0.6+hadoop2.2.0+eclipse(windows和linux下)调试环境搭建
花了好几天,搭建好windows和linux下连接HDP集群的调试环境,原创 2014-09-08 18:12:29 · 985 阅读 · 0 评论 -
datanode启动不起来的各种原因
方法:一般在数据节点的log日志信息里能找到导致启动不起来的原因。转载 2014-09-08 21:04:31 · 1709 阅读 · 0 评论 -
Hive命令及操作
1.hive导出查询结果到本地文件原创 2014-09-23 23:12:38 · 752 阅读 · 0 评论