![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
ejtooo
这个作者很懒,什么都没留下…
展开
-
eclipse远程调试mapreduce程序
编程调试环境:window eclipse hadoop运行环境:linux(vmware)hadoop版本:1.2.1hadoop编程涉及两个方面,一是hdfs分布式文件存储程序、一是mapreduce分布式数据处理程序。因为习惯在window下使用eclipse开发程序,但是hadoop的程序需要运行在hadoop环境中,所以希望能够在window下eclipse编程并能够原创 2013-12-27 17:13:15 · 1851 阅读 · 0 评论 -
eclipse远程调试hdfs程序
编程调试环境:window eclipse hadoop运行环境:linux(vmware)hadoop版本:1.2.1hadoop编程涉及两个方面,一是hdfs分布式文件存储程序、一是mapreduce分布式数据处理程序。因为习惯在window下使用eclipse开发程序,但是hadoop的程序需要运行在hadoop环境中,所以希望能够在window下eclipse编程并能够原创 2013-12-27 16:55:38 · 879 阅读 · 0 评论 -
hbase-0.94.16搭建eclipse源代码工程
在eclipse搭建hbase-0.94.16的工程,执行如下步骤:1 下载hbase-0.94.16.tar.gz文件2 创建maven project,选择quick start模式。输入group id,artifact id等3 拷贝hbase-0.94.16.tar.gz目录中的文件夹到工程目录,注意目录平级。4 选择src目录下的src/main/java src/原创 2014-02-18 17:46:08 · 1111 阅读 · 0 评论 -
jar包中引入第三方jar时MANIFEST.MF注意事项
如果系统把程序打包成jar文件,并且该jar文件依赖了比较多的第三方jar包,则会出现比较多的问题:1 在Class-Path中指明依赖的jar包,如果jar文件存放在lib目录下存在两种放置方式: a 如果是在你的jar文件中打入了lib目录,则Class-Path中指明的目录是lib/2.jar lib/2.jar b 如果是在你的jar文件所在目录平级存放lib目录,与原创 2014-02-18 17:29:06 · 9727 阅读 · 1 评论 -
eclipse 提交hadoop2 的mapreduce程序
1 、下载myeclipse10 安装完成后,下载hadoop-eclipse-plugin-2.2.0.jar文件放入×MyEclipse 10\dropins目录下,并在Window/Preference中配置hadoop安装路径。本机解压缩hadoop安装包即可。重启eclipse2 、配置map/reducer,其中map/reducer(v2)Master端口为8031,DFS Ma原创 2014-04-10 12:12:48 · 3668 阅读 · 0 评论 -
haoop执行reduce后合并结果文件
Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(conf); FSDataOutputStream out = fs.create(new Path( "/output/result/patents/result.txt")); FileStatus[] srcs = fs原创 2014-04-11 11:23:52 · 1626 阅读 · 0 评论 -
hadoop distcp(分布式复制)命令
distcp(分布式复制)的有用程序,能从hadoop的文件系统并行复制大量数据,distcp一般用于在两个HDFS集群中传输数据原创 2014-04-13 08:19:59 · 3489 阅读 · 0 评论 -
项目中的HBase优化
1 HBase优化1.1 配置优化l Zookeeper会话过期时间,zookeeper会话过期默认4~40s。当业务系统繁忙时很容易就过期被断开,所以需要加大zookeeper的会话过期时间(60~180s)SessionTimeoutl Zookeeper连接会话数,Zookeeper默认允许单IP连接会话60,当多线程多时很容易被拒绝连接,所以需要加大原创 2014-06-30 15:29:48 · 737 阅读 · 0 评论