hadoop
文章平均质量分 54
maoxiao_jsd
这个作者很懒,什么都没留下…
展开
-
ubuntu配置hive
http://www.cnblogs.com/ggjucheng/archive/2012/04/26/2471341.html转载 2013-09-14 22:21:43 · 896 阅读 · 0 评论 -
DataNode数据块工作流DataXceiver
DataXceviverServer:监听块传输连接请求,同时控制进行的块传输请求数(同一时刻的传输数不能超过maxXceiverCount)和带宽耗费情况(块传输时带宽耗费带宽不能超过预定值BlockTransferThrottler.bytesPerPeriod)。当在run里监听到一个块传输请求时,开启一个DataXceiver线程处理块传输。系统关闭时,会关闭用于监听的连接的Ser转载 2013-12-04 22:22:07 · 778 阅读 · 0 评论 -
hadoop各个类的作用
1.基础包(包括工具包和安全包)包括工具和安全包。其中,hdfs.util包含了一些HDFS实现需要的辅助数据结构;hdfs.security.token.block和hdfs.security.token.delegation结合Hadoop的安全框架,提供了安全访问HDFS的机制。hdfs.util(一些HDFS实现需要的辅助数据结构)AtomicFileOutputS转载 2013-12-03 16:50:08 · 731 阅读 · 0 评论 -
hadoop metrics 各参数解释
研究使用hadoop的人 对hadoop中详细的计数器有所了解,但是很多人在想完全清楚所有metrics时 发愁找不到资料。而且在代码中查找时介绍也比较少。先罗列出所有。dfs.datanode.blockChecksumOp_avg_time 块校验平均时间dfs.datanode.blockChecksumOp_num_ops 块检验次数dfs.datanode转载 2013-11-29 15:19:46 · 581 阅读 · 0 评论 -
hadoop完全分布式环境---参考连接
http://blog.csdn.net/ab198604/article/details/8250461转载 2013-10-09 20:29:06 · 739 阅读 · 0 评论 -
hadoop,hbase,zookeeper安装配置
一 机器192.168.0.203 hd203: hadoop namenode & hbase HMaster192.168.0.204 hd204: hadoop datanode & hbase HRegionServer & zookeeper192.168.0.205 hd205: hadoop datanode & hbase HRegionServer & zookeep转载 2013-10-02 13:06:41 · 655 阅读 · 0 评论 -
Win7下快速搭建hadoopEclipse运行环境--方案
apache提供了 Linux下开发hadoop教程,不多说网上有很多参考资料,说法不一自己总结下思路,希望能对喜欢hadoop的兄弟姐妹有所帮助:硬件:win7step 1、 安装1.6以上版本 jdkstep 2、 安装Cygwin,下载安装cygwin (因为运行hadoop需要linux环境) 从网上下载setup程序后运行:原创 2013-07-25 10:18:39 · 1028 阅读 · 0 评论 -
sqoop的安装
sqoop的安装sqoop是让hadoop技术支持的clouder公司开发的一个在关系数据库和hdfs,hive之间数据导入导出的一个工具sqoop-1.2.0-CDH3B4依赖hadoop-core-0.20.2-CDH3B4.jar,所以你需要下载hadoop-0.20.2-CDH3B4.tar.gz,解压缩后将hadoop-0.20.2-CDH3B4/hadoop-core-0.转载 2013-09-15 13:04:46 · 720 阅读 · 0 评论 -
hadoop Unable to load native-hadoop library --解决
13/09/11 22:05:53 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable经常会出现这段代码,他可能会导致程序无法向下执行网上对于这个问题有很错中说法1,建立软原创 2013-09-11 22:28:21 · 1021 阅读 · 0 评论 -
hadoop乱码问题--小结
很多初学hadoop的童鞋都被乱码困扰哦, 我待哈读普如初恋,哈读普虐我千百遍 下面看看我这个初学者的乱码是如何产生的 场景一:编写一个小程序,目的是了 压缩一个文件,然后查看压缩后的文件名public class StreamCompressor { public static void main(String[] args) throws ClassNotFoundExc原创 2013-07-25 09:47:01 · 3609 阅读 · 0 评论 -
配置HBASE
http://www.vterm.cn/转载 2013-09-10 20:39:45 · 525 阅读 · 0 评论