hadoop-2.x
文章平均质量分 65
天然呆的技术博客
纯天然的技术小呆呆
展开
-
hadoop各个类的作用
1.基础包(包括工具包和安全包)包括工具和安全包。其中,hdfs.util包含了一些HDFS实现需要的辅助数据结构;hdfs.security.token.block和hdfs.security.token.delegation结合Hadoop的安全框架,提供了安全访问HDFS的机制。hdfs.util(一些HDFS实现需要的辅助数据结构)AtomicFileOutputS原创 2014-02-19 10:09:15 · 1928 阅读 · 0 评论 -
centos hadoop-2.3.0(HA+Federation+YARN)配置
javaz_home = /opt/jdk1.7.0_51scp -r mwd@gs-server-v-127:~/hadoop-2.3 mwd@gs-server-v-128:~/scp -r mwd@gs-server-v-127:$SHARK_HOME/lib_managed/jars/org.spark-project.protobuf/protobuf-java/protobuf原创 2014-07-21 15:42:04 · 807 阅读 · 0 评论 -
hadoop-2.3 HA(QJM方式)实践结论
一幅图瞬间明白:什么是HA发难原创 2014-07-19 21:09:39 · 820 阅读 · 0 评论 -
基于Hive元数据存储和Avro序列化的MapReduce日志解析
Hive元数据存储和Avro序列化的MapReduce日志解析原创 2014-05-26 08:40:36 · 2234 阅读 · 0 评论 -
VisualVM 远程监控
远程监控 1. 通过jstatd启动RMI服务 配置java安全访问,将如下的代码存为文件 jstatd.all.policy,放到JAVA_HOME/bin中,其内容如下, grant codebase "file:${java.home}/../lib/tools.jar" { permission原创 2014-06-05 17:23:59 · 653 阅读 · 0 评论 -
hadoop配置心得
让hadoop运行MR的时候时候优先使用我们给项目打进去的lib包;解决: 只需要在hadoop/etc/mapred-site.xml 里面加上下面配置信息就okproperty> name>mapreduce.job.user.classpath.firstname> value>truevalue> property>原创 2014-05-16 14:48:40 · 748 阅读 · 0 评论 -
从装机到hadoop完全分布式
ubuntu13.04下载地址http://releases.ubuntu.com/13.04/新建用户组和用户:sudo addgroup hadoopsudo adduser -ingroup hadoop hadoop授权:sudo gedit /etc/sudoers添加下面代码hadoop ALL=(ALL:ALL)原创 2014-02-19 10:07:31 · 1096 阅读 · 0 评论 -
ubuntu下环境变量配置
export JAVA_HOME=/home/hadoop/jdk1.7.0_45export JRE_HOME=${JAVA_HOME}/jreexport ZOOKEEPER_HOME=/home/hadoop/hadoop/hadoop-2.2.0/zookeeper-3.4.5export HADOOP_HOME=/home/hadoop/hadoop/hadoop-2.2.0e原创 2014-03-19 22:17:02 · 989 阅读 · 0 评论 -
hadoop面试题目
http://www.aboutyun.com/thread-7153-1-1.html原创 2014-03-18 12:01:32 · 1254 阅读 · 0 评论 -
hadoop-2.2.0集群启动详解
请尊重原创,转载请注明:天然呆的技术博客环境:aparche hadoop-2.2.0启动ZK:bin/zkServer.sh start结果:在zookeeper的data目录下生成version-2文件夹,和zookeeper_server.pid文件============================================================原创 2014-03-15 10:08:19 · 941 阅读 · 0 评论 -
Win7下快速搭建hadoopEclipse运行环境--方案
apache提供了 Linux下开发hadoop教程,不多说网上有很多参考资料,说法不一自己总结下思路,希望能对喜欢hadoop的兄弟姐妹有所帮助:硬件:win7step 1、 安装1.6以上版本 jdkstep 2、 安装Cygwin,下载安装cygwin (因为运行hadoop需要linux环境) 从网上下载setup程序后运行:原创 2014-02-19 10:14:08 · 1194 阅读 · 0 评论 -
hadoop Unable to load native-hadoop library --解决
13/09/11 22:05:53 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable经常会出现这段代码,他可能会导致程序无法向下执行网上对于这个问题有很错中说法原创 2014-02-19 10:12:19 · 1105 阅读 · 0 评论 -
DataNode数据块工作流DataXceiver
DataXceviverServer:监听块传输连接请求,同时控制进行的块传输请求数(同一时刻的传输数不能超过maxXceiverCount)和带宽耗费情况(块传输时带宽耗费带宽不能超过预定值BlockTransferThrottler.bytesPerPeriod)。当在run里监听到一个块传输请求时,开启一个DataXceiver线程处理块传输。系统关闭时,会关闭用于监听的连接的Ser原创 2014-02-19 10:10:16 · 705 阅读 · 0 评论 -
md-pom
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org原创 2014-05-28 00:33:02 · 542 阅读 · 0 评论