![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 78
Technology_2016
可以让你与众不同的办法是,你会他不会。
展开
-
单节点搭建flume之exec和spooldir
一、flume安装 1、上传flume包到master并解压缩 tar -zxvf flume-ng-1.2.0-cdh3u5.tar.gz 2、添加flume路径到.bash_profile中(可有可无,只为方便) export FLUME_HOME=/home/hadoop/flume-ng-1.2.0-cdh3u5 export FLUME_CONF_DIR=$FLUME_HOME原创 2016-04-12 13:20:09 · 5424 阅读 · 1 评论 -
hadoop之hdfs参数配置详解
1、hdfs-site.xml 参数配置 – dfs.name.dir – NameNode 元数据存放位置 – 默认值:使用core-site.xml中的hadoop.tmp.dir/dfs/name – dfs.block.size – 对于新文件切分的大小,单位byte。默认是64M,建议是128M。每一个节点都要指定,包括客户端。 – 默认值:67108864原创 2016-04-19 15:23:27 · 4032 阅读 · 0 评论 -
hadoop之sqoop抽取数据
1、sqoop的安装与配置 安装(前提hadoop启动) [hadoop@h91 ~]$ tar -zxvf sqoop-1.3.0-cdh3u5.tar.gz [hadoop@h91 hadoop-0.20.2-cdh3u5]$ cp hadoop-core-0.20.2-cdh3u5.jar /home/hadoop/sqoop-1.3.0-cdh3u5/lib/ [hadoop@h9原创 2016-04-19 15:32:22 · 1659 阅读 · 0 评论