![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 51
枫火燕归林
想为自己留下点什么,记录我的工作,学习,生活
展开
-
hadoop分布式搭建
环境 准备三台Linux系统(我使用的是CentOS系统) JDK版本1.7; hadoop2.5 配置vi /etc/hosts 增加三台电脑的IP与本机名的映射 配置NTP服务器(时间同步) –hadoop-study01.com rpm -qa|grep ntp –查看ntp软件 ntpdate asia.poo.ntp.org–同步时间原创 2016-01-22 10:43:41 · 457 阅读 · 0 评论 -
hadoop伪分布式搭建
hadoop搭建方式有三种: Local (Standalone) Mode ——本地模式 Pseudo-Distributed Mode ——伪分布式 Fully-Distributed Mode ——分布式伪分布式集群的搭建是hadoop入门最先接触的模式: 环境: jdk:jdk1.7原创 2016-01-12 11:48:45 · 506 阅读 · 0 评论 -
Hadoop伪分布式搭建
环境准备: 1、安装jdk1.7 更改 /etc/profile 文件在最后增加红线内容 一定注意要resource profile使之生效 2、安装hadoop到指定文件夹原创 2016-01-12 21:42:10 · 217 阅读 · 0 评论 -
HDFS启动过程
借鉴地址http://www.linuxidc.com/Linux/2012-01/51614.htm http://blog.csdn.net/xh16319/article/details/31375197要了解hdfs的启动,首先要了解几个概念: namenode,Secondarynamenode,datanode namenode是一个中心服务器,他控制客户端对文件的访问,是一个集原创 2016-01-12 17:38:21 · 2604 阅读 · 0 评论 -
文件合并上传
-通过hdfs putMerge命令合并上传的文件通过命令 bin/hdfs dfs 查看dfs的一些操作命令可以找到-getmerge命令[hao@bigdata00 hadoop-2.5.0]$ bin/hdfs dfs Usage: hadoop fs [generic options] [-appendToFile <localsrc> ... <dst>] [-cat [原创 2016-02-15 23:15:35 · 885 阅读 · 0 评论 -
【HDFS API基本使用】
关于hdfs的基本操作, 读取,上传,下载,删除:hdfs文件读取package org.apache.hadoop.studyhdfs;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream;import o原创 2016-02-15 22:43:58 · 363 阅读 · 0 评论 -
Hive 表加载,导出和查询
Hive表的数据加载加载本地文件到数据表$ local data local inpath '/../../.' into table table_name;加载hdfs文件到hive表$ load data inpath '/load_students' into student_load_hdfs;覆盖表中所有数据overwrite 关键字$ local data local inpath '/原创 2016-03-10 18:21:55 · 846 阅读 · 0 评论 -
Flume启动内存溢出错误
bug修复 “二总”,感谢“二总”的分享在ambari集群下启动flume造成内存溢出的报错在使用 channels.c1.type = memory 时启动flume报JVM内存溢出错误:java.lang.OutOfMemoryError: Java heap spacejava.lang.OutOfMemoryError: GC overhead limit exceeded解决方案转载 2016-11-15 15:30:19 · 5225 阅读 · 0 评论 -
Hive部署UDF方式
Hive 支持自定义函数 UDF 一般在开发了hive的udf函数的jar文件后,需要将jar文件放入hive的环境中才可以使用第一种 add jar命令:使用 基本的add jar path 命令 的方法加入,但是这样的方法属于一次性的,当退出客户端时就会失效第二种 修改配置文件修改hive-site.xml 配置文件 , 增加 hive.aux.jars.path 的参数,参数为udf j原创 2016-12-21 11:43:12 · 730 阅读 · 0 评论