Hadoop
cutter_point
这个作者很懒,什么都没留下…
展开
-
【Hadoop】3、Hadoop安装之cloudera manager(1)
1.网络配置1.1 为每台机器配置固定IP安装完cm后尽量不要修改IP, cm在安装时会绑定IP, 修改IP会造成cm不能正确识别主机.1.2 设置开机自动连接图形界面或修改配置文件 vi /etc/sysconfig/network-scripts/ifcfg-eth0 将ONBOOT由no改为yes原创 2015-06-25 21:26:30 · 746 阅读 · 0 评论 -
【hadoop】15、hive安装
Hive的介绍和安装Hive是什么Hive是一个数据仓库,使用sql脚本就可以了 Hive包含几个引擎 解释器,编译器,优化器等接触hive首先我们进入到相应的官方文档中,接触hive的命令使用https://cwiki.apache.org/confluence/display/Hive/LanguageManual然后我们打开命令行的模式usage: hive -d,--define <ke原创 2015-06-30 17:37:41 · 1529 阅读 · 0 评论 -
【hadoop】16、学习hive操作语句
学习DDL语句创建对象的语句Create/Drop/Alter DatabaseCreate DatabaseCREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name [COMMENT database_comment] [LOCATION hdfs_path] [WITH DBPROPERTIES (property_name=pro原创 2015-06-30 17:55:36 · 1217 阅读 · 0 评论 -
【hadoop】13、hadoop2.5搭建集群
Hadoop2.x的配置NN和ZKFC配套DN和DM配套安装部署hadoop2.x 1、下载64位hadoop2.5 首先我们要下载到64位的Linux的hadoop-2.5的tar包,官网上的是32位的,我们需要的是64位的详情参考 http://www.douban.com/note/393721422/2、解压tar包吧1.2删除就可以了然后我们进行2.5的配置 配置文件在这个目录下原创 2015-06-30 17:16:28 · 1427 阅读 · 0 评论 -
【hadoop】14、hadoop2.5的mapreduce的 配置
配置mapreduce<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!-- Licensed under the Apache License, Version 2.0 (the "License"); you may not use this file except in原创 2015-06-30 17:26:53 · 1179 阅读 · 0 评论 -
【Hadoop】12、运行hadoop的时候报错
Exception in thread “main” java.lang.UnsupportedClassVersionError: com/cutter_point/mr/JobRun : Unsupported major.minor version 52.0at java.lang.ClassLoader.defineClass1(Native Method)at java.lang.Cla原创 2015-06-30 17:01:39 · 1920 阅读 · 0 评论 -
【Hadoop】11、eclipse连接hadoop
首先我们配置ant 下载ant解压到文件夹 找到相应eclipse- 然后在cmd中我们编译一下相应的jar包 接下来参照网上的论坛 http://f.dataguru.cn/thread-288619-1-1.html 注意:修改build.xml这个里面我们需要把原创 2015-06-30 16:47:55 · 766 阅读 · 0 评论 -
【Hadoop】10、Hadoop的mapreduce搭建
Hadoop的mapreduce搭建 MapReduce 首先是spliting吧一个块切割成各种小的 MapReduce的split大小Max.split(100M)Min.split(10M)Block(64M)Max(min.split, min(max.split,block)) MapReduce的架构 主多从结构原创 2015-06-30 16:44:21 · 1009 阅读 · 0 评论 -
【Hadoop】9、hadoop1.2.1完全分布式安装过程异常报错
异常报错1、ssh配置出错,ssh登录 The authenticity of host 192.168.0.xxx can’t be established.用ssh登录一个机器(换过ip地址),提示输入yes后,屏幕不断出现y,只有按ctrl + c结束错误是:The authenticity of host 192.168.0.xxx can’t be established.以前和同事碰到过原创 2015-06-28 10:22:00 · 1450 阅读 · 0 评论 -
【Hadoop】8、基于虚拟机的Hadoop1.2.1完全分布式集群安装
基于虚拟机的Hadoop集群安装1、我们需要的软件Xshell, ssh secure, 虚拟机,Linux centos64, Hadoop1.2.1的安装包2、安装以上软件3、安装Linux,此处不多做阐述4、首先安装jdk我的路径是JAVA_HOME=/usr/lib/jvm/jdk1.7.0_79 PATH=PATH:PATH:JAVA_HOME/bin CLASSPATH=JAVAHO原创 2015-06-28 10:16:36 · 658 阅读 · 0 评论 -
【Hadoop】7、Hadoop1.2.1基于虚拟机中的CentOS6.6的Hadoop单节点安装
基于虚拟机中的CentOS6.6的Hadoop单节点安装1、我们需要的软件JavaTM 1.6.x, preferably from Sun, must be installed.ssh must be installed and sshd must be running to use the Hadoop scripts that manage remote Hadoop daemons.原创 2015-06-28 10:08:01 · 542 阅读 · 0 评论 -
【Hadoop】4、Hadoop安装之cloudera manager(2)
8、配置ssh免密码登陆 且过,后面再补 进入.ssh里面 这将生成一个隐藏文件 .ssh,进入这个文件夹,然后将公钥追加到authorized_keys文件中,此文件最初并不存在,但执行追加命令后将自动生成: cd .sshcat id_rsa.pub >> authorized_keys原创 2015-06-26 15:23:12 · 945 阅读 · 0 评论 -
【Hadoop】6、Hadoop安装之报错处理
错误报错1、时间不能同步2014.12.18 做同步时间的时候,执行命令操作: [root@zhanglin ~]# /usr/sbin/ntpdate pool.ntp.org 会报错: Name server cannot be used, exiting18 Dec 19:39:39 ntpdate[3592]: name server cannot be used, rea原创 2015-06-27 12:08:16 · 4072 阅读 · 0 评论 -
【Hadoop】5、Hadoop安装之cloudera manager(3)
安装http://blog.sina.com.cn/s/blog_75262f0b0101aeuo.html在这之前我们先把cm包里面的所有文件安装在说 这是由于CM依赖postgresql,需要在本机上安装postgresql,如果是在线安装,自动以Yum方式安装,由于是离线,无法自动安装postgresql。检查是否安装了postgresql:[r原创 2015-06-27 11:40:55 · 1089 阅读 · 0 评论 -
【Hadoop】2、Hadoop开山篇之虚拟机下ubuntu配置hadoop
配置Hadoop环境 1、下载openssh包 URL:http://www.openssl.org/source/openssl-1.0.2a.tar.gz 安装ssl 2、下载opensshhttp://www.openssh.com/openbsd.html原创 2015-06-24 17:42:23 · 880 阅读 · 0 评论 -
【Hadoop】1、Hadoop开山篇之虚拟机下ubuntu安装jdk1.7
1进入Apache Hadoop官网 http://hadoop.apache.org/ 2、 2、点击镜像下载 我们下载稳定版stable中的2.6.0第三个Linux下载,这里有一个错误,我们下载的应该是上面的倒数第二原创 2015-06-13 10:33:16 · 1288 阅读 · 0 评论