hadoop
Yan456jie
这个作者很懒,什么都没留下…
展开
-
hadoop 配置注意
到目前为止,关于配置1.*版本的hadoop书籍占多数,前面配置2.*失败以后照着书籍配置1.2.1成功。准备工具:(注意用统一位数的,我的64位)hadoop1.2.1jdk1.6xshellvmwareeclipse3.6(这个版本测试可用,4.4版本测试不可用)按照一般方法安装完成hadoop分布式以后,可用用xshell访问各个linux,在window原创 2015-10-14 10:31:48 · 506 阅读 · 0 评论 -
hadoop在进行二次排序的时候程序运行停止了
程序中调用了,注释就可以了job.setCombinerClass(MyReducer.class);原创 2016-04-11 16:45:15 · 318 阅读 · 0 评论 -
expected org.apache.hadoop.io.IntWritable, recieved org.apache.hadoop.io.Text
hadoop类型错误1、参数错误2、需通过job进行set原创 2016-04-11 17:49:47 · 2154 阅读 · 0 评论 -
Will not attempt to authenticate using SASL (java.lang.SecurityException: 无法定位登录配置)
hbase错误:Will not attempt to authenticate using SASL (java.lang.SecurityException: 无法定位登录配置)在ZooKeeperSaslClient.java代码里面抛出客户端没用SASL(简单验证安全层 (Simple Authentication Security Layer, SASL),故不使用SASL进原创 2016-04-28 10:47:40 · 5300 阅读 · 0 评论 -
hbase的shell操作和java操作
shell操作#创建数据库表:“student”create 'student','info','course'#添加第一行数据put 'student','zpc','info:age','20'put 'student','zpc','info:sex','boy'put 'student','zpc','course:china','97' put 'stud原创 2016-04-28 22:53:16 · 1118 阅读 · 0 评论 -
安装spark
下载spark1.0.0的 spark-1.0.0-bin-hadoop1版本 解压到目录在conf/spark-evn.sh下添加44export JAVA_HOME=/usr/local/java/jdk1.8.0_5145export SCALA_HOME=/usr/local/spark/scala-2.12.0-M446export HADOOP_CONF_DIR=/usr/原创 2016-05-11 15:51:44 · 392 阅读 · 0 评论 -
hbase表结构以及操作
HBase以表的形式存储数据。表有行和列组成。列划分为若干个列族(row family)Row Keycolumn-family1column-family2column-family3column1column1column1column2column3column1key1t1:abct2:gdxdf转载 2016-04-28 21:22:34 · 716 阅读 · 0 评论 -
hive安装配置
下载hive 0.13.1 解压在etc/profile里配置环境变量修改hive/conf下配置文件#hive-site.xml hive.metastore.warehouse.dir hdfs://101.200.200.114:9008/hive/warehouse#hdfs下的目录 location of default database原创 2016-05-04 11:17:52 · 327 阅读 · 0 评论 -
hbase和hive---数据库和数据仓库
hbase和hive都是架构与hadoop上的,hbase为分布式数据库,hive为分布式数据仓库。数据库:一般存储在线交易数据,用于捕获数据,尽量避免数据冗余可以增删改查数据仓库:也是数据库存储数据的,不过其数据是为了“分析"存在的。一般存储历史数据,用于分析数据;按照同一主题进行存储。需存储时间信息可以增加、查找、极少修改原创 2016-05-04 15:44:51 · 4223 阅读 · 0 评论 -
hadoop java.lang.Exception: java.lang.RuntimeException: java.lang.NoSuchMethodException: log_analys
原因是包里引用的类是别的包的类,hadoop里面有很多重名的类,注意区别原创 2016-04-11 16:06:34 · 484 阅读 · 0 评论 -
hadoop修改block size,并上传文件
修改hdfs-site.xml dfs.replication 1 dfs.block.size 5242880 上面是修改成5M的,需修改成1024整数倍5M=5*1024*1024否则会无效Name node is原创 2016-04-10 18:44:54 · 7200 阅读 · 0 评论 -
eclipse远程连接hadoop单机模式出现的问题
按照http://tydldd.iteye.com/blog/2007938配置单机模式主要是(1)配置hadoop-env.sh,指定jdk的安装路径Xml代码 添加jdk路径 # The java implementation to use. Required. export JAVA_HOME=/home/ruge/soft/jd原创 2016-04-06 21:30:38 · 822 阅读 · 0 评论 -
Hadoop : MapReduce中的Shuffle和Sort分析
地址MapReduce 是现今一个非常流行的分布式计算框架,它被设计用于并行计算海量数据。第一个提出该技术框架的是Google 公司,而Google 的灵感则来自于函数式编程语言,如LISP,Scheme,ML 等。 MapReduce 框架的核心步骤主要分两部分:Map 和Reduce。当你向MapReduce 框架提交一个计算作业时,它会首先把计算作业拆分成若干转载 2016-03-14 15:20:27 · 426 阅读 · 0 评论 -
hadoop1.2.1安装配置
原文地址环境:ubuntu13使用的用户为普通用户。如:用户rujdk安装略1、安装ssh(1)Java代码 sudo apt-get install openssh-server (2)配置ssh面密码登录Xml代码 $ ssh-keygen -t dsa -P '' -f ~/.转载 2016-04-07 20:18:31 · 418 阅读 · 0 评论 -
hadoop查看文件大小
hadoop fs -du /yj/input/列出input下所有文件的大小,以B为单位#!/bin/sh#echo "hadoop fs -du /"hadoop fs -du /|awk '{print $1/1000000;}'以分别以B,KB,M,G显示#!/bin/sh#echo "hadoop fs -du /"hadoop fs -du /|awk原创 2016-04-07 22:41:38 · 11997 阅读 · 0 评论 -
windows下使用eclipse远程编写hadoop配置
1、按照一般方法配置好hadoop伪分布式,注意core-site.xml和mapred-site.xml用IP,不要用localhost2、格式化hdfs文件系统hadoop namenode -format2、更改本地用户名为远程服务器的hadoop用户名,我的直接改成了root3、我使用的hadoop-1.2.1,eclipse为3.6,插件为hadoop-eclipse-plu原创 2016-04-07 20:17:17 · 568 阅读 · 0 评论 -
Mapper抽象类参数
MapperMapperText>MapperIntWritable, Text, IntWritable>第一二个表示输入map的key和value,从InputFormat传过来的,key默认是字符偏移量,value默认是一行第三四个表示输出的key和valuemapper中的方法map(Object key, Text value, Context context)原创 2016-04-08 12:09:12 · 2520 阅读 · 0 评论 -
hadoop过程
map->shuffle->reducemap->combine->partition->sort-> group->reducejob.setInputFormatClass,默认TextInputFormat,将数据切分成,传递给mapmap。。。combiner第一次排序(不知道是不是这里)setPartitionerClass, 默认Has原创 2016-04-11 21:34:04 · 523 阅读 · 0 评论 -
hadoop基本操作
hadoop的基本操作是对6个类的重写实现的//基本的设置,对于同的问题,只需要重写6个类即可 public static void test2() throws Exception { Configuration conf = new Configuration(); String arg1 = "hdfs://101.200.200.114:9008/yj/input";原创 2016-04-08 12:29:15 · 691 阅读 · 0 评论 -
Mahout安装与配置
Mahout是Hadoop的一种高级应用。运行Mahout需要提前安装好Hadoop。Hadoop的安装网上很多,并不复杂,这里不再讲述,接下来阐述怎么安装Mahout。1:下载二进制解压安装。到http://labs.renren.com/apache-mirror/mahout/0.7下载,我选择下载二进制包,直接解压及可。hadoop@ubuntu:~$ tar -zxvf转载 2016-05-04 19:19:52 · 431 阅读 · 0 评论