- 博客(97)
- 资源 (3)
- 问答 (1)
- 收藏
- 关注
RSS订阅博客转移至 http://sunhs.me
该博客已经完全转移到http://sunhs.me 中并增加更多新的技术内容（hadoop为 主），欢迎访问！
2014-01-20 14:52:56
242
Hive网络接口的使用
该博客已经完全转移到http://sunhs.me 中并增加更多新的技术内容（hadoop为 主），欢迎访问！ 1.hive-site.xml中增加配置<property><name>hive.hwi.listen.host</name><value>0.0.0.0</v...
2013-09-24 09:33:50
341
Hive的三种启动方式及用途
该博客已经完全转移到http://sunhs.me 中并增加更多新的技术内容（hadoop为 主），欢迎访问！1， hive 命令行模式，直接输入hive目录/bin/hive的执行程序，或者输入 hive –service cli 用于linux平台命令行查询，查询语句基本跟mysql查询语句类似2， hive web界面的启动方式，hive ...
2013-09-24 09:32:25
1187
Hive的优化
该博客已经完全转移到http://sunhs.me 中并增加更多新的技术内容（hadoop为 主），欢迎访问！1.列裁剪 查询时我只关心用到的那几个列。 需要设置：hive.optimize.cp = true2.分区裁剪 查询过程中减少不必要的分区。 需要设置：hive.optimize.pruner = true3...
2013-09-24 09:31:44
121
Hive的运行时配置
hive配置： hive> set mapred.job.tarcker = 127.0.0.0:50030; hive> set mapred.reduce.tasks=100; hive> set -v; 查看当前设定的所有信息设定本地模式： ...
2013-09-23 09:41:32
284
Reducer数目最佳值的设定
Reducer数目最佳值的设定reducer slots的总数 = 集群中的总的节点数*每个节点有多少个slotsReducer数目的最佳值和reducer slots的数目有关，通常情况下让Reducers的数目略小于reducer slots的数目在设置Reducer的数目的时候也要考虑Mapper的数量，如果Reducer的数量大于Mapper的数量的话，那么就会造成在执行的过程中多出的Re...
2013-09-23 09:35:51
280
用户定制Partitioner
用户定制PartitionerPartition:完成Map节点数据的中间结果向Reduce节点的分区处理在MapReduce程序中，Partitioner决定Map节点的输出将被分区到那个Reduce节点上去，MapReduce提供的默认的Partitioner是HashPartitioner他根据每条数据记录的主键值进行Hash操作，获取一个非负整数的Hash码，然后用当前作业的Reduce数...
2013-09-22 09:32:12
106
mapreduce中用户自定义数据类型
该博客已经完全转移到http://sunhs.me 中并增加更多新的技术内容（hadoop为 主），欢迎访问！ mapreduce中用户自定义数据类型hadoop内置的数据类型：BooleanWritableByteWritableDoubleWritableFloatWritableIntWritableLongWritableTextNullWritable自...
2013-09-22 09:30:51
224
没有Map和Reduce的Mapreduce（LazyMapReduce）
package mapredue.wordcount;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.mapreduce.Job;import org.apac...
2013-09-22 09:28:39
201
HBase的安装
HBase的安装 1.单击模式的安装<1>解压 tar -zxvf hbase-*.tar.gz<2>编辑HBASE_HOME/conf/hbase-env.sh 其中设置JAVA_HOME export JAVA_HOME = <3>编辑HBASE_HOME /conf/hbase-site.xml 设置属性hbas...
2013-09-22 09:27:04
77
Hbase的基本shell操作
HBase基本的shell操作 0.进入hbase的shellhbase下bin/hbase shell 出现一下消息表示进入成功HBase Shell; enter 'help<RETURN>' for list of supported commands.Type "exit<RETURN>" to leave the HBase ShellVersion 0...
2013-09-18 09:51:05
126
mapreduce对于关系数据库的连接和访问
关系数据库的连接和访问1.从数据库中输入数据DBInputFormat提供从数据库读取数据的格式DBRecordReader提供读取数据记录的接口Hadoop允许直接从数据库读取数据，但是这样的话频繁读取会大大加重数据库的负载，所以一般不建议这样做一个比较好的解决方法是：用数据库中的dump工具将待分析的大量数据输出为文本数据文件，并上载到HDFS中进行处理。2.向数据库中输出计算结果DBOut...
2013-09-18 09:49:50
283
Mapreduce构建Hbase索引
该博客已经完全转移到http://sunhs.me 中并增加更多新的技术内容（hadoop为 主），欢迎访问！package test;import java.io.IOException;import java.util.HashMap;import org.apache.hadoop.conf.Configuration;import org...
2013-09-18 09:34:52
161
Hbase基本API的使用
package test;import java.util.Map;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.HColumnDescriptor;import org...
2013-09-18 09:33:07
88
HBase的逻辑模型和物理模型
HBase的逻辑模型和物理模型逻辑模型行键是数据行在表中的唯一标识，并作为检索记录的主键。在HBase中访问表的方式有三种：1.通过单个行键访问2.给定行键额范围访问3.全表扫描表中的列定义为：<family>:<qualifier>(<列族>:<限定符>)HBase提供了两种数据版本的回收方式:1.对每个数据单元只存储指定个数的最新单元2...
2013-09-18 09:30:12
1978
1
Hive的服务
Hive的服务 1.Hive shell<1>执行HiveQL语句hive>select * from userinfo;<2>设置和查看临时变量hive>set fs.default.name=hdfs://192.168.1.10:9000<3>导入jar包hive>add jar hivejar.jar<4>创建函数...
2013-09-17 11:36:19
810
HBase Error:hbase.PleaseHoldException: Master is initializing
HBase的shell下表操作语句执行错误的解决HBase Error:hbase.PleaseHoldException: Master is initializing今天做了一下HBase的相关安装和配置，启动HBase没有问题，但是使用bin/hbase shell 命令转换到shell下时，使用比如命令，list.、create 'table','col' 等等都会出错错误信息为...
2013-09-17 11:34:45
164
HiveQL的使用
1.HiveQL的数据类型HiveQL不支持更新/索引/事物等操作，子查询和join操作也很局限。HiveQL的数据类型基本类型：数值 布尔 字符串复杂类型：arraymap struct基本类型可以隐式向上转换 struct可以转换成double2.HiveQL常用操作-----创建表create table userinfo(id int,name stri...
2013-09-17 11:14:59
159
基于hive的hadoop日志分析
1.日志格式日期 时间 级别 相关类 信息2011-08-01 08:39:08,020 INFO org.apache.hadoop.ipc.Server:IPC server Responder......2.存储结构日期 时间 级别 相关类各占一列 信息占3列create table if not exists loginfo11(rdate string,time array<...
2013-09-17 11:11:10
187
Hive的UDF和UDAF编程实例
1.UDFUDF类必须继承org.apache.hadoop.hive.ql.exec.UDF类，并且实现evaluate方法1.建立工程2.导入hive和hadoop的jar包3.编写代码 public class lower_Or_UpperCase extends UDF { //实现至少一个evaluate方法 public Text...
2013-09-17 10:57:03
114
Linux下mysql的安装
Linux下安装mysql数据库1，安装前首先确认系统中是否已经安装过mysql 命令：netstat -tap |grep mysql 如果显示上图，表示系统内没有安装mysql。2，联网下安装mysql 命令：sudo apt-get install mysql-server mysql-client 选择y后那么就进入安装过程了，安...
2013-09-16 09:51:11
72
java.lang.RuntimeException: org.apache.hadoop.hbase.client.NoServerForRegionExce
通过MapReduce向HBase中写数据时java.lang.RuntimeException: org.apache.hadoop.hbase.client.NoServerForRegionException: Unable to find region for schedule,,99999999999999 after 10 tries. 解决方法： 异常...
2013-09-16 09:49:44
394
java.lang.NoClassDefFoundError: com/google/protobuf/Message
通过MapReduce向HBase中写数据时java.lang.NoClassDefFoundError: com/google/protobuf/Message 解决方法:将$HBASE_HOME/lib/protobuf-java-2.4.0a.jar 拷贝到 $HADOOP_HOME/lib/下
2013-09-16 09:48:35
2945
Linux常用命令大全
1.cd cd - 返回上一次目录 cd ~ 返回主目录 cd /data/ 进入data文件夹2.chown 改变所属人 chown root:root install.log3.chmod 改变属性 chmod 777 install.log read=4 write=2 execute=14.cp 复制 cp filename5.rm 删除文件 rm -rf filenam...
2013-09-16 09:47:24
65
mysql开发技巧--数据库的导入导出
1、导出整个数据库：（以下所有例子中data是数据库名，table是库表名）mysqldump -u用户名 -p密码 --default-character-set=utf8 数据库名>导出的文件名例：mysqldump -uroot -p123456 --default-character-set=utf8 data>data.sql 2、导入整个数据库：mys...
2013-09-16 09:46:33
70
mapreduce向hbase中写数据
package com.sun.hbase;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.apache.hadoop.fs.Path;import org.apa...
2013-09-14 14:56:05
85
mapreduce读取hbase
该博客已经完全转移到http://sunhs.me 中并增加更多新的技术内容（hadoop为 主），欢迎访问！package com.sun.hbase;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hado...
2013-09-14 14:55:07
236
mapreduce写数据至mysql
package com.sun.mysql;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import java.sql.PreparedStatement;import java.sql.ResultSet;import java.sql.SQLExce...
2013-09-14 14:53:59
132
mapreduce读取mysql
package com.sun.mysql;import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; import java.sql.PreparedStatement; import java.sql.ResultSet; import java.sql.S...
2013-09-14 14:52:54
213
Hive的安装（常用的是独立模式安装）
Hive的安装（常用的是独立模式） 1.内嵌模式安装这样安装的话元数据保存在Derby数据库中，只能允许一个会话连接，只适合用于简单的测试。<1>.解压tar -xzvf hive-0.10.0<2>.配置环境/etc/profileexport HIVE_HOME={$hive_install}PATH中加入$HIVE_HOME 并保证有H...
2013-09-14 14:40:01
543
HBase启动时正常，status也正常，但是create的时候出现以下错误
hbase(main):002:0> create 'tab','f1'ERROR: org.apache.hadoop.hbase.PleaseHoldException: org.apache.hadoop.hbase.PleaseHoldException: Master is initializingHere is some help for this command:Create...
2013-09-13 10:03:05
607
git的历史记录
git的历史记录1.查看git日志 git log 查看全部commit信息 git log -p 查看全部commit信息和代码的差异 git log -1 查看近1条的commit信息 git log -10 ...
2013-09-13 10:01:27
114
git的安装以及常用操作
git的安装与常用操作1.安装命令：sudo apt-get install git (Ubuntu)命令：git --version查看是否安装成功/查看git的版本2.常用操作<1>通知git用户git config --global user.name "sunhs"git config --global user.email 'sunhs@m15.c...
2013-09-13 10:00:53
194
mapreduce排序（自定义Partition）
import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Text;import org...
2013-09-13 09:59:36
149
mapreduce排序中java.io.IOException: Illegal partition for 2 (-1)
mapreduce程序，自定义了Partition，运行时出现以下异常：java.io.IOException: Illegal partition for 2 (-1) 自定义Partition代码：public static class Partition extends Partitioner<IntWritable,IntWritable>{@Ov...
2013-09-13 09:55:03
213
原创 Hadoop配置文件表（如需要请下载附件）
HDFS 参数描述默认配置文件例子值fs.default.name namenode RPC交互端口8020core-site.xmlhdfs://master:8020/dfs.http.address NameNode web管理端口50070hdfs- site.xml0....
2013-09-10 11:16:08
460
使用递归方式查看文件夹下所有文件（注意）
一般我们使用递归的方式来查看某个文件夹下的所有文件，代码如下： import java.io.File;import java.util.ArrayList;import java.util.List;public class FileNameFound { private static List<String> list = new Array...
2013-09-10 11:14:23
410
java.net.UnknownHostException: unknown host: master
在本地写好的mapreduce程序想要连接远程服务器进行执行，但在执行时：连接远程服务器时出现一下异常：java.net.UnknownHostException: unknown host: master 说明本地客户端不认识远程服务器的master，或者不认识远程服务器上的slave1/slave2...... 解决方法： 在本地客户端配置hosts ...
2013-09-10 11:12:18
2390
1
Hbase'过滤器
HBase Filter使用过滤器：//集合用于存储过滤条件 List<String> array = new ArrayList<String>();//加入过滤条件 array.add("action,event,TreasureDetail"); array.add("action,label,Enter");//调用相应...
2013-09-10 11:10:56
78
配置mysql允许远程登录
表现状况：终端登录远程服务器然后再登mysql可以进行操作，终端使用命令“mysql -h 192.168.10.71 -uroot -p123456”登录出错，代码操作远程mysql出错。例如： 远程mysql用户名和密码： root 123456 远程mysql IP 192.168.10.71 本机IP：192....
2013-09-10 11:10:01
176
TA创建的收藏夹 TA关注的收藏夹
TA关注的人