![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
_kairui
不积跬步无以至千里,不积小流无以成江海
展开
-
Output directory /opt/user/output already exists
异常提示ERROR security.UserGroupInformation: PriviledgedActionException as:root cause:org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory /opt/user/output already exists解决方案出现这个问题,啥也不用说,先转载 2016-10-25 10:24:11 · 878 阅读 · 0 评论 -
HBase应用Java API的HBaseAdmin来创建和编辑模式
远程 链接 hbase之前,保证hadoop集群上做HDFS 确认是运行着的,Hbase完全分布式HA环境搭架参考:http://blog.csdn.net/liulihui1988/article/details/75085428HBase 的 Schema 设计模式(Schema) 创建Configuration config = HBaseConfiguration.create();原创 2017-07-24 15:42:27 · 4950 阅读 · 0 评论 -
Hive对Weblog数据分析,测试
在应用Hive之前,首先搭建Hive环境,关于Hive的搭建 参考之前的搭建文档http://blog.csdn.net/liulihui1988/article/details/74351532Hive分析Tomcat日志数据localhost_access_log.2017-07-07.txt 数据格式由于 localhost_access_log.2017-07-07.txt 数据格式是可原创 2017-07-10 10:19:02 · 305 阅读 · 0 评论 -
Hive中java对数据库、表的操作
在应用Hive之前,首先搭建Hive环境,关于Hive的搭建 参考之前的搭建文档http://blog.csdn.net/liulihui1988/article/details/74351532java代码执行Hive脚本java代码执行Hive脚本,需要启动Hive的内部服务,供其他或者java代码链接,Hive内部服务启动命令# ./hive --service hiveserver2启动成功原创 2017-07-07 14:36:39 · 5515 阅读 · 1 评论 -
Hive中对数据库,表的操作
在应用Hive之前,首先搭建Hive环境,关于Hive的搭建 参考之前的搭建文档http://blog.csdn.net/liulihui1988/article/details/74351532 Hive官方应用文档https://cwiki.apache.org/confluence/display/Hive/LanguageManual数据定义语言 DDL1、Create DatabaseHi原创 2017-07-05 14:45:59 · 1628 阅读 · 0 评论 -
hadoop-2.x高可用集群搭架
一、规划1、硬件资源ip6:centos-node6ip7:centos-node7ip8:centos-node8ip9:centos-node92、配置环境变量: export JAVA_HOME=/usr/local/java/jdk1.7.0_79export PATH=.:$JAVA_HOME/bin:$PATH二、环境配置1、修改/etc/hostsip6:centos-原创 2017-06-13 18:09:56 · 501 阅读 · 0 评论 -
HBase基于Hadoop2.5完全分布式HA环境搭架
服务器 节点分布图HBase完全分布式模式hbase 完全分布式搭架之前,保证hadoop集群上做HDFS 确认是运行着的,hadoop的集群搭建参考 http://blog.csdn.net/liulihui1988/article/details/73189148下载解压最新版本:HBase下载地址 :http://archive.apache.org/dist/hbase/ 点击stab原创 2017-07-13 17:06:19 · 1546 阅读 · 0 评论 -
hive 的介绍和安装
Hive:数据仓库Apache Hive 是数据仓库软件便于阅读,写作,和管理大型数据集居住在分布式存储使用SQL。结构可以投射到数据已经存储。提供了一个命令行工具和JDBC驱动程序将用户连接到Hive在搭建Hive之前要首先搭建好Hadoop,关于Hadoop的搭建 参考之前的 hadoop 2.x搭架文档http://blog.csdn.net/liulihui1988/article/deta原创 2017-07-04 18:28:44 · 404 阅读 · 0 评论 -
hadoop的MapReduce在java驱动代码
统计文件中单词出现的次数,文件text1、java 代码,WcMapper.class继承Mapper可执行业务代码 package com.jxl.mr;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.io.IntWritable;import org.apache.ha原创 2017-06-09 14:19:30 · 870 阅读 · 0 评论 -
HBbase单机快速入门环境搭建
下载解压最新版本HBase下载地址 :http://archive.apache.org/dist/hbase/ 点击stable目录选择不同版本,然后下载后缀为 .tar.gz 的文件; 例如 hbase-0.98.9-hadoop2-bin.tar.gz,解压缩,然后解压到指定的目录.# tar -zxvf hbase-0.98.9-hadoop2-bin.tar.gz -C /usr/loc原创 2017-07-13 11:13:58 · 532 阅读 · 0 评论 -
安装hadoop1.2.1集群环境
一、规划1、硬件资源ip6:centos-node6ip7:centos-node7ip8:centos-node82、基本资料创建目录/home/hadoop1.2.1二、环境配置1、修改/etc/hostsip6:centos-node6ip7:centos-node7ip8:centos-node82、免密码登录生成私钥【3台机器上均要执行】$ ssh-keygen -t dsa原创 2016-10-08 11:57:47 · 388 阅读 · 0 评论 -
HBase 简介
HBase 简介HBase - Hadoop Database,是一个高可用、高性能、面向列、可伸缩、实时读写的分布式数据库利用Hadoop HDFS 作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的海量数据,利用Zookeeper作为其分布式协同服务主要用来存储非结构化和半结构化的松散数据(列存NoSQL数据库)HBase数据模型,表结构Row Key:判断表原创 2017-07-12 15:24:17 · 402 阅读 · 0 评论 -
hadoo分布式文件操作HDFS
HDFS的java访问接口——FileSystem写文件 create读取文件 open删除文件delete创建目录 mkdirs删除文件或目录 delete列出目录的内容 listStatus显示文件系统的目录和文件的元数据信息 getFileStatusjava 代码public class App2 { static{ URL.setURLStreamHandl原创 2017-06-09 13:53:30 · 287 阅读 · 0 评论 -
Operation category READ is not supported in state standby解决
hdfs写的那台机器是待机状态的,所以不支持,要在active 机器中写才行./hdfs haadmin -transitionToActive --forcemanual nn1再次访问就变一active,一个standy转载 2016-11-15 14:56:50 · 9011 阅读 · 0 评论 -
HBase 性能优化方法总结
表的设计1 Pre-Creating Regions默认情况下,在创建HBase 表的时候会自动创建一个region 分区,当导入数据的时候,所有的 HBase客户端都向这一个region写数据,直到这个region 足够大了才进行切分,一种可以加快批量写入的速度的方法通过 预先创建一些空的region,这样当数据写入HBase时,会按照region区分情况,在集群内做数据的负载均衡1.1原创 2017-07-27 10:51:14 · 415 阅读 · 0 评论