- 博客(24)
- 收藏
- 关注
RSS订阅转载 Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
1. 问题导读： Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could...
2017-01-09 19:40:22
95
转载 hdfs下载出现Exception in thread "main" java.lang.NullPointerException
一.从hdfs文件系统下载文件到本地文件系统时Java代码。 点击(此处)折叠或打开 import java.net.URI; ...
2016-06-04 00:45:40
228
转载 HBase LSM树
一. LSM（Log-StructuredMerge-Tree）树 随着NoSQL系统尤其是类BigTable系统的流行，LSM的文件系统越来越让人熟知。LSM主要用于为那些长期具有很高记录更新（插入和删除...
2016-06-04 00:26:58
133
转载 HBase架构核心模块
Hbase物理模型架构体系 hbase工作流程 HRegionServer负责打开region，并创建HRegion实例，它会为每个表的HColumnFamily（用户创建表...
2016-06-02 15:12:05
112
转载 利用sqoop完成数据导入导出
一.安装SQOOP后可使用如下命令列出mysql数据库中的所有数据库，与检验是否安装成功。#sqoop list-databases --connect jdbc:mysql://localhost:3306/...
2016-05-13 21:06:09
87
转载 hive数据加载
一.需要注意的问题： 1.hive不支持行级别的增删改 2.使用overwrite会覆盖表的原有数据,into则是追加。 3.local会将本地文件系统复制...
2016-05-09 14:12:04
86
转载 hive存储格式
hive文件的存储格式：textfile、sequencefile、rcfile、自定义格式 1. textfile textfile,即是文本格式，默认格式，数据不做压缩，磁盘开销大，数据解析开...
2016-05-07 20:22:52
58
转载 hive权限控制
一.再一次查询hive中的数据时爆出了如下错误： Authorizationfailed:No privilege 'Select' found for inputs { database:hive...
2016-04-27 00:25:02
242
转载 Unable to load native-hadoop library for your platform...
一．问题描述。 在安装好Hadoop后，在启动Hadoop或进行一些需求和操作时会产生本地库无法使用的警告。如下 WARN util.NativeCodeLoader: Unable to load...
2016-04-26 16:59:37
90
转载 java设计模式-单例设计模式
1. 单例设计模式：确保一个类中有且仅有一个实例并为他提供一个全局访问点。 具体实现： 1.将构造函数私有化。 2.在类中创建一个本类对象。 3.提供一个方法可以获取到该对象...
2016-04-25 14:51:11
62
转载 hive启动出现权限错误 /tmp/hive on HDFS should be writable.
一．启动hadoop后运行hive时出现如下错误。 Exception in thread "main"java.lang.RuntimeException: java.lang.Runtime...
2016-04-23 15:33:46
563
转载 自定义实现Mapreduce计算的key类型
1. 在进行mapreduce编程时key键往往用于分组或排序，当我们在进行这些操作时Hadoop内置的key键数据类型不能满足需求时，或针对用例优化自定义数据类型可能执行的更好。因此可以通过实现org.apache.had...
2016-04-10 14:01:26
178
转载 Mapreduce程序WordCount单词计数详解
1. 环境介绍：Centos6.4,Hadoop-1.1.2,eclipse8.5 2. 刚刚接触mapreduce编程的时候总是不明白它是如何进行分割，如何分组，如何shuffer。尤其会对map函...
2016-03-28 11:57:57
976
转载 Hadoop启动时出现Warning: $HADOOP_HOME is deprecated.警告。
一．问题描述。 当启动Hadoop时出现Warning: $HADOOP_HOME is deprecated.警告。如下图 二．问题分析。 ...
2016-03-25 09:33:13
207
转载 CentOS网络连接方式为NAT，系统无法上网或IP设置成静态后无法上网
1. 问题：系统安装完毕后，网络连接方式为NAT，系统无法上网或IP设置成静态后无法上网。 2. 环境介绍 虚拟机：VMware10 系统为：CentOS-6.4-x86_64-b...
2016-03-05 21:34:03
157
转载 ORA-01157:无法标识/锁定数据文件，ORA-01110：表空间丢失错误
前两天再一次操作ORACLE数据库时，误删了其中的一个数据库表空间，且之前没有将此数据库表空间备份。导致今天在启动数据库时无法启动，经过自己查找资料后便将其恢复。具体的命令操作如下：至此数据库便可以正常使...
2015-12-22 14:47:51
128
转载 MapReduce程序Failed to set permissions of path:错误处理
一.在初次使用eclipse运行MapReduce程序时会出现未设置路径权限的错误（Failed to set permissions of path:）。如下图 出现这种错误的原因是程序运行时给出的输入输...
2015-11-23 11:17:35
130
转载 MapReduce发生Permission denied: user=zhen, access=WRITE错误
一.错误介绍. 在进行mapreduce编程时，利用MapReduce程序处理上传至hdfs文件系统下的数据文档时，由于传入的数据文档的权限为644，无 法满足supergroup的755权限要求，所以会出现错误。如下...
2015-11-16 11:17:08
242
转载 linux下编译安装MySQL
环境介绍：虚拟机VMware10,系统redHat6.4.yum配置已在其他文章中介绍。一.首先将linux系统自带的MySQL数据库删除掉。 二.下载并编译安装编译的工作环境，使用tar命令将cmake压...
2015-11-15 18:16:39
89
转载 hadoop下Failed to set permissions of path:的解决
1.运行环境介绍win7旗舰版，虚拟机vmware workstation 11下Centos6.2-32位，hadoop-1.1.2。在运行mapreduce程序时会发生：Failed to set permissio...
2015-09-15 08:50:15
187
转载 hadoop2.2.0伪分布下安装hive
1.环境及软件介绍：CentOS-6.4-x86_64-bin-DVD1.iso hadoop-2.2.0 hive-0.12.0 mysql(为CentOS6.4自带版本为MySQL5.1.66). 2...
2015-04-20 18:48:34
55
转载 CentOS6.4下Hadoop伪分布安装
1.系统介绍及所需软件： VMware Workstation，Secure Shell Client， (CentOS-6.4-x86_64-bin-DVD1.iso，jdk-7u67-linux-x6...
2015-04-05 20:25:02
55
转载 linux下配置本地yum源仓库
在Linux系统下安装应用软件，不像window下那样方便，有时需要事先安装很多RPM包，而有些RPM包与RPM包之前存在依赖关系，这样安装就会很麻烦。要是配置一个本地yum源仓库，就可以直接使用yum命令，将有依赖的RP...
2015-03-28 16:57:42
496
转载 hadoop中datanode无法启动
1. 环境描述： 虚拟机10，CentOS6.4，伪分布式安装Hadoop。 2. 问题描述： 出现datanode无法启动。 3.错误一：指定的文件目录权限不符 ...
2015-03-26 13:39:03
75
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人