hadoop
不会技术的IT男
世上唯一不变,是人都善变。
展开
-
hadoop Caused by: java.lang.ClassCastException
使用hadoop进行排序时报如下错误:Caused by: java.lang.ClassCastException原因是因为在你在自己定义的 XXXWritable类中实现的是 Writable 接口,而如果要排序,则需要实现WritableComparable接口将key作为排序键再在类中重写如下方法即可:@Override public int compareT...原创 2019-06-29 15:18:37 · 1491 阅读 · 1 评论 -
sqoop将mysql数据导入hive时常见报错报错解决方案
一、导入命令:sqoop import --connect jdbc:mysql://172.20.5.117:3306/userinfo --username root --password gzp --table userinfo --target-dir /test2 --hive-import --hive-table userinfo二、报错一:ERROR tool.Imp...原创 2019-08-31 18:36:20 · 1034 阅读 · 2 评论 -
hive语句分区归档时报错:java.lang.NoClassDefFoundError: org/apache/hadoop/tools/HadoopArchives
一、报错信息:在我执行分区归档时命令:alter table hive_text archive partition (folder='docs');报错如下:查看日志:cat /tem/hive/root/hive.log(这是我的日志路径),报错日志如下默认日志路径:/tmp/<user.name>文件夹的hive.log文件中,全路径就是/tmp/当前用户名(...原创 2019-08-30 16:39:12 · 840 阅读 · 0 评论 -
Hbase的Java AIP操作(最新版本2.2.0)实现创建表、删除表、插入删除获取数据等操作
首先创建maven项目,并修改pom.xml,导入hbase第三方jar包。如下所示<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org...原创 2019-08-27 22:22:57 · 671 阅读 · 0 评论 -
Spark完全分布式集群搭建
一、准备工作安装jdk:https://blog.csdn.net/qq_42668255/article/details/97368887 搭建hadoop集群:https://blog.csdn.net/qq_42668255/article/details/99449114 scala搭建 官方下载地址:https://www.scala-lang.org/download/ s...原创 2019-08-20 11:31:38 · 430 阅读 · 0 评论 -
hadoop全分布式集群搭建
参考文献:https://blog.csdn.net/superman404/article/details/83591324参考文献:https://www.cnblogs.com/pu20065226/p/8464156.html介绍:主要参考第一篇,配置完善,不足之处在与不易理解。 第二篇:配置稍微不完善,但相对容易理解。故可以按照第二篇的风格配置,按第一篇的内容配置。...原创 2019-08-13 16:57:25 · 198 阅读 · 0 评论 -
hbase下载安装与配置
一、准备工作安装hive的前提是已经在主机中安装好JDK、hadoop、zookeeper如果准备还没有安装这样三个,可以参考如下文章安装JDK:https://blog.csdn.net/qq_42668255/article/details/97368887hadoop:https://blog.csdn.net/qq_42668255/article/details/913850...原创 2019-08-24 16:52:43 · 3872 阅读 · 1 评论 -
hive下载安装与配置
一、准备工作安装hive的前提是已经在主机中安装好JDK、hadoop、mysql如果准备还没有安装这样三个,可以参考如下文章安装JDK:https://blog.csdn.net/qq_42668255/article/details/97368887hadoop:https://blog.csdn.net/qq_42668255/article/details/91385098...原创 2019-07-27 20:29:00 · 5482 阅读 · 5 评论 -
Linux系统Zookeeper单节点的安装与配置
一、下载可以从https://zookeeper.apache.org/releases.html下载ZooKeeper,目前最新的稳定版本为 3.4.8 版本,安装zookeeper的前提时安装了JDK,如果你还没有安装JDK可以参考此文章:https://blog.csdn.net/qq_42668255/article/details/97368887云盘链接:https://p...原创 2019-07-27 09:39:20 · 610 阅读 · 0 评论 -
Zookeeper集群搭建
一、准备机器环境准备 我们准备3台机器,并都装好JDK且设置好hostname。Zookeeper机器准备参考:https://blog.csdn.net/qq_42668255/article/details/97483170JDK安装参考:https://blog.csdn.net/qq_42668255/article/details/97368887(说明:在Zook...原创 2019-07-27 11:32:51 · 127 阅读 · 0 评论 -
hadoop伪分布式搭建以及配置,JDK的安装配置,超详细,超级适合新手。
一、Hadoop 简介Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构,它可以使用户在不了解分布式底层细节的情況下开发分布式程序,充分利用集群的威力进行高速运算和存储。从其定义就可以发现,它解決了两大问题:大数据存储、大数据分析。也就是 Hadoop 的两大核心:HDFS 和 MapReduce。 HDFS(Hadoop Distributed File Sys...原创 2019-07-26 10:47:24 · 1907 阅读 · 0 评论 -
sqoop job执行delete、exec、show时避免输入密码(免密执行)
一、问题1.创建jobsqoop job -create job1 -- import --connect jdbc:mysql://192.168.14.217:3306/workflow --username root --password gzp --table project --target-dir /sqoop/job/job12.在执行如下命令提示输入密码:sqo...原创 2019-08-31 20:11:53 · 663 阅读 · 0 评论