错误干扰
辅猪之王
这个作者很懒,什么都没留下…
展开
-
Cloudera Manager安装完后hive使用lzo小坑计
前提:打开hive能正常打开,且服务无报错,hdfs中hive库正常存在。问题:hive中无法查看库,表,但是建表后hdfs中有表结果显示。报错信息:明显报错-> Error in configuring object(配置对象时出错)。问题详情:查看/tmp/用户名/hive.log日志,发现causeBy->Class com.hadoop.compression.lzo.L...原创 2020-04-07 15:55:15 · 316 阅读 · 3 评论 -
win10下编译Apache版本hadoop2.10.0,附资源
今天是三月尾巴了,然后博文还没打卡,今天临时编译了一下hadoop在window上的环境包,至于版本就不要纠结了,比如问为啥不用hadoop2.6或者hadoop3版本而用2.10.0版本。集群都搭好了,总不能改集群吧,之所以Windows环境也改成对应版本也是为了调试,出错也好查些,废话少说,进入正题。1.环境准备。这里部分是从这位可爱的网友Zeus借鉴来的,先行者的肩膀。https://...原创 2020-03-31 23:05:48 · 1868 阅读 · 5 评论 -
在shell脚本中for循环执行ssh操作远程主机命令执行失效的问题
首先看一下shell脚本:#! /bin/bashfor i in node2 node1dossh $i ‘java -classpath /opt/file/project_datawarehouse/log-collector-1.0-SNAPSHOT-jar-with-dependencies.jar com.jiahua.appclient.AppMain $1 $2 >...原创 2020-02-13 12:30:01 · 4306 阅读 · 0 评论 -
安装oozie-5.1.0遇到的坑
正好编译还在进行,抽时间写写踩坑日志。一 安装oozie,最新版5.2.0,而网上较多都是4.3.1,我就试了试5.1.0。刚从cdh版本换成apache版本,很多都要重新来,cdh版本oozie都是编译好的,下载下来一个多G,都需要10多步的配置,然而从apache官网下的版本只需要2.7M,需要自己编译,这其中的坑数不胜数也,先把编译前的坑写一点,以后遇到了再完善。1.1 从官网下的版...原创 2020-02-10 13:02:43 · 1287 阅读 · 0 评论 -
回顾MySQL安装问题
带新手时发现了好久以前的小bug,甚至都忘了自己有没有遇到过。安装环境:win7 64位mysql安装包:mysql-5.7.27-winx64.zip安装步骤:第一步:将安装包解压到一个目录下,比如我是D:\MySQL5.7\mysql-5.7.27-winx64首先要看目录下有没有data文件夹,如果没有就创建一个空的data文件夹,不然等下安装的时候会报一个服务没有问题但是无法启动...原创 2019-11-28 10:41:39 · 78 阅读 · 0 评论 -
IDEA连接HIVE,踩坑日志-Failed initialising database.
今天使用idea本地连接Linux的hive数据库遇到了问题,代码如下:def main(args: Array[String]): Unit = {val sparkConf = new SparkConf().setAppName(“adver”).setMaster(“local[*]”)val sparkSession = SparkSession.builder().config(...原创 2019-10-25 11:51:01 · 1809 阅读 · 0 评论 -
提示客户机操作系统已禁用CPU,请关闭或重置虚拟机,解决思路
今天安装Hadoop虚拟机时遇到了一个错误:提示客户机操作系统已禁用CPU,请关闭或重置虚拟机这我就纳闷了撒,我linux运行没问题啊,和室友同一个包啊,不过既然报错了,咱就得改,咋改呢,上百度。1.解决方案a.虚拟机>设置>选项>常规在客户机操作系统这个选项中选择 VMware ESX(X),里面有三个选项,依次运行,成功即可。很遗憾,这里又报错。这就不用搜报错信息了,百...原创 2019-09-14 13:55:26 · 10485 阅读 · 3 评论 -
sqoop 从hive中导出数据到mysql遇到的错误及解决方法
以下是sqoop语句:./sqoop export –connect jdbc:mysql://localhost:3306/newtext –username root --password “root” –table emp –fields-terminated-by ‘\t’ –export-dir /user/hive/warehouse/bt88.db/emp1 -m 1...原创 2019-10-07 21:21:39 · 4305 阅读 · 2 评论