- 博客(279)
- 资源 (6)
- 收藏
- 关注
原创 hive表开启lastAccessTime参数
1.hive-site.xml 的 Hive 服务高级配置代码段(安全阀)中添加2个参数:hive.security.authorization.sqlstd.confwhitelist=hive.exec.pre.hookshive.exec.pre.hooks=org.apache.hadoop.hive.ql.hooks.UpdateInputAccessTimeHook$PreExec2.重启hive即可...
2022-03-02 17:26:47
1701
原创 Impala查询报错:InternalException: Memory limit exceeded: Error occurred on backend
在HUE执行Impala查询的时候报错:InternalException: Memory limit exceeded: Error occurred on backend....报错原因是impala连接数过多导致的,可以通过修改连接数,或者等其他连接释放
2021-10-28 15:14:08
1324
原创 kudu重启报错:Error creating minidump directory: /var/log/kudu/minidumps/kudu-tserver
问题描述:CDH6.3.2的Kudu,之前安装的时候启动都是正常的,后来因为一些原因停了一段时间,再次启动的时候发现启动失败报错:Error creating minidump directory:/data/var/log/kudu/minidumps/kudu-tserver和Failed to load FS layout: /data/kudu/kudu_server_data/instance经查发现kudu的日志文件和数据文件的所有者出现错误:原...
2021-09-26 11:16:52
617
原创 Cannot validate serde: org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe
hive建表使用多字符分隔符的时候,需要在hive客户端执行:add jar /opt/cloudera/parcels/CDH/lib/opt/cloudera/parcels/CDH/lib/hive/contrib/hive-contrib-2.1.1-cdh6.3.2.jar
2021-06-11 17:23:05
1710
2
原创 cdh parcel分发状态一直卡在无法激活的状态无法关闭
parcel 分发状态一直卡在无法激活的状态,无法重新开始。执行REST Resources:curl -u {admin}:{admin} -X POST http://${cloudera-managerIP}/api/v19/clusters/{clusterName}/parcels/products/{product}/versions/{version}/commands/deactivate...
2020-11-13 20:34:37
1855
3
原创 CDH 角色缺少kerberos kertab
角色缺少kerberos kertab可能需要重新导入凭据。管理》安全》kerberos凭据》导入kerberos Acount Manager 凭据
2020-11-13 20:27:26
417
原创 Kinit :Client ‘‘ not found in Kerberos database while getting initial credentials
kinit admin报错Kinit :Client '' not found in Kerberos database while getting initial credentials密码错误。
2020-11-13 20:06:09
8479
原创 Kerberos 的Kprop服务无法启动
操作系统版本:SUSE12SP2做Kerberos数据同步时Kprop服务无法启动Kprop服务需要kprop.acl文件要在/etc/services里面增加一行:krb5_prop 754
2020-11-13 19:57:09
664
原创 cloudera manager报错 ‘csdManager‘: Invocation of init method failed;
ERROR main:com.cloudera.server.cmf.Main: Server failed.org.springframework.beans.factory.access.BootstrapException: Unable to return specified BeanFactory instance: factory key [rootContext], from group with resource name [classpath:webapp/WEB-INF/spring/
2020-08-10 16:37:32
490
原创 NoClassDefFoundError: com/teradata/jdbc/jdk6/JDK6_SQL_ResultSetMetaData解决办法
环境:TD:Teradata15.00.02.08CDH:CDH5.13.020/07/16 05:16:15 INFO sqoop.Sqoop: Running Sqoop version: 1.4.6-cdh5.13.020/07/16 05:16:15 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead.20/07/16 05:
2020-07-16 21:56:17
659
原创 cloudera manager识别parcel校验文件.sha文件不正确会导致parcel识别不了的问题
有时会出现在更多选项里面无论怎么配置,parcel文件始终无法识别,推测原因可能是sha校验文件不正确导致的。解决办法:重新生成一个sha文件执行:sha1sum CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel | cut -d ' ' -f 1 > CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel.sha...
2019-12-31 16:39:55
2146
4
原创 Centos7.5安装mysql5.7.28rpm包报错:postfix-2.10.1-6.el7.x86_64需要:libmysqlclien
执行:[root@public mysql]# yum localinstall mysql-community-common-5.7.28-1.el7.x86_64.rpm mysql-community-libs-5.7.28-1.el7.x86_64.rpm mysql-community-client-5.7.28-1.el7.x86_64.rpm mysql-community-s...
2019-12-31 11:20:59
5746
原创 Sqoop --m(--num-mappers)参数使用及优化
Sqoop并行化是启多个map task实现的,-m(或--num-mappers)参数指定map task数,默认是四个。当指定为1时,可以不用设置split-by参数,不指定num-mappers时,默认为4,当不指定或者num-mappers大于1时,需要指定split-by参数。并行度不是设置的越大越好,map task的启动和销毁都会消耗资源,而且过多的数据库连接对数据库本身也会造成压...
2019-11-14 14:42:18
8860
原创 idea中maven项目遇到pom文件jar包不能下载解决方式
在做graphframes开发过程中遇到pom文件不能下载:<!-- https://mvnrepository.com/artifact/graphframes/graphframes --><dependency> <groupId>graphframes</groupId> <artifactId>graphframes...
2018-05-30 15:57:42
10250
转载 windows10安装scala出现报错"不应有 \scala\bin\scala.bat"问题解决
安装完毕,配置完换进变量,在dos命令行输入:>scala 报错:“此时不应有 \scala\bin\scala.bat”问题原因:出现上述问题,说明你的PATH与SCALA_HOME都设置正确了,但是可能由于scala尚不完善,这个问题的原因是因为你的安装目录里边含有空格。查看一下你的安装目录,不论安装目录是在C盘还是D盘,默认的都是安装在”Program Files (x86)“与...
2018-05-29 18:10:33
2084
1
转载 Pycharm 的python console 启动'PyDevTerminalInteractiveShell' object has no attribute 'has_readline'
python启动后报错:AttributeError: 'PyDevTerminalInteractiveShell' object has no attribute 'has_readline'这个问题源于pycharm version>2016.1与ipython version 5冲突。 解决方法: 将文件pydev_ipython_console_011.py(提取密码:cbv8) ...
2018-05-28 17:23:20
901
转载 VMware14 黑屏
vmware workstation 10升级到vmware workstation 14,发现所有虚拟机打开都黑屏,那么请按照以下方法执行;命令:netsh winsock reset作用:重置winsock网络规范输入命令方法:打开cmd,选择以管理员身份运行。输入:netsh winsock reset运行成功后重启电脑。
2017-12-05 14:31:15
785
原创 sqoop /user/local/jdk1.8.0_131/bin/java:No such file or directory.........
执行sqoop导数到hive的时候报错sqoop xxxx :UNsupported major.minor version 52.0,是jdk版本冲突(CDH默认安装的是jdk1.7),改掉环境变量之后(将jdk1.8环境变量删除,目录删除)又报错:/user/local/jdk1.8.0_131/bin/java:No such file or directory.........原因
2017-11-22 16:41:42
6139
原创 Check that mysqld is running and that the socket: '/tmp/mysql.sock' exists!
[root@datanode01 bin]# /usr/local/mysql/bin/mysqladmin -u root password 'root'/usr/local/mysql/bin/mysqladmin: connect to server at 'localhost' failederror: 'Can't connect to local MySQL server th
2017-11-22 16:14:53
16666
1
原创 ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/tmp/mysql.sock' (2)
MySQL启动报错:ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/tmp/mysql.sock' (2)解决:ln -s /usr/local/mysql/mysql.sock /tmp/mysql.sock
2017-11-22 16:13:16
372
原创 log-error set to '/usr/local/mysql/log/mysqld.log', however file don't exists
mysql启动报错:Starting MySQL.171106 00:55:53 mysqld_safe error: log-error set to '/usr/local/mysql/log/mysqld.log', however file don't exists. Create writable for user 'mysql'.解决:mkdir /us
2017-11-22 16:11:32
18661
2
原创 sqoop xxxx :UNsupported major.minor version 52.0
在执行sqoop导出某表数据到hive的时候报错:Error xxxx :UNsupported major.minor version 52.0问题原因:出现该问题是由于cloudera manager和系统的jdk版本不一致导致的,更具体点是cm使用的是低版本的jdk1.7,而操作系统后来又装的版本是高版本的jdk1.8,由于sqoop会自动生成代码并编译程jar然后提交给
2017-11-13 23:37:59
1576
原创 sqoop No columns to generate for ClassWriter
在执行sqoop从oracle导出数据到hive时报错:No columns to generate for ClassWriter问题原因:oracle数据库的IP/用户名/密码/数据库名称 错误导致连接不上。
2017-11-13 23:31:22
7316
1
原创 sqoop could not load db driver class:oracle.jdbc.OracleDriver
在使用sqoop从oracle导数到hive,报错:sqoop could not load db driver class:oracle.jdbc.OracleDriver解决:在安装sqoop server的节点上放oracle的驱动包/opt/cloudera/parcels/CDH/lib/sqoop/lib/ojdbc6.jar并且修改权限为777
2017-11-13 23:22:14
6850
1
原创 Permission denied: user=hbase, access=WRITE, inode="/":hdfs:supergroup:drwxr-xr-x
安装完CDH之后,启动Hbase失败,爆出以下错误:Unhandled exception. Starting shutdown.org.apache.hadoop.security.AccessControlException: Permission denied: user=hbase, access=WRITE, inode="/":hdfs:supergroup:drwxr
2017-09-29 15:25:59
6442
原创 使用hive OPTION SQL_SELECT_LIMIT=DEFAULT
安装完CDH,使用hive的时候报错:FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: org.apache.hadoop.hive.ql.metadata.HiveException: MetaException(message:You have an error in your SQL s
2017-09-26 21:11:50
3098
3
转载 Linux CenterOS6/rhel6安装mysql-5.6.12-linux-glibc2.5-x86_64.tar.gz
Linux CenterOS6/rhel6 安装mysql-5.6.12-linux-glibc2.5-x86_64.tar.gzhttp://blog.csdn.net/liu_yulong/article/details/50172499
2017-09-26 13:41:10
597
转载 CentOS7使用firewalld打开关闭防火墙与端口
CentOS7使用firewalld打开关闭防火墙与端口http://www.cnblogs.com/moxiaoan/p/5683743.html
2017-09-22 10:22:01
605
原创 CentOS7下,在安装过mysql5.7后,安装cloudera-scm-server报错:Require:libmysqlclient.so.18(libmysqlclient_18)(64bit
CentOS7下,在安装过mysql5.7后,安装cloudera-scm-server报错:Require:libmysqlclient.so.18(libmysqlclient_18)(64bit)
2017-09-21 14:27:25
2096
1
原创 启动cloudera-scm-server报错:unable to load class [com.mysql.jdbc.Driver]
启动cloudera-scm-server时报错:
2017-09-21 11:52:06
3159
转载 linux下命令执行时间统计工具time使用小结
linux下命令执行时间统计工具time使用小结:http://blog.csdn.net/wangjianno2/article/details/50452919
2017-09-11 17:49:31
700
转载 Hadoop之为何不使用RAID
Hadoop之为何不使用RAID--http://www.cnblogs.com/Richardzhu/p/5315064.html
2017-09-11 15:08:37
433
原创 Hbase Table already exists:
CDH重新安装过之后,打开HBase shell,建表的时候报错:表已经存在;list查看,没有表;问题原因:由于在cloudera-manager管理页面上删除CDH集群的时候,默认不会删除zk的数据目录,因此数据依然存在;解决办法:打开zk客户端, 删除hbase表信息,解决。参考文章:http://www.cnblogs.com/superhedanto
2017-09-07 10:00:09
790
原创 Cannot create directory /tmp. Name node is in safe mode
CDH启动到HDFS时报错:页面报错:正在创建 HDFS /tmp 目录 命令 (1354) 已失败日志详细信息:PriviledgedActionException as:hdfs (auth:SIMPLE) cause:org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create
2017-09-06 13:52:18
5119
2
转载 HBase1.2.3架构剖析(七)之 MOB
HBase1.2.3架构剖析(七)之 MOB-http://blog.csdn.net/duyuanhai/article/details/77854378
2017-09-05 17:57:12
796
转载 CDH5.X完全卸载步骤
CDH5.X完全卸载步骤——http://blog.csdn.net/wulantian/article/details/42706777
2017-09-05 17:55:43
755
原创 hive小文件问题及hive小文件合并
HDFS块的概念--http://www.cnblogs.com/zlslch/p/5081487.html关于 HDFS 的 file size 和 block size--http://blog.csdn.net/samhacker/article/details/23089157Hive小文件合并--http://blog.csdn.net/yycdaizi/ar
2017-09-05 17:27:09
2523
原创 win10 wifi密码修改
打开“网络和Internet设置”选择“WLAN”选择“管理已知网络”点击需要修改的网络点击“忘记”找到wifi图标,点击后找到你要连接的网络,重新连接即可
2017-09-05 09:56:14
963
terajdbc4.jar
2020-07-16
RedHat6.7-CM5.11.0-详细安装步骤及部分问题解决
2017-12-05
RedHat6.7-CDH-5.11.0离线安装步骤及问题解决
2017-12-05
Red Hat 6.5离线安装CDH 5.11.0步骤及问题解决
2017-07-31
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人