大数据运维
Ronney-Hua
这个作者很懒,什么都没留下…
展开
-
Ambari离线部署Hadoop集群踩到的坑
1、远程拷贝HDP组件不全导致安装client时缺少rpm包,手动拷贝解决2、安装HAWQ,启动时报错 passwordlell ssh hawq hosts ,hawq master 和其他主机机拷贝文件输入密码受限,两方面原因: 一 root 用户 ssh 无密登录时 权限配置错误,正确的权限应该是 chmod 700 /roo/.ssh chmod 600 /root/.ssh/auth原创 2017-05-04 16:37:13 · 1340 阅读 · 0 评论 -
Kylin报错classnotfound:org.apache.hadoop.hive.serde2.typeinfo.typeInfo
最近新升级了最新的kylin-2.1 build cube的过程中mapreduce抛出异常 java.lang.ClassNotFoundException: org.apache.hadoop.hive.serde2.typeinfo.TypeInfo很显然报错是指向jar包问题 在google上找到了解决了方法find 一下sentry的位置 每个版本的hadoop上都会不一样在Kyli原创 2017-08-25 10:20:05 · 3463 阅读 · 0 评论 -
Hive:hive is not allowed to impersonate anonymous
1、用kettle通过jdbc连接hiveserver2的时候抛出异常Exception in thread "main" org.apache.hive.service.cli.HiveSQLException: Failed to open new session: java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException原创 2017-08-24 09:35:16 · 6152 阅读 · 0 评论 -
Hive内部表与外部表区别详细介绍
1.创建内部表与外部表的区别是什么?2.external关键字的作用是什么?3.外部表与内部表的区别是什么?4.删除表的时候,内部表与外部表有什么区别?5.load data local inpath '/home/wyp/data/wyp.txt' into table wyp;的过程是什么样子的?6.磁盘,hdfs,hive表他们之间的过程是什么样子的?好了,进入正题。今天我们要探讨的转载 2017-09-22 15:44:02 · 377 阅读 · 0 评论 -
Hadoop Balancer运行速度优化
1.修改dfs.datanode.max.transfer.threads = 4096 (如果运行hbase的话建议为16384),指定用于在DataNode间传输block数据的最大线程数,老版本的对应参数为dfs.datanode.max.xcievers2.修改dfs.datanode.balance.bandwidthPerSec = 31457280 ,指定DataNode用于bala原创 2017-10-20 10:09:40 · 1306 阅读 · 0 评论 -
hawq state 报错: the database is down, but Ambari shows all hawq services as being
错误修改pg_hba.conf文件,导致master连接不上数据库。原创 2017-12-26 15:01:15 · 440 阅读 · 0 评论 -
完全卸载HDP和Ambari
文章转载自:https://imaidata.github.io/blog/uninstall_hdp_ambari/ 用于个人学习、备查,转载请注明原作者。简介: 在不需要重装操作系统的情况下完全卸载HDP,并准备好自动安装HDP2.6的环境。文章: 升级HDP失败后,我被迫彻底清除HDP 2.4,Ambari 2.5并安装HDP 2.6。 我想避免重新安装操作系统,所以执行了如下转载 2018-01-11 00:37:23 · 7273 阅读 · 0 评论 -
完全卸载HDP和Ambari
文章转载自:https://imaidata.github.io/blog/uninstall_hdp_ambari/ 用于个人学习、备查,转载请注明原作者。简介: 在不需要重装操作系统的情况下完全卸载HDP,并准备好自动安装HDP2.6的环境。文章: 升级HDP失败后,我被迫彻底清除HDP 2.4,Ambari 2.5并安装HDP 2.6。 我想避免重新安装操作系统,所以执行了如下转载 2018-01-08 17:08:23 · 7042 阅读 · 3 评论 -
HBase meta元数据损坏导致hbase master初始化失败
故障起因:跑kylin任务,过程出错,异常信息:Direct buffer memory,java.io.IOException: java.lang.OutOfMemoryError: Direct buffer memory at org.apache.hadoop.hbase.regionserver.HRegion$RegionScannerImpl.handleExcep...原创 2018-03-22 13:03:22 · 7116 阅读 · 0 评论 -
mkdir: Permission denied: user=root, access=WRITE
原因:root用户没有写入hdfs的权限 解决:1、切换hdfs用户后,重新执行mkdir命令2、修改advanced.permissions.enabled =false 重启hdfs即可。不过,最好切换用户执行命令。原创 2017-08-24 18:02:08 · 2468 阅读 · 0 评论 -
hdfs查看目录大小文件大小
1、hadoop fs -du /test 查看test子目录大小 2、hadoop fs -count -q /test原创 2017-07-28 18:58:26 · 12961 阅读 · 0 评论 -
PXF webapp is inaccessible but tomcat is up
生产环境新增几个节点,安装pxf后,启动时报错stderr: Traceback (most recent call last): File "/var/lib/ambari-agent/cache/common-services/PXF/3.0.0/package/scripts/pxf.py", line 120, in <module> Pxf().execute() Fil原创 2017-06-19 21:32:47 · 845 阅读 · 0 评论 -
Ambari安装client报错OSError:[Error 17] File exists
Ambari为集群新增扩容过程中,有一个节点安装多个client报错Traceback (most recent call last): File "/var/lib/ambari-agent/cache/stacks/HDP/2.0.6/hooks/after-INSTALL/scripts/hook.py", line 37, in <module> AfterInstallHook原创 2017-06-19 21:43:10 · 1900 阅读 · 0 评论 -
安装ElasticSearch过程遇到的坑
采用默认安装时是可以成功安装的,但是只能在本机通过127.0.0.1:9200访问,修改: network.host: 为本机IP后,启动报错。elasticsearch 5.3 安装过程中遇到了一些问题,这里简单记录一下 。问题一:警告提示[2016-11-06T16:27:21,712][WARN ][o.e.b.JNANatives ] unable to install syscall fi原创 2017-07-13 15:58:18 · 3618 阅读 · 0 评论 -
Hadoop集群的kerberos认证
文章转载自http://www.cnblogs.com/easycloud/p/3724437.html 转载主要用于个人学习备查。环境:OS 版本: Centos6.4Kerberos版本: krb5-1.10.3环境配置机器名Ip地址功能安装模块ganglia.localdomain192.168.124.140Kerberos serverkrb5-libskrb5-serverkrb5-w转载 2017-06-26 16:28:08 · 5273 阅读 · 0 评论 -
Ambari删除服务报错之CSRF protection is turned on
Ambari安装组件失败后执行 curl 删除服务报错 CSRF protection is turned on X-Requested_By HTTP Header is required解决方案:vi /etc/ambari-server/conf/ambari-properties增加 api.csrfPrevention.enabled=false重启Ambari: ambari-serve原创 2017-07-05 17:11:48 · 1696 阅读 · 0 评论 -
HDFS文件导出本地合并为一个文件
HDFS受限于Block大小,大文件会分割成多个块分布在多个节点,导出本地的时候直接用:hadoop fs -get 命令会在本地创建一个目录存放多个块。要想合并为一个大文件可以这样:hadoop fs -getmerge hdfs:///user/nixm/news_rank1.txt /nixm/gcy/out1.txt原创 2017-06-27 11:21:20 · 4736 阅读 · 0 评论 -
Hadoop 跨集群复制文件
hadoop distcp -pbc hdfs://namenode1/test hdfs://namenode2/test如果报用户权限写入被拒绝,切换到hdfs原创 2017-08-17 12:08:14 · 2165 阅读 · 0 评论 -
Hive设置参数-指定引擎-队列
文章转载:https://www.cnblogs.com/huangmr0811/p/5571001.htmlHive提供三种可以改变环境变量的方法,分别是:(1)、修改${HIVE_HOME}/conf/hive-site.xml配置文件;(2)、命令行参数;(3)、在已经进入cli时进行参数声明。下面分别来介绍这几种设定。方法一: 在Hive中,所有的默认配置都在HIVEHOME/co...转载 2018-09-30 10:35:58 · 11864 阅读 · 0 评论