![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
经验
文章平均质量分 63
蘑菇丁
每份经历,不管是顺境还是坎坷,都会增加生命的厚度。
世界很小,请带着梦想一起奔跑。
世界很大,请带着坚持努力成长!
勇于挑战,不断突破自我!加油!!!
建了一个大数据运维群,各位大数据运维的同学可以一起讨论 群号584912368
https://github.com/liangjingbin99/shouhuo/tree/master/%E7%AC%AC02%E7%AB%A0
展开
-
superset 普通用户开启白名单后报错如下
Traceback (most recent call last): File "/usr/hdp/3.1.0.0-78/superset/lib/python3.4/site-packages/flask_appbuilder/security/manager.py", line 635, in auth_user_ldap if not self._bind_ldap(ld...原创 2019-11-22 18:30:47 · 433 阅读 · 0 评论 -
更hdfs副本数测试
hdfsdfs-du-h/warehouse/hxy.db/23.3G69.8G /warehouse/hxy.db/store__order_detail_tmp第一次插入数据23.3G46.5G warehouse/hxy.db/store__order_detail_tmp更改副本后的数据hdfsdfs-du-h /warehouse/hxy...原创 2019-11-21 17:11:49 · 186 阅读 · 0 评论 -
hdp界面全部失去心跳Components Heartbeat Lost
hdp界面全部失去心跳Components Heartbeat Lost原因是修改了/etc/hosts 安装完毕后修改了hosts里面的添加第2列10.56.10.123 bigdata1.up.com bigdata110.56.10.140 bigdata2.up.com bigdata210.56.10.163 bigdata3.up.com bigdata3...原创 2019-11-20 12:08:56 · 420 阅读 · 0 评论 -
Timeline Service V2.0 Reader 启动不了
解决方法是:将yarn配置文件中的is_hbase_system_service_launch和use_external_hbase勾选最终成功启动原创 2019-11-20 12:07:51 · 2250 阅读 · 0 评论 -
hdp开启kerberos报错如下Failed to execute the command: Cannot run program "ipa": error=2, No such file or d
ERROR [ambari-client-thread-753] CreateHandler:74 - Caught a system exception while attempting to create a resource: An internal system exception occurred: Failed to execute the command: Cannot run pr...原创 2019-11-20 12:06:33 · 666 阅读 · 0 评论 -
缺少A记录 STDERR: ipa: ERROR: Host 'bigdata2.up.com' does not have corresponding DNS A/AAAA recor
解决办法手动添加A记录ipa dnsrecord-addRecord name: bigdata2Zone name: uptest.comPlease choose a type of DNS resource record to be addedThe most common types for this type of zone are: A, AAAADNS ...原创 2019-11-20 12:03:38 · 702 阅读 · 0 评论 -
ipa 常用命令简单介绍
ipactl restart # 重启ipa --version # 查看版本ipa user-add # 添加用户(以下命令先不操作,待主从配置好后,再操作)ipa user-add etl --first=etl --last=etl --shell=/bin/bash --homdir=/home/etl # etl 组用户,用于“数据抽取”ipa user-add test --f...原创 2019-11-08 15:51:11 · 3445 阅读 · 0 评论 -
freeipa4.2 HA模式安装的kerberos新添加的票据为何每次使用都需要初始化密码,求解决方法
kinithadoopadminPasswordforhadoopadmin@UP.COM:Passwordexpired.Youmustchangeitnow.Enternewpassword:Enteritagain:kinit:Passwordhasexpiredwhilegettinginitialcredentials每次都是这...原创 2019-11-08 15:46:26 · 856 阅读 · 0 评论 -
hdp界面全部失去心跳Components Heartbeat Lost
原因是修改了/etc/hosts 安装完毕后修改了hosts里面的添加第2列10.5.50.123 bigdata1.up.com bigdata110.5.50.140 bigdata2.up.com bigdata210.5.50.163 bigdata3.up.com bigdata3解决办法1. 进 ambari 控制台,关闭 ambari 管理...原创 2019-11-08 15:43:45 · 533 阅读 · 0 评论 -
ORA-01653: unable to extend table SYS.AUD$ by 128 in tablespace SYSTEM
今天登陆PL/SQL 报错如下:ORA-01653: unable to extend table SYS.AUD$ by 128 in tablespace SYSTEM 意思是表空间已满 解决方法以sqlplus / as sysdba 登录数据库首先用下列SQL语句查看表空间的使用情况select username,default_tablespace,tempora原创 2013-10-16 16:49:15 · 7388 阅读 · 0 评论 -
一致性读(Consistent Gets,CG)并非总是完全出反映语句性能(by fuyuncat)
一致性读(Consistent Gets,CG)是反映SQL语句性能的一项重要数据。它通常作为我们语句调优的指标。一般情况下,通过该数据可以比较两条语句或者同一语句的不同执行计划之间的性能。然而,某些情况下,它并不会完全反映出语句的性能。我们先看两份性能统计数据: SQL代码SQL 1: Statistics ---------------------------转载 2013-11-08 21:02:10 · 809 阅读 · 0 评论 -
oracle常用命令
一、oracle启动和关闭1、在单机环境下要想启动或关闭ORACLE系统必须首先切换到ORACLE用户,如下su - oraclea、启动ORACLE系统>sqlplus / as sysdba>startup>quitb、关闭ORACLE系统>sqlplus / as sysdba>shutdown>quit 2、查看当前用户的缺省表空原创 2013-11-25 21:53:03 · 987 阅读 · 0 评论 -
分区的优点
1、删除表里的数据最用下面语句alter table t_name drop partition p_name;alter table t_name truncate partition p_name;delete 方式弊端:消耗大量的系统资源和无法释放空间SQL> create user test identified by test account unlock;原创 2013-11-25 22:32:45 · 680 阅读 · 0 评论 -
安装数据库时如何查看系统那些包没有安装
在安装系统时经常会忘记勾选一些自带的安装包,可能会导致在安装数据库时不能顺利安装成功,下面语句是核实缺少的安装包语句rpm -q --qf '%{NAME}-%{VERSION}-%{RELEASE} (%{ARCH})\n' binutils compat-db control-center gcc gcc-c++ glibc glibc-common gnome-libs libstdc+原创 2013-11-25 22:52:27 · 957 阅读 · 0 评论 -
查看表空间使用情况
SQL>select sum(bytes)/(1024*1024) as free_space,tablespace_name fromdba_free_space group by tablespace_name;SQL>SELECT A.TABLESPACE_NAME,A.BYTES TOTAL,B.BYTES USED,C.BYTES FREE,(B.BYTES*100)原创 2013-11-26 10:52:26 · 981 阅读 · 0 评论 -
如何查看数据库中某用户,正在运行什么SQL 语句
SELECT SQL_TEXT FROM V$SQL_TEXT T, V$SESSION S WHERET.ADDRESS=S.SQL_ADDRESSAND T.HASH_VALUE=S.SQL_HASH_VALUEAND S.MACHINE='XXXXX' OR USERNAME='XXXXX' -- 查看某主机名,或用户名原创 2013-11-26 10:50:56 · 1050 阅读 · 0 评论 -
查询低效SQL的语句
SELECT EXECUTIONS , DISK_READS, BUFFER_GETS, ROUND((BUFFER_GETS-DISK_READS)/BUFFER_GETS,2) Hit_radio, ROUND(DISK_READS/EXECUTIONS,2) Reads_per_run, SQL_TEXTFROM V$SQLARE原创 2013-11-26 10:36:21 · 1116 阅读 · 0 评论 -
oracle 热备脚本
此脚本只使用与文件系统上面的数据库,只是简单的脚本,不适合带库上的oracle,那个需要小小的改动。#!/bin/bashsource ~/.bash_profileexport NLS_LANG=AMERICAN_AMERICA.UTF8#定义时间TIME=`date +%Y-%m-%d[%R]`#清空SQL语句>/tmp/hotbak.sql#热备目录dir原创 2013-11-25 17:21:10 · 1081 阅读 · 0 评论 -
Linux下中文包、中文输入法的安装
使用VMware安装redhat 5时未将中文包安装上,所以现在的中文全是麻将类的方块,如何解决全英文无法显示汉字和输入汉字这一问题,接下来就知道啦…将系统光盘镜像文件连接至计算机,我的镜像是RHEL5.1的,先将光盘挂载至/mnt目录下,然后切换到/Server目录下,安装两个中文包: fonts-chinese-3.02-12.el5.noarch.rpm fonts-ISO8翻译 2013-11-28 16:18:24 · 659 阅读 · 0 评论 -
Hadoop集群之zookeeper安装配置
1.hadoop安装如下文:http://blog.csdn.net/haoxiaoyan/article/details/525237492.下载地址:http://mirror.bjtu.edu.cn/apache/zookeeper/zookeeper-3.4.8/zookeeper-3.4.8.tar.gz3.zookeepe 安装① 上传软件并解压把zoo原创 2016-09-13 10:48:14 · 1459 阅读 · 0 评论 -
Hadoop集群之Hbase安装配置
被虐了一周,终于整理出来hadoop 常用模块安装文档,为了其他人在安装过程中不被虐,把操作记录下来共其他人残扣,只有按照以下步骤一步一步走,保证都可以安装成功,hadoop 安装请参考之前编写的文档。http://blog.csdn.net/haoxiaoyan/article/details/525237491.解压软件tar zxvf hbase-1.1.5-bin.ta原创 2016-09-13 15:19:29 · 613 阅读 · 0 评论 -
hodoop安装步骤
1.Hadoop 下载地址http://mirror.bit.edu.cn/apache/hadoop/common/建立hadoop运行帐号即为hadoop2.集群专门设置一个用户组及用户,这部分比较简单,参考示例如下:$ useradd hadoop$ groupadd -G hadoop hadoop在所有的机器上都建立相同的组(hadoop)和用户(hadoop)。原创 2016-09-13 10:43:54 · 2141 阅读 · 0 评论 -
Spark集群基于Zookeeper的HA搭建部署
官方文档http://spark.apache.org/docs/latest/monitoring.html下载地址http://flume.apache.org/download.html安装Scala(在master上)[hadoop@masternode1 hadoop]# tar -xvzf scala-2.11.8.tgz [hadoop@masternode1 h原创 2016-10-21 13:49:02 · 1146 阅读 · 0 评论 -
各位谁遇到编译oozie-4.0.1 oozie时的报错,具体怎么解决?
[hadoop@slavenode8 oozie-4.0.1]$ bin/mkdistro.sh -DskipTests -Dhadoop.version=2.3.0[ERROR] No goals have been specified for this build. You must specify a valid lifecycle phase or a goal in the fo原创 2016-10-13 09:45:40 · 1374 阅读 · 0 评论 -
Hadoop集群之flume安装配置
Hadoop集群之flume安装配置1. 官方文档http://flume.apache.org/ 2. 配置环境变量vi /etc/profile#set flumexport FLUME_HOME=/opt/hadoop/flume-binexport FLUME_CONF_DIR=$FLUME_HOME/confexport PATH=$PATH:$FLUME原创 2016-10-13 11:16:43 · 3723 阅读 · 0 评论 -
Maven 安装
Apache Maven,是一个软件(特别是Java软件)项目管理及自动构建工具,由Apache软件基金会所提供。基于项目对象模型(缩写:POM)概念,Maven利用一个中央信息片断能管理一个项目的构建、报告和文档等步骤。曾是Jakarta项目的子项目,现为独立Apache项目。那么,如何在Linux平台下面安装Maven呢?[root@localhost ~]#原创 2016-11-04 10:39:06 · 1101 阅读 · 2 评论 -
ganglia安装和配置监控hadoop,hbase,spark
hadoop平台是原生态安装的,安装完各模块发现没有统一监控界面,经网上查询说ganglia是个不错的选择,开始在网上大量搜索关于如何用ganglia监控的资料,碰到各种报错,就是出不来想要的结果,拿就用最原始的方法,看沉下心来看官方文档,理解参数的意义,各种尝试组合,终于在3天下班的前一刻出来自己想要的结果,也许现在的理解还不是最准确的,但是为了以后更好的研究,暂时把自己安装的过程记录下来以便后原创 2016-10-21 15:04:28 · 2326 阅读 · 0 评论 -
oradebug
oradebug的前身是在ORACLE 7时的ORADBX,它可以启动用停止跟踪任何会话,dump SGA和其它内存结构,唤醒ORACLE进程,如SMON、PMON进程,也可以通过进程号使进程挂起和恢复等,还有很多功能,实际上这些功能都不常用,但是我们在看别人做问题诊断时,常看到别人在使用oradebug命令,其实我感觉最好用的就是他可以直接通过命令输出生成trace文件的名称(带路径的哦),省去转载 2016-04-13 17:28:07 · 478 阅读 · 0 评论 -
sql merger into 优化改下
CREATE OR REPLACE PROCEDURE PRO_REWARD_REPORT AS V_REWARD_PRICE NUMBER := NULL; V_COUNT NUMBER := 0; V_REWARD_LOCK_DATE DATE; V_EXISTS NUMBER; V_DEAD_LINE原创 2016-04-14 14:18:32 · 771 阅读 · 0 评论 -
update 语句更新慢如何优化
最近一次升级研发的一个SQL原创 2014-08-28 17:06:22 · 14133 阅读 · 0 评论 -
如何根据sid查看改会话具体执行的是什么sql语句
前几天研发的一个新功能把数据库原创 2014-08-27 10:33:07 · 3071 阅读 · 0 评论 -
如何清理监听日志
今天一个1、关闭监听记录日志信息lsnrctl set log_status off2、备份监听日志mv listener.log listener_`date +%Y%m%d`.log.bak另外,cp不是也耗时间吗?尤其是在监听日志文件比较大的时候,这样直接一mv不是更好吗?3、重新设置,让监听记录日志lsnrctl set log_status on原创 2014-08-13 11:34:48 · 656 阅读 · 0 评论 -
误删除表的恢复方法
1、使用逻辑备份恢复(有数据丢失)2、flush table tname to before drop(在回收站里有此表才可以恢复) drop表时;drop table t purge;不能用闪回恢复3、闪回数据库flashback database 得不偿失(生成库不用此方法)4、用点时间的不完全恢复1)首先查看下归档日志select name from v$archived原创 2014-04-12 23:42:52 · 1008 阅读 · 0 评论 -
SQLT工具的安装过程
安装步骤如下: [oracle@haoxy u01]$ unzip sqltfor10.zip -d sqltfor10[oracle@haoxy u01]$ cd sqltfor10/sqlt/[oracle@haoxy sqlt]$ lsdoc input install run sqlt_instructions.html utl[oracle@haoxy sq原创 2014-03-22 17:05:36 · 1068 阅读 · 0 评论 -
数据库坏块处理方法
一、可以使用dbv进行校验注意,dbv工具只可以对数据文件进行检查,无法使用它完成控制文件和日志文件的检查。1.dbv命令语法dbverify ::= dbv [ USERID=username/password ] FILE = filename | { START = block_address | END = block_address } | BLO原创 2014-01-09 09:55:57 · 915 阅读 · 0 评论 -
flash_recovery_area满的解决办法
1、oracle启动报错ORA-16014: log 3 sequence# 82 not archived, no available destinationsORA-00312: online log 3 thread 1: '/u01/app/oracle/oradata/hxy/redo03.log'这是由于Flash Recovery Area空间不足导致数据库不原创 2013-11-27 21:24:49 · 4302 阅读 · 0 评论 -
linux 如何调用sqlplus关闭和开启数据库
linux shell如何调用sqlplus关闭数据库-bash-3.2 root$ gb.sh#!/bin/bashsu - oracle cd /home/oraclesh shutdown.sh-bash-3.2$ more shutdown.sh#!/bin/bashprocc=`ps -ef|grep ora_|grep -v ora|wc -l`原创 2013-11-28 16:12:37 · 3225 阅读 · 0 评论 -
系统优化之---分区表加速查询速度和删除速度
1、删除表里的数据最用下面语句alter table t_name drop partition p_name;alter table t_name truncate partition p_name;delete 方式弊端:消耗大量的系统资源和无法释放空间SQL> create user test identified by test account unlock;原创 2013-11-28 16:20:28 · 2302 阅读 · 0 评论 -
脚本实现查看表空间使用情况
#!/bin/bashsource ~/.bash_profile. /home/ora10/system_tablespacesqlplus -S oracle/hao12345@hxy col BYTES_USED for 9999999999999set feed offset linesize 100set pagesize 200spool /home/原创 2013-12-02 14:18:02 · 953 阅读 · 0 评论 -
ambari 安装
1.ambari 官网地址:http://ambari.apache.org2.下载ambari[hadoop@slavenode7 hadoop]$ wget http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.0.1/ambari.repo100%[=========================原创 2016-10-14 10:52:12 · 3864 阅读 · 1 评论