学习笔记
文章平均质量分 51
蘑菇丁
每份经历,不管是顺境还是坎坷,都会增加生命的厚度。
世界很小,请带着梦想一起奔跑。
世界很大,请带着坚持努力成长!
勇于挑战,不断突破自我!加油!!!
建了一个大数据运维群,各位大数据运维的同学可以一起讨论 群号584912368
https://github.com/liangjingbin99/shouhuo/tree/master/%E7%AC%AC02%E7%AB%A0
展开
-
如何监控ping 某个主机不同发送钉钉报警
#! /bin/bash. /home/dd.shcount=`ping -c 7 -W 3 192.168.9.10|grep "time="|egrep -v "DUP" |wc -l`echo ${count}function output_notify {text=$1result=$(send_notify $text)echo "$(date) : $result" >> /home/ip.log}if [ $count -lt 3 ]then原创 2022-03-28 17:28:17 · 561 阅读 · 0 评论 -
安装walle2.0
1.下载安装包git clone https://github.com/meolu/walle-web.git2.安装依赖yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel libffi-devel3.安装python3wget https:/...原创 2021-09-27 11:59:59 · 615 阅读 · 0 评论 -
如何离线分析HDFS的FsImage查找集群小文件
章编写目的随着Hadoop集群数据量的增长,集群中也同时会存在大量的小文件,即文件Size比HDFS的Block Size(默认128MB)小的多的文件。Hadoop集群中存在大量的小文件对集群造成的影响如下:1.对NameNode的内存造成很大的压力以及性能问题,在HDFS中任何文件、目录或者block在NameNode内存中均以对象的方式表示(即元数据),默认每个元数据对象约占150b...转载 2019-01-18 11:12:42 · 1955 阅读 · 2 评论 -
cdh目录权限记载
drwx------. 2 root root 6 Nov 20 2015 httpddrwxr-xr-x. 2 chrony chrony 6 Nov 24 2015 chronydrwxr-xr-x. 2 ntp ntp 6 Apr 13 2017 ntpstats-rw-...原创 2018-08-23 15:03:51 · 488 阅读 · 0 评论 -
安装airflow
安装依赖yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel gcc python-devel.x86_64下载setuptoos并安装cd /opt/...原创 2018-07-03 14:23:57 · 804 阅读 · 0 评论 -
sed详解
sed流编辑器 stream editer,是以行为单位的处理程序sed 流编辑器 stream editer语法 sed [options] 'command' in_file[s]options 部分 -n -e -i -fcommand 部分 '[地址1,地址2] [函数] [参数(标记)]' 定址的方法 1.数字 2.正则 数字 十进制数 1 单行 1,3 范围 ...原创 2018-06-22 14:12:00 · 218 阅读 · 0 评论 -
AWK详解
awk语法 awk [options] 'commands' files option -F 定义字段分隔符,默认的分隔符是连续的空格或制表符 使用option中的-F参数定义间隔符号 用$1,$2,$3等的顺序表示files中每行以间隔符号分隔的各列不同域 NF变量表示当前记录的字段数 -v 定义变量并赋值 也可以借用次方式从shell变量中引入 command...原创 2018-06-22 14:08:51 · 257 阅读 · 0 评论 -
supervisorctl 基本命令
1) 查看所有子进程的状态root@hdp11:/etc/supervisord.d#supervisorctl statusredash_celery RUNNING pid 6815, uptime 64 days, 19:32:07redash_celery_scheduled RUNNING pid 6817, up...原创 2018-06-22 14:05:52 · 24503 阅读 · 0 评论 -
docker常用命令
docker inspect kafka1 查看组件是否挂在分区docker run --name db --env MYSQL_ROOT_PASSWORD=example -d mariadbdocker run -name MyWordPress --link db:mysql -p 8080:80 -d wordpressdocker rm $(docker ps -a -q)docker...原创 2018-04-18 17:10:35 · 167 阅读 · 0 评论 -
安装spark-bench
git clone https://github.com/SparkTC/spark-bench.gitcd spark-bench/mvn package install[root@datanode01 bin]# pwd/opt/spark-bench/bin[root@datanode01 bin]# ./build-all.sh [root@datanode01 spark-bench]#...原创 2018-04-18 17:09:14 · 299 阅读 · 0 评论 -
HDFS优化Hadoop性能
来自https://community.hortonworks.com/articles/103176/hdfs-settings-for-better-hadoop-performance.html简介本文将介绍可以优化Hadoop性能的HDFS设置。注意,本文重点在提高HDFS性能,但是修改的部分设置有可能影响系统稳定性。请在了解清楚每个设置的作用后再修改。使用推荐的加载选项经测试,如下加载选...翻译 2018-03-21 16:43:42 · 1773 阅读 · 0 评论 -
mysql 主主+keepalive HA 模式
1.安装mysql数据库2.修改参数文件主库10.1.8.110cat /etc/my.cnfsql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLESdatadir=/opt/datasocket=/opt/mysql-5.6.25/mysql.sockuser=mysqllog-error=/opt/mysql-5原创 2017-10-17 15:04:31 · 736 阅读 · 0 评论 -
hadoop2.7.1HA集群部署
1.修改文件/etc/hostname里的值即可,修改成功后用hostname命令查看当前主机名是否设置成功。[root@masternode centos]# cat /etc/hosts#127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4#::1 localho原创 2016-09-22 15:23:44 · 1260 阅读 · 0 评论 -
FAQ手册
1、怎么样查询特殊字符,如通配符%与_select * from table where name like 'A\_%' escape '\'2、如何插入单引号到数据库表中[A]可以用ASCII码处理,其它特殊字符如&也一样,如 insert into t values('i'||chr(39)||'m'); -- chr(39)代表字符'或者用两个单引号表示一个or转载 2013-11-25 16:33:32 · 3361 阅读 · 0 评论 -
查看PAG的使用情况
select s.username username,s.serial# serial,se.sid,n.name, max(se.value) maxmemfrom v$sesstat se, v$statname n, v$session swhere n.statistic# = se.statistic#and s.sid=se.sid原创 2013-11-25 16:27:28 · 821 阅读 · 0 评论 -
shell脚本实现自动生成awr报告
主要实现自动生成awr报告,代码思想非本人,但是有进行部分改造,之前网上的不能执行,经过部分改造可以正常执行的生成语法[oracle@hxy ~]$ bash ./dba_oracle_awr.sh -s HXY -f 20131125140000 -t 20131125150000 -p text -h /u01/app/oracle/product/10.2.1/db_1脚本如下原创 2013-11-25 15:46:39 · 1273 阅读 · 1 评论 -
写出函数如何将123456789实现转置输出0987654321
create or replace function reverse_string(v_strings in varchar2) return varchar2 isr varchar2(30):='';va varchar2(30):='';begin for i in 1..length(v_strings) loop va:=substr(v_strings,le原创 2013-11-15 13:04:54 · 1264 阅读 · 0 评论 -
redhat 安装redash
操作系统Redhat7..2,近期迁移平台组件,目前网上的安装文档都是centos和unbut的,没有红帽平台的,经过一天的折腾终于把redash安装完毕,以下是安装步骤① 初始化yum install python-pip python-dev nginx curl build-essential pwgen yum install...原创 2018-10-12 14:15:12 · 3480 阅读 · 0 评论 -
cloudera mamager中配置hive加载第三方JAR.,为什么beeline不好用?
for a in {24,25,26,27,28,29,30,31,32,33};do ssh 1.3.8.$a "mkdir -p /etc/hive/auxlib" ;done/etc/hive/auxlibHIVE_AUX_JARS_PATH=/etc/hive/auxlibfor i in {24,25,26,27,28,29,30,31,32,33}; do scp...原创 2018-10-23 09:48:38 · 4039 阅读 · 0 评论 -
return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. Replacing columns cSerDe may be incompati
删除表字段会报数据不一致,报错如下INFO : Executing command(queryId=hive_20190806170220_4bd826b5-21cc-4a31-9fe4-3fa14ada0ede): ALTER TABLE flume.biprod replace columns ( title string comment '影片名称',show_nums int comm...原创 2019-08-06 17:57:51 · 6656 阅读 · 0 评论 -
Cloudera Enterprise 6.2.0
Cloudera Enterprise 6.2.0同时也包括很多组件版本的更新,如下: 组件 组件描述 版本 Hadoop 可靠的,可扩展的,分布式的存储和计算平台 v3.0.0 HBase 实时读写访问的可扩展的记录和表的存储 ...转载 2019-05-15 18:37:21 · 666 阅读 · 0 评论 -
shell date
#!/bin/bashdate_today=`date -d '1 day ago' +%Y%m%d`#最近7天date_befor_7day=`date -d '7 day ago' +%Y%m%d`#上一个完整周(周一到周日) OFDAY="`date "+%u"`"STEPOFDAY="`expr $OFDAY + 6`"date_befor_wee...原创 2019-05-07 16:26:56 · 112 阅读 · 0 评论 -
phoenix 与现有的HBase表关联
首先创建一张HBase表,再创建的Phoenix表,表名必须和HBase表名一致即可。create 'stu' ,'cf1','cf2'put 'stu', 'key1','cf1:name','luozhao'put 'stu', 'key1','cf1:sex','man'put 'stu', 'key1','cf2:age','24'put 'stu', 'key1','c...原创 2019-05-09 17:11:59 · 2380 阅读 · 1 评论 -
笨办法学python习题39-40
#习题39 列表的操作ten_things = "Apples Oranges Crows Telephone Light Sugar"print("Wait there's not 10 things in that list,let's fix that.")stuff = ten_things.split(' ')more_stuff = ["Day","Night","So...原创 2019-04-09 18:12:48 · 469 阅读 · 0 评论 -
笨办法学python习题31-35
#习题31:做出决定print("You enter a dark room with two doors.Do you go through door #1 or door #2?")door = input(">")if door =="1": print("There's a giant bear here eating a cheese cake.What do y...原创 2019-04-03 16:12:37 · 533 阅读 · 0 评论 -
笨办法学python习题11-20
练习十一:提问print("How old are you?",end='')age = input()print("How tall are you?",end='')height = input()print("How much do you weigh?",end='')weight = input()print("So, you're %r old,%r tall and...原创 2019-03-29 13:32:10 · 659 阅读 · 0 评论 -
笨办法学python习题1-10
#第一个程序# -*- coding: utf-8 -*-print('Hello World!')print("Hello Again")print("I like typing this.")print("This is fun.")print('Yay ! Printing.')print("I'd much rather you 'not'.")print('T "sai...原创 2019-03-29 10:31:04 · 932 阅读 · 0 评论 -
笨办法学python习题21-26
#习题 21:函数可以返回东西def add(a,b): print("ADDING %d + %d" % (a,b)) return a + bdef subtract(a,b): print("SUBTRACTING %d - %d" % (a,b)) return a - bdef multiply(a,b): print("MULTIPLY...原创 2019-04-02 14:43:55 · 871 阅读 · 0 评论 -
python2 和python3如何实现 将输出打印在同一行
python3print("Mary had a little lamb.")print("It fleece was white as %s." % 'snow')print("And everywhere that Mary went.")print("." * 10 )# what'd that do?end1 = "C"end2 = "h"end3 = "e"end4 =...原创 2019-03-28 11:39:08 · 5361 阅读 · 0 评论 -
pycharm快捷键、常用设置、包管理
PyCharm3.0默认快捷键(翻译的)PyCharm Default Keymap1、编辑(Editing)Ctrl + Space 基本的代码完成(类、方法、属性)Ctrl + Alt + Space 快速导入任意类Ctrl + Shift + Enter 语句完成Ctrl + P 参数信息(在方法中调用参数)Ctrl + Q 快速查看文档...转载 2019-03-28 09:38:30 · 406 阅读 · 0 评论 -
求助kafka eagle 界面报错如何解决
ERROR [AlertQuartz.org.springframework.scheduling.quartz.SchedulerFactoryBean#0_Worker-6] - Quartz statistics offset has error,msg is nulljava.lang.NullPointerException at org.smartloli.kaf...原创 2019-02-20 11:53:31 · 3382 阅读 · 3 评论 -
flink安装
下载软件wget https://archive.apache.org/dist/flink/flink-1.7.1/flink-1.7.1-bin-hadoop26-scala_2.11.tgz② 解压软件tar -xf flink-1.7.1-bin-hadoop26-scala_2.11.tgz③ 添加用户和修改文件权限for a in {21..23};do ss...原创 2019-02-15 13:09:02 · 406 阅读 · 0 评论 -
返回相同结果,用不同SQL的执行计划
1)SQL> select deptno from scott.dept where deptno not in (select deptno from scott.emp);Execution Plan----------------------------------------------------------Plan hash value: 304125360----原创 2013-11-06 10:39:41 · 632 阅读 · 0 评论 -
oracle 如何实现上一条、下一条、查找不连续的值(转)
第一部分:oracle 如何实现上一条、下一条select z.p from ( select y.org_id,lag(y.org_id,1,0) over (order by y.org_id) as p from t_org y ) z where org_id= '34010100' select z.p from ( select y.evidence_id转载 2013-10-28 13:55:17 · 1635 阅读 · 0 评论 -
show_space
CREATE OR REPLACE procedure show_space( p_segname in varchar2,p_owner in varchar2 default user,p_type in varchar2 default 'TABLE',p_partition in varchar2 default NULL )-- this procedure user转载 2013-10-15 15:39:20 · 611 阅读 · 0 评论 -
在线重定义方法将普通表变为分区表的步骤
在线重定义的大致操作流程如下:(1)创建基础表A,如果存在,就不需要操作。(2)创建临时的分区表B。(3)开始重定义,将基表A的数据导入临时分区表B。(4)结束重定义,此时在DB的Name Directory里,已经将2个表进行了交换。即此时基表A成了分区表,我们创建的临时分区表B 成了普通表。此时我们可以删除我们创建的临时表B。它已经是普通表。[oracle@hxy ~]原创 2014-03-05 10:45:48 · 839 阅读 · 0 评论 -
undo 表空间满了的处理方法
在插入数据或者update时,有时会报ora_30036错误,导致数据插入失败,其原因是数据库的undo表空间不足所致,解决undo表空间间满的方法有两种 方法一: 添加undo 表空间的数据文件 alter tablespace undo add datafile '/u01/oracle/backup/undo02.dbf' size 100M reuse; 方法二:原创 2014-03-19 15:12:16 · 5268 阅读 · 0 评论 -
ganglia安装和配置监控hadoop,hbase,spark
hadoop平台是原生态安装的,安装完各模块发现没有统一监控界面,经网上查询说ganglia是个不错的选择,开始在网上大量搜索关于如何用ganglia监控的资料,碰到各种报错,就是出不来想要的结果,拿就用最原始的方法,看沉下心来看官方文档,理解参数的意义,各种尝试组合,终于在3天下班的前一刻出来自己想要的结果,也许现在的理解还不是最准确的,但是为了以后更好的研究,暂时把自己安装的过程记录下来以便后原创 2016-10-21 15:04:28 · 2341 阅读 · 0 评论 -
使用TPC-H对Hive测试
最近由于工作要求,需要对Hive进行一下测试。在一篇论文中看到使用TCP-H,上网查了一下还算是比较靠谱的一个基准测试程序,所以决定拿来一试。网上关于这方面的博客貌似很少(能力有限,没找到很多),通过自己摸索,写下这个东东,共享之,也希望同样关注这个方面的人能够共同讨论。系统环境: 6个结点,ubuntu01为master结点,ubuntu02-ubuntu06为slave结点转载 2016-11-04 13:30:58 · 3771 阅读 · 0 评论 -
sysbench的安装和做性能测试
ysbench是一个模块化的、跨平台、多线程基准测试工具,主要用于评估测试各种不同系统参数下的数据库负载情况。关于这个项目的详细介绍请看:http://sysbench.sourceforge.net。它主要包括以下几种方式的测试:1、cpu性能2、磁盘io性能3、调度程序性能4、内存分配及传输速度5、POSIX线程性能6、数据库性能(OLTP基准测试)目前sysb转载 2016-11-04 17:36:53 · 313 阅读 · 0 评论