oracle 11g RAC 清理磁盘空间,crfclust.bdb过大的处理 记录一下,查看磁盘空间,发现有个文件目录一直在变大,查看后发现 crfclust.bdb 有 9个G ,网上搜索后得到解决方案,测试通过并记录操作如下:1、checkcrsctl stat res ora.crf -init -t2、stopcrsctl stop res ora.crf -init3、deleterm crfclust.bdb4、 startcrsctl start res or...
大数据学习40:Flume metric 注解 启动flume监控的一种方式:flume-ng agent \--name a1 \--conf $FLUME_HOME/conf \--conf-file $FLUME_HOME/conf/exec-memory-hdfs-partition.conf \-Dflume.root.logger=INFO,console \-Dflume.monitoring.type=http \-D
zabbix 安装记录 zabbix 安装一、目标:1.搭建server和agent二、环境server和agent:192.168.137.11 Centos6.5三、步骤1、通过yum安装php和相关的软件。(用的阿里源)要安装php5.4以上版本,所以需要这样处理。①检查当前安装的phpyum list installed | grep php②如果有安装的PHP包,先删除他们yum remove php.x86_...
大数据学习39:ElasticSearch 常用查询2 ES常用查询2 1、子条件查询:特定字段查询所指特定值 Query context 在查询中,除了判断文档是否满足查询条件外,ES还会计算一个_score来标识匹配程度。 旨在判断目标文档和查询条件匹配的有多好。常用查询: (1)、全文本查询:针对文本类型数据#模糊匹配1POST 127.0.0.1:9200/book/_search{ "query":{ "m
大数据学习38:ElasticSearch 基础和常用命令-增删改查 基础概念 集群和节点 索引:含有相同属性的文档集合,索引通过名字识别,小写英文字母命名,不能中划线数字等 类似 database 分片:每个索引都有多个分片,每个分片是一个Lucene索引 好处:提高io读写效率 分片只能在创建索引的时候指定,后期不能修改备份:拷贝一份分片就完成了分片的备份 好处:当主分片不可用,备份即可顶替 备份可以查询,可以分摊压力 备份可以动态修改类型:索引
python:BeautifulSoup select()/select_one() 用法总结 BeautifulSoup select()/select_one() 用法总结:html_doc = """<html><head><title>The Dormouse's story</title></head><body>The Dormouse's storyOnce upon a time t
大数据学习37:DataFrame集合减操作例子 对df1 和 df2 连个文件进程处理,将在df1 里编号并且不在 df2 里编号的数据取出。df1.txt:1 wxk 442 panda 553 monkey 664 tiger 33df2.txt:2 china3 usapackage zuoye11_22import org.apache.spark.sql.SparkSession/**
大数据学习36:spark-core 和 spark-sql 学习 一、spark-core:使用spark core 需要定义一个sparkConf ,再将 sparkConf 传入 SparkContext 获得一个 sc 实例。val sparkConf = new SparkConf().setAppName( "Broadcast" ).setMaster( "local[3]" )val sc = new SparkContext( spa
大数据学习35:一个scala 操控 HDFS 文件目录的小例子 一个scala 操控 HDFS 文件目录的小例子: 包含了对文件路径的查看是否存在、删除、创建、重命名、移动。 仅作记录。工具类:HDFSUtilpackage Sparktestimport java.io.IOExceptionimport java.net.URIimport org.apache.hadoop.conf.Configurationimport org.apache
修改redo log 大小的记录: 修改redo log 大小的记录:Redo log的四种状态(CURRENT、ACTIVE、INACTIVE、UNUSED)1. CURRENT指当前的日志文件,在进行实例恢复时是必须的;2. ACTIVE是指活动的非当前日志,在进行实例恢复时会被用到。Active状态意味着,Checkpoint尚未完成,因此该日志文件不能被覆盖。3. INACTIVE是非活动日志,在实例恢复时不
大数据学习34:grafana 安装 和 Nginx 、EL 联调 1、grafana 安装wget https://s3-us-west-2.amazonaws.com/grafana-releases/release/grafana-4.6.2-1.x86_64.rpm为了使用yum方便,直接下载阿里的yum源[root@hadoop001 yum.repos.d]# wget -O /etc/yum.repos.d/CentOS-Base.rep
大数据学习33:logstash 和 kibanba 安装以及ELK的联调记录 logstash 和 kibanba 安装以及ELK的联调记录1.Logstash安装[root@hadoop001 elk]# tar -xzvf logstash-6.0.0.tar.gz [root@hadoop001 elk]# cd logstash-6.0.0/[root@hadoop001 logstash-6.0.0]# lltotal 100drwxr
大数据学习32:Nginx 的 安装 Nginx 的 安装 1.安装PCRE库[root@hadoop001 ~]# cd /usr/local/[root@hadoop001 local]# tar -zxvf pcre-8.36.tar.gz[root@hadoop001 local]# chown -R root.root pcre-8.36[root@hadoop001 local]# cd pc
大数据学习31:Elasticsearch 6.0 和 Elasticsearch header 安装记录 Elasticsearch 6.0 和 Elasticsearch header 安装记录------------------------------hosts文件151.101.0.133 raw.githubusercontent.com192.30.255.112 github.com54.231.40.211 github-production-release-asset-2e
大数据学习30:Azkaban3.x 的 two server mode 部署 Azkaban two server mode 部署接着上次说到的编译,在编译好的目录中找到web 和 executor 。安装 azkaban-web-server解压:/opt/software/azkaban/azkaban/azkaban-web-server/build/distributionstar -xzvf azkaban-web-server-3.39.
大数据学习29:Azkaban3.x的简单理解 和 单机安装 Azkaban 是一个任务调度框架简单易用易维护,存在任务间依赖关系处理的框架可以记录用户操作,做审计1、特性:Compatible with any version of HadoopEasy to use web UISimple web and http workflow uploads // key-valueProject workspacesS
大数据学习28:JAVA 连HBase的API小工具类 JAVA 连HBase的一个小工具类,主要为了记录和理解,实际使用的时候最好将main和其他类分开:package HBase_java_train;import java.io.IOException;import java.io.ObjectInputStream;import java.util.HashMap;import java.util.List;import java.uti
Linux 配置邮件: Linux 配置邮件:qq邮件配置后会告警。。。。不建议用。。。。[root@hadoop002 ~]# echo 'hello!' | mail -s "hello test" 904333734@qq.com[root@hadoop002 ~]# smtp-server: 535 Error: 请使用授权码登录。详情请看: http://service.mail.qq.com/cgi-bin/
大数据学习27:Hive元数据清理,从mysql层面删除hive元数据 由于之前配置了hive,hdfs 被格式化了,导致现在hive上原来的元数据没有清理掉。 由于hive 上所有元数据均保存在mysql中,所以,可以从mysql上删除表相关信息即可删除hive表,而且不会影响hdfs上数据。 分析: hive在mysql上的相关元数据表关系图: Hive在mysql的元数据表的关系和含义这篇博文中有详细字段说明: http://blog.csdn.ne
ORA-00257: archiver error. Connect internal only, until freed 解决办法,原因 redo log 无法切换 故障现象: plsql登陆发生报错 ORA-00257: archiver error. Connect internal only, until freed [oracle@dg1 ~]$ oerr ora 0025700257, 00000, "archiver error. Connect internal only, until freed."// *Cause: The arc