ggwxk1990的博客

大数据随笔,有兴趣加群一起讨论663052251

oracle 11g RAC 清理磁盘空间,crfclust.bdb过大的处理

记录一下,查看磁盘空间,发现有个文件目录一直在变大,查看后发现 crfclust.bdb 有 9个G ,网上搜索后得到解决方案,测试通过并记录操作如下:1、checkcrsctl stat res ora.crf -init -t2、stopcrsctl stop res ora.crf -ini...

2018-03-19 10:42:02

阅读数 628

评论数 0

大数据学习40:Flume metric 注解

启动flume监控的一种方式:flume-ng agent \ --name a1 \ --conf $FLUME_HOME/conf \ --conf-file $FLUME_HOME/conf/exec-memory-hdfs-partition.conf \ -Dflume.root.log...

2018-03-06 20:10:41

阅读数 263

评论数 0

zabbix 安装记录

zabbix 安装一、目标:1.搭建server和agent二、环境server和agent:192.168.137.11 Centos6.5三、步骤1、通过yum安装php和相关的软件。(用的阿里源)要安装php5.4以上版本,所以需要这样处理。①检查当前安装的phpyum list insta...

2018-03-06 20:02:49

阅读数 448

评论数 0

大数据学习39:ElasticSearch 常用查询2

ES常用查询2 1、子条件查询:特定字段查询所指特定值 Query context 在查询中,除了判断文档是否满足查询条件外,ES还会计算一个_score来标识匹配程度。 旨在判断目标文档和查询条件匹配的有多好。常用查询: (1)、全文本查询:针对文本类型数据#模糊匹配1 POST 12...

2017-12-29 17:01:22

阅读数 234

评论数 0

大数据学习38:ElasticSearch 基础和常用命令-增删改查

基础概念 集群和节点 索引:含有相同属性的文档集合,索引通过名字识别,小写英文字母命名,不能中划线数字等 类似 database 分片:每个索引都有多个分片,每个分片是一个Lucene索引 好处:提高io读写效率 分片只能在创建索引的时候指定,后期不能修改备份:拷贝一份分片就完成了分片...

2017-12-29 15:07:04

阅读数 860

评论数 1

python:BeautifulSoup select()/select_one() 用法总结

BeautifulSoup select()/select_one() 用法总结:html_doc = """ <html><head><title>The Dormouse's story</title></he...

2017-12-29 10:10:41

阅读数 2924

评论数 0

大数据学习37:DataFrame集合减操作例子

对df1 和 df2 连个文件进程处理,将在df1 里编号并且不在 df2 里编号的数据取出。df1.txt: 1 wxk 44 2 panda 55 3 monkey 66 4 tiger 33df2.txt: 2 china 3 usapackage zuoy...

2017-12-05 20:59:48

阅读数 573

评论数 0

大数据学习36:spark-core 和 spark-sql 学习

一、spark-core: 使用spark core 需要定义一个sparkConf ,再将 sparkConf 传入 SparkContext 获得一个 sc 实例。 val sparkConf = new SparkConf().setAppName( "Broadcast&qu...

2017-12-05 20:23:22

阅读数 198

评论数 0

大数据学习35:一个scala 操控 HDFS 文件目录的小例子

一个scala 操控 HDFS 文件目录的小例子: 包含了对文件路径的查看是否存在、删除、创建、重命名、移动。 仅作记录。工具类:HDFSUtilpackage Sparktest import java.io.IOException import java.net.URI import or...

2017-12-05 00:07:50

阅读数 2365

评论数 0

修改redo log 大小的记录:

修改redo log 大小的记录: Redo log的四种状态(CURRENT、ACTIVE、INACTIVE、UNUSED) 1. CURRENT指当前的日志文件,在进行实例恢复时是必须的; 2. ACTIVE是指活动的非当前日志,在进行实例恢复时会被用到。Active状态意味着,Chec...

2017-12-04 18:04:01

阅读数 227

评论数 0

大数据学习34:grafana 安装 和 Nginx 、EL 联调

1、grafana 安装 wget https://s3-us-west-2.amazonaws.com/grafana-releases/release/grafana-4.6.2-1.x86_64.rpm 为了使用yum方便,直接下载阿里的yum源 [root@hadoop001 yum...

2017-12-03 17:20:00

阅读数 1553

评论数 0

大数据学习33:logstash 和 kibanba 安装以及ELK的联调记录

logstash 和 kibanba 安装以及ELK的联调记录 1.Logstash安装 [root@hadoop001 elk]# tar -xzvf logstash-6.0.0.tar.gz  [root@hadoop001 elk]# cd logstash-6.0.0/ [r...

2017-12-03 16:12:25

阅读数 268

评论数 0

大数据学习32:Nginx 的 安装

Nginx 的 安装  1.安装PCRE库 [root@hadoop001 ~]#  cd /usr/local/ [root@hadoop001 local]#  tar -zxvf pcre-8.36.tar.gz [root@hadoop001 local]# chown -R ...

2017-12-02 23:07:06

阅读数 143

评论数 0

大数据学习31:Elasticsearch 6.0 和 Elasticsearch header 安装记录

Elasticsearch 6.0 和 Elasticsearch header 安装记录------------------------------ hosts文件 151.101.0.133 raw.githubusercontent.com 192.30.255.112 github.c...

2017-12-02 21:53:09

阅读数 2792

评论数 0

大数据学习30:Azkaban3.x 的 two server mode 部署

Azkaban two server mode 部署 接着上次说到的编译,在编译好的目录中找到web 和 executor 。 安装 azkaban-web-server 解压: /opt/software/azkaban/azkaban/azkaban-web-server/buil...

2017-11-29 19:41:28

阅读数 554

评论数 0

大数据学习29:Azkaban3.x的简单理解 和 单机安装

Azkaban 是一个任务调度框架 简单易用易维护,存在任务间依赖关系处理的框架 可以记录用户操作,做审计 1、特性: Compatible with any version of Hadoop Easy to use web UI Simple web and http wo...

2017-11-29 19:17:43

阅读数 788

评论数 0

大数据学习28:JAVA 连HBase的API小工具类

JAVA 连HBase的一个小工具类,主要为了记录和理解,实际使用的时候最好将main和其他类分开:package HBase_java_train;import java.io.IOException; import java.io.ObjectInputStream; import java....

2017-10-31 15:44:13

阅读数 211

评论数 0

Linux 配置邮件:

Linux 配置邮件:qq邮件配置后会告警。。。。不建议用。。。。[root@hadoop002 ~]# echo 'hello!' | mail -s "hello test" 904333734@qq.com [root@hadoop002 ~]# smtp-server:...

2017-10-30 23:06:01

阅读数 2510

评论数 0

大数据学习27:Hive元数据清理,从mysql层面删除hive元数据

由于之前配置了hive,hdfs 被格式化了,导致现在hive上原来的元数据没有清理掉。 由于hive 上所有元数据均保存在mysql中,所以,可以从mysql上删除表相关信息即可删除hive表,而且不会影响hdfs上数据。 分析: hive在mysql上的相关元数据表关系图: Hiv...

2017-10-30 22:05:37

阅读数 236

评论数 0

ORA-00257: archiver error. Connect internal only, until freed 解决办法,原因 redo log 无法切换

故障现象: plsql登陆发生报错 ORA-00257: archiver error. Connect internal only, until freed [oracle@dg1 ~]$ oerr ora 0025700257, 00000, "archiver error....

2017-10-29 23:41:01

阅读数 519

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭