- 博客(8)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 定时分割及清除tomcat日志
分割catalina.out脚本编写split-catalina.sh#!bin/shydate=$(date -d '-1 day' +%Y-%m-%d); #获取前一天日期path=/opt/java_environment/tomcat8-sdkphone8080/logs/ #tomcat日志路径cp $path/catalina.out $path/catalina...
2018-07-28 01:23:46
732
原创 linux统计文件中字符串次数及文件夹下特定类型文件个数
在实际日常项目中，常常会对生产日志查找异常或者统计一些内容一、统计单个文件统计单个文件字符串出现次数，语法：grep 字符串 文件名|wc -l ，grep输出，wc -l按行统计，每行重复只统计一个
2018-07-28 00:16:48
10244
原创 初识SparkSQL
一、简介1、SharkShark是基于Spark计算框架之上且兼容Hive语法的SQL执行引擎，由于底层的计算采用了Spark，性能比MapReduce的Hive普遍快2倍以上，当数据全部load在内存的话，将快10倍以上，因此Shark可以作为交互式查询应用服务来使用。除了基于Spark的特性外，Shark是完全兼容Hive的语法，表结构以及UDF函数等，已有的HiveSql可以直接进行...
2018-07-26 23:48:18
236
原创 hbase生存期TTL的设置
TTL简述TTL缩写Time To Live，即生存期。TTL是作用于列族的，它设置了一个基于时间戳的临界值， 内部的管理会自动检查TTL值是否达到上限，在major合并过程中时间戳被判定为超过TTL的数据会被自动删除。TTL参数的单位是秒，默认值是Integer.MAX_VALUE，即2^31-1=2 147 483 647 秒，大约68年。使用TTL默认值的数据可以理解为永久保存。...
2018-07-20 18:00:10
26278
10
原创 hbase shell基本操作命令
1、创建表#创建表t_task_log，其他保持默认create 't_task_log', 'data'#创建表t_task_log，列族data，并预分区[0,f]，预分区根据row的业务设计create 't_task_log', 'data', SPLITS => ['0', '1','2', '3','4', '5','6','7','8','9','a', 'b',...
2018-07-12 14:43:33
278
原创 初识sparkCore
一、概念RDD(Resilient Distributed Dataset)，弹性分布式数据集 ，是分布式内存的一个抽象概念。二、RDD的五大特性1、RDD是由一系列的partition组成的。partition一般有三种方式产生 （1）从Scala集合中创建，通过调用SparkContext#makeRDD或SparkContext#par...
2018-07-11 23:08:34
2731
原创 kafka-manager集群管理器配置
kafka-manager是一款优秀的kafka集群管理器，提供可视化的web集群管理界面。此插件管理器由Yahoo公司提供，并在git 上开源：https://github.com/yahoo/kafka-manager1、主要功能（1）管理多个kafka集群（2）便捷的检查kafka集群状态(topics,brokers,备份分布情况,分区分布情况)（3）选择你要运行的副本（...
2018-07-10 19:12:56
1234
原创 linux批量重命名文件
现实中我们常会给文件批量重命名， 利用linux的重命名命令rename可以做到这一点可以看到rename的from、to、files三个参数from：修改的内容，to：改成的内容，files：改的文件，通常用通配符表示比如有这样一批文件，想去掉后边的.COMPLETED，这是可以用rename批量重命名bi.2018-07-02-00-00.log.COMPLETED b...
2018-07-02 16:26:23
3913
程序员面试秘籍.docx
2020-05-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人