- 博客(15)
- 资源 (9)
- 收藏
- 关注
RSS订阅原创 flume http sink
# 指定Agent的组件名称a1.sources = r1a1.sinks = k1a1.channels = c1 # 指定Flume source(要监听的路径)a1.sources.r1.type = spooldira1.sources.r1.spoolDir = /opt/bigdata/FtpDir1/a1.sources.r1.deserializer.maxLi...
2019-01-28 11:47:50
1556
转载 kafka如何处理非常大的消息
Kafka设计的初衷是迅速处理短小的消息，一般10K大小的消息吞吐性能最好（可参见LinkedIn的kafka性能测试）。但有时候，我们需要处理更大的消息，比如XML文档或JSON内容，一个消息差不多有10-100M，这种情况下，Kakfa应该如何处理？针对这个问题，有以下几个建议：最好的方法是不直接传送这些大的数据。如果有共享存储，如NAS, HDFS,S3等，可以把这些大的文件存放到共享...
2019-01-26 10:53:15
873
原创 实用shell脚本 文件整理移动清除，可指定时间
#!/bin/bashimsiRecordDir=/opt/dir1/aimDir=/opt/dir2/#源目录集合dirArray=( $imsiRecordDir )#正则查找文件regex=".*\(log\)$"#清除策略minTime=`expr 10 * 1 * 1 * 1`currentTime=$(date +%s)time=`expr $(date +%s) ...
2019-01-25 17:02:45
614
原创 nginx日志切割、定时清理
切割清理脚本：#!/bin/bash#Nginx日志路径LOGPATH=/opt/nginx/logs/#前一天日期YESTERDAY=$(date -d "yesterday" +"%Y-%m-%d")#清除策略EXPIRE=`date +%Y-%m-%d --date '3 days ago'`PID=${LOGPATH}nginx.pidmv ${LOGPATH}acc...
2019-01-23 17:11:58
795
原创 实用脚本 之 将指定目录下符合规定的文件移动/拷贝到 规定目录中
#!/bin/bash#源文件所在目录dirArray=( /opt/bigdata/FtpDir1/ /opt/bigdata/FtpDir2/ )#最终存储的目录aimDir=/opt/bigdata/mytxt/#正则匹配表达式regex=*.txtif [ ! -d $aimDir ]; then mkdir -p $aimDirfifor (( i=0;i<...
2019-01-23 15:16:02
1115
原创 jar包如何在命令行运行
jar包在命令行运行方式一：有绑定主类（有main函数入口）java -jar xxx.jar方式二：无需绑定主类，可自行指定java -cp xxx.jar xxx.main.Class 如果提示内存不够，可增加启动内存大小如：java -Xms256m -Xmx1024m -jar xxx.jarjava -Xms256m -Xmx1024m -cp xxx.jar xx...
2019-01-22 22:54:03
16348
原创 idea 使用maven打包
Maven Projects 》选择对应项目 》 Lifecycle 》package在target 目录下可找到 jar包注： 此方式打出来的是没有加入依赖包的maven要打依赖包，需要添加插件 <build> <plugins> <plugin> <artifac
2019-01-22 22:30:08
2998
1
原创 idea 不使用maven 使用自带打包功能
选中项目 》 右键 》 进入 Open Module Setttings选中Artifacts 》 JAR 》 From modules with dependencies选择代码入口（main方法所在类）选中Build 》 Build Artifacts选择Build系统生成out目录，在out目录下可以看到jar包...
2019-01-22 21:50:15
3629
原创 java 读取Excel 实现 按表格内容拷贝文件到指定目录
package com.wisec.main;import org.apache.poi.hssf.usermodel.HSSFWorkbook;import org.apache.poi.ss.usermodel.Cell;import org.apache.poi.ss.usermodel.Row;import org.apache.poi.ss.usermodel.Sheet;i...
2019-01-22 21:29:19
540
转载 nginx设置请求body大小
设置如下：Syntax:client_max_body_size sizeDefault:client_max_body_size 1mContext:http, server, locationSets the maximum allowed size of the client request body, specified in the “Content...
2019-01-15 12:24:24
16372
转载 mongodb详细优化策略方案
本文包括以下几个方面：– 安全措施– 部署架构– 系统优化– 索引设计– 备份监控– 模式设计– 程序配置一、安全措施1.1 为MongoDB集群启用认证鉴权MongoDB服务器在默认安装下不启用鉴权。这意味着每个人都可以直接连接到mongod实例并执行任意数据库操作。建议按照文档启用鉴权 http://docs.mongoing.com/manual-zh/tutorial/...
2019-01-11 12:51:47
6910
原创 shell实用脚本之，清除指定目录指定时间点之前的文件
#!/bin/bashdir1=/opt/dir1dir2=/opt/dir2dir3=/opt/dir3#删除最小粒度控制minTime=`expr 60 * 60 * 24 * 1`array=($dir1 $dir2 $dir3)currentTime=$(date +%s)#echo "当前时间:"$currentTimefor(( i=0;i<${#array[@...
2019-01-09 15:12:31
1648
转载 linux ls -l 为什么第五列目录都是4096
ls -l 命令第5列的数字：1、对于普通文件，显示的是文件的大小（字节数）2、对于设备文件是指主设备号（第6列为次设备号）3、对于目录，是指目录大小（目录内inode列表所占空间，而不是目录内文件所占的空间大小）4、对于符号链接，是指链接文件的路径名的字节数原文：https://www.cnblogs.com/zhq--blog/p/9603425.html...
2019-01-07 15:56:29
2739
1
转载 磁盘IO和网络IO的评估、监控、性能定位与优化知识总结
生产中经常遇到一些IO延时长导致的系统吞吐量下降、响应时间慢等问题，例如交换机故障、网线老化导致的丢包重传；存储阵列条带宽度不足、缓存不足、QoS限制、RAID级别设置不当等引起的IO延时。社区上周举办了交流活动，针对磁盘IO和网络IO，重点围绕IO评估、评估工具、监控方法、性能问题的定位与调优等方面展开讨论。由活动嘉宾杨建旭（中国人民银行清算总中心性能测试团队负责人、高级技术经理）系统整理其所...
2019-01-07 15:55:03
1355
转载 kafka线上环境部署（集群环境规划）
本文摘自胡夕 《Apache Kafka实战》，详细内容，请购买正版书籍集群环境规划典型的生产环境至少需要部署多个节点共同组成一个分布式集群整体为我们提供服务。本章将会详细讨论生产环境中集群的安装、配置与验证。不过在此之前，我们还需要解决 3 个方面的问题。它们分别是操作系统的选型、硬件规划和容量规划。操作系统的选型谈到操作系统，很多人可能会问： Kafka 不是JVM系的大数据框架吗？而...
2019-01-04 14:42:16
792
markdown.zip
2019-05-31
mongoDB实战手册大全
2019-01-20
redis-3.0.7免编译安装压缩包
2018-12-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人