- 博客(28)
- 收藏
- 关注
RSS订阅原创 kibana工具 es 使用
1、查询索引下文档总数GET /index-province-gps/gps/_count{“query”:{“match_all”:{}}}索引 （index）：index-province-gps类型（type）：gps查询总数执行_count2、随机查询，默认查询10条GET /index-province-gps/gps/_search{“query”:{“match...
2019-06-06 14:04:03
6667
转载 HADOOP与HDFS数据压缩格式
HADOOP与HDFS数据压缩格式1、cloudera 数据压缩的一般准则一般准则是否压缩数据以及使用何种压缩格式对性能具有重要的影响。在数据压缩上，需要考虑的最重要的两个方面是 MapReduce 作业和存储在 HBase 中的数据。在大多数情况下，每个的原则都类似。 您需要平衡压缩和解压缩数据所需的能力、读写数据所需的磁盘 IO，以及在网络中发送数据所需的网络带宽。正确平衡这些...
2018-10-17 18:20:11
2781
转载 Linux中查看各文件夹大小命令du -h --max-depth=1
du [-abcDhHklmsSx] [-L <符号连接>][-X <文件>][--block-size][--exclude=<目录或文件>] [--max-depth=<目录层数>][--help][--version][目录或文件]常用参数：-a或-all 为每个指定文件显示磁盘使用情况，或者为目录中每个文件显示各自磁盘使用情况。-b或-...
2018-10-17 18:04:57
8588
原创 hadoop hdfs 文件解压缩 lzo gzip格式
hadoop hdfs 文件解压缩 lzo gzip格式代码如下代码如下// An highlighted blockpackage com.mystery.learn.hadoop;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.*;import org.apache.hadoop.i...
2018-10-17 17:52:00
4107
转载 Java 应用 频繁 FullGC 分析
一、JVM的内存分布1.1 JVM内存分布概况堆内存划分为： Eden、Survivor 和 Tenured/Old 空间1.2 Minor GC、Major GC、Full GC1.3 JVM垃圾回收算法二、应用的GC日志配置2.1 应用GC日志配置JVM的GC日志的主要参数包括如下几个：-XX:+PrintGC 输出GC日志-verbose:gc 示输...
2018-09-29 11:15:53
6702
原创 Linux dd 命令 限制文件夹大小
先用dd命令建立一个5G大的文件，命名为dfs2： dd if=/dev/zero ibs=10M count=512 of=/dfs2说明:if=/dev/zero：表示输入文件为/dev/zero，一个虚拟的设备，顾名思义，里边的数据全是0ibs=10M： 表示每次读取的块大小为10M,这个数值的大小跟内存有关，如果你要每次读1G的数据count=512：表示共...
2018-09-19 16:37:51
4926
原创 hadoop hdfs datanode 数据迁移
定位思路 先将集群停止，然后准备好新的存储目录，再将数据复制到新的目录中，重启集群。处理步骤 假设HDFS的默认安装目录为“/dfs/dn”，需要移动目录到“/home/dfs/dn”中。 1.登录cdh manager，停止hdfs集群 2.在home目录下创建 dfs/dn 目录 cd /home ...
2018-09-18 16:28:37
3885
1
转载 java 引用类型 强引用、弱引用、软引用、虚引用
1、强引用（StrongReference） 强引用是使用最普遍的引用。如果一个对象具有强引用，那垃圾回收器绝不会回收它。如下： Object o=new Object(); // 强引用 当内存空间不足，Java虚拟机宁愿抛出OutOfMemoryError错误，使程序异常终止，也不会靠随意回收具有强引用的对象来解决内存不足的问题。如果不使用时...
2018-09-17 09:31:10
115
转载 Spark Streaming+Kafka spark 写入 kafka
目录前言 Spark streaming接收Kafka数据 基于Receiver的方式 直接读取方式 Spark向kafka中写入数据 Spark streaming+Kafka应用 Spark streaming+Kafka调优 合理的批处理时间（batchDuration） 合理的Kafka拉取量（maxRatePerPartition重要） 缓存反复使用的Ds...
2018-09-14 17:47:49
7238
转载 Java动态代理深度解析
引言说起动态代理，很多人可能都没有直接去使用过。但是只要用过Spring，那动态代理就是一个是个绕不过的坎，因为Spring的核心特性之一AOP就是基于动态代理来实现的，那么什么情况下需要用到动态代理呢？场景考虑这样一个教师的接口：public interface Teacher { void teach();}假设我们有一个TeacherChan的实现类，陈...
2018-09-13 11:39:57
178
转载 Spring Cloud Sleuth kafka es 全链路监控
为什么需要Spring Cloud Sleuth微服务架构是一个分布式架构，它按业务划分服务单元，一个分布式系统往往有很多个服务单元。由于服务单元数量众多，业务的复杂性，如果出现了错误和异常，很难去定位。主要体现在，一个请求可能需要调用很多个服务，而内部服务的调用复杂性，决定了问题难以定位。所以微服务架构中，必须实现分布式链路追踪，去跟进一个请求到底有哪些服务参与，参与的顺序又是怎样的，从而达...
2018-09-07 17:34:55
2074
原创 Linux mysql 安装 配置
1、下载mysq安装包：mysql-5.7.19-linux-glibc2.12-x86_64.tar.gz （带glibc版本，其他的版本可能出现glibc版本不匹配情况）； 上传至 /IBM/mysql 目录下2、解压：mysql-5.7.19-linux-glibc2.12-x86_64.tar.gz tar -xvf mysql-5.7
2017-08-22 11:59:45
356
转载 基于Spring Boot和Spring Cloud实现微服务架构学习
http://blog.csdn.net/enweitech/article/details/52582918
2017-07-15 21:03:03
481
转载 maven 打包可执行jar的方法
在这之前，我自己找了点maven的东西添加进来Maven内置变量说明： ${basedir} 项目根目录 ${project.build.directory} 构建目录，缺省为target ${project.build.outputDirectory} 构建过程输出目录，缺省为target/classes ${project.build.finalName} 产出物名称，缺省为${p
2017-07-14 14:42:01
390
转载 spring源码分析，聊聊PropertyPlaceholderConfigurer
https://my.oschina.net/thinwonton/blog/1104546
2017-07-05 07:11:46
3111
1
转载 手把手体验 Docker HelloWorld
课程目标[ ] Mac Pro 上如何安装Docker[ ] 概念：Docker 引擎，宿主机，镜像（Image），容器（Container）[ ] 在 Docker 上如何运行 Nginx[ ] 容器的管理：查看，进入，stop, start, restart, kill, 删除[ ] 怎么发布自己的一个 Docker Image ?
2017-06-28 18:06:26
939
转载 Docker 中刪除 Images 鏡像 及 Containers
刪除 Docker ImageDocker 提供了 rmi 參數, 可以用作刪除 images, 但在執行前, 我們需要知道 image id, 先用以下指令找出 image id:# docker images找到要刪除的 image 的 image id 後, 便可以執行以下指令刪除:# docker rmi image_id刪除 Docker Contai
2017-06-28 17:34:01
629
转载 HashMap实现原理分析
1. HashMap的数据结构数据结构中有数组和链表来实现对数据的存储，但这两者基本上是两个极端。 数组数组存储区间是连续的，占用内存严重，故空间复杂的很大。但数组的二分查找时间复杂度小，为O(1)；数组的特点是：寻址容易，插入和删除困难；链表链表存储区间离散，占用内存比较宽松，故空间复杂度很小，但时间复杂度很大，达O（N）。链表的特点是：寻址困难，插入和删除容易。
2017-06-28 17:27:42
227
转载 JVM CPU资源占用过高的问题排查
一、背景： 先执行一个java程序里面开了两个线程分别都在while循环做打印操作。 # java -cp ./test-threads.jar com.spiro.Main二、现象： 通过top命令查看当前CPU情况 可以看到有个java进程占用CPU过高，下面来排查是什么线程的什么代码导致CPU过高。三、步骤
2017-06-28 15:45:01
2926
转载 springboot web 开发
SpringSpring Boot快速入门中我们完成了一个简单的RESTful Service，体验了快速开发的特性。在留言中也有朋友提到如何把处理结果渲染到页面上。那么本篇就在上篇基础上介绍一下如何进行Web应用的开发。静态资源访问在我们开发Web应用的时候，需要引用大量的js、css、图片等静态资源。默认配置Spring Boot默认提供静态
2017-06-26 23:03:46
291
转载 spring-boot读取props和yml配置文件
最近微框架spring-boot很火，笔者也跟风学习了一下，废话不多说，现给出一个读取配置文件的例子。首先，需要在pom文件中依赖以下jar包 dependencies> dependency> groupId>org.springframework.bootgroupId> artifactId>spring-boot
2017-06-26 15:09:26
739
原创 Linux 上添加分区，卸载分区
linux 添加分区，卸载分区1、新增分区 （1）、通过 secure CRT 使用root用户登录远程主机，如果是普通用户先切换至管理员用户。 （2）、 执行以下命令，查看数据盘信息。 输入命令fdisk -l查看您的数据盘信息，注意：在没有分区和格式化数据盘之前，使用df -h 命令是无法看到数据盘的。在下面的示例中，有一个 54 GB 的数据盘(/vdb)需要挂载
2017-03-30 11:39:42
8768
原创 angularjs与requirejs整合实用技巧
Angularjs与Requirejs整合实用技巧一、简介关于angularjs的特点这里不啰嗦，本文只介绍三点生产中实用技巧：angularjs与requirejs集成、指令实现类freemarker功能、过滤器使用。二、实用技巧展示1、使用angularjs的过程中，很多只是将其当做引入系统中的一个js插件工具，而不是作为前台开发的主体框架，其和requirejs整合可以使前段
2017-03-26 21:34:23
978
原创 Java redis 中写入对象
java redis 存储对象 import redis.clients.RedisClinet;import redis.clients.SerializeUtil;import redis.clients.jedis.Jedis;public class Test { /** * jiachengwin
2017-03-26 21:30:38
3033
原创 zookeeper 环境搭建
安装zookeeper的集群是用到了3个节点：分别是ywjyapp56，ywjyapp57，ywjyapp568。也就是说要在这三个节点上部署zookeeper。这里需要注意一点：zookeeper集群的节点数必须是奇数，并且至少为3个。这里涉及到zookeeper的选举算法。1、首先肯定是从官网下载相应的tar包，并解压 网址：http://zookeeper.apache.o
2017-03-24 13:28:29
306
原创 es及插件安装
es安装一、elasticSearch1、下载elasticsearch安装包，下载地址：https://www.elastic.co/downloads/elasticsearch2、上传安装包至Linux服务器，执行unzip命令解压安装包，命令：unzipelasticsearch-2.4.23、启动es，执行命令： ./elasticsearch –d，添加
2017-03-23 18:49:33
876
转载 Java 正则表达式
1匹配验证-验证Email是否正确Java | 复制1234567891011121314public static void main(String[] args) { // 要验证的字符串 String st
2017-03-23 18:44:26
199
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人