2018年11月_王树民

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

转载 linux磁盘读写性能监控

2013年09月08日 10:57:45 l1905 阅读数：5672更多个人分类： linux转载地址：http://blog.csdn.net/jack161641/article/details/7281923 贡献一些我平常用的监控服务器性能的命令1.硬盘读写性能，#查看TPS和吞吐量信息iostat -d -k 1 10 Device: ...

2018-11-30 17:07:15 2433

转载 iotop命令

性能监测与优化《Linux就该这么学》是一本基于最新Linux系统编写的入门必读书籍，内容面向零基础读者，由浅入深渐进式教学，销量保持国内第一，年销售量预期超过10万本。点此免费在线阅读。iotop命令是一个用来监视磁盘I/O使用状况的top类工具。iotop具有与top相似的UI，其中包括PID、用户、I/O、进程等相关信息。Linux下的IO统计工具如iostat，nmon等...

2018-11-30 16:41:04 209

原创 nethogs命令

性能监测与优化《Linux就该这么学》是一本基于最新Linux系统编写的入门必读书籍，内容面向零基础读者，由浅入深渐进式教学，销量保持国内第一，年销售量预期超过10万本。点此免费在线阅读。有很多适用于Linux系统的开源网络监视工具。比如说，你可以用命令iftop来检查带宽使用情况。netstat用来查看接口统计报告，还有top监控系统当前运行进程。但是如果你想要找一个能够按进程...

2018-11-30 16:40:06 361

转载正确的使用dd进行磁盘读写速度测试

博客分类： IO 测试方式：使用dd指令，对磁盘进行连续写入，不使用内存缓冲区，每次写入8k的数据，总共写入20万次，产生1.6G大小的文件。测试指令：dd if=/dev/zero of=/data01/test.dbf bs=8k count=200000 conv=fdatasync-------------------------------------------...

2018-11-30 10:55:36 1381

转载 Trafodion 安装之HBase配置优化

2018-11-29 17:23:54 186

转载 HBase源码分析之HRegion上compact流程分析（二）

2018-11-29 14:25:09 474

转载 Bookmarks 各种技术参考

收藏栏微软必应搜索 - 全球搜索，有问必应 (Bing)spring security 第 1 章一个简单的HelloWorldspring security的原理及教程 - 二当家的 - 博客频道 - CSDN.NETSpring Security 3.0 数据库动态实现权限控制 - zlllxl2002的专栏 - 博客频道 - CSDN.NETS...

2018-11-28 15:55:20 2734 1

转载 JVM调优总结 -Xms -Xmx -Xmn -Xss

堆大小设置 JVM 中最大堆大小有三方面限制：相关操作系统的数据模型（32-bt还是64-bit）限制；系统的可用虚拟内存限制；系统的可用物理内存限制。32位系统下，一般限制在1.5G~2G；64为操作系统对内存无限制。我在Windows Server 2003 系统，3.5G物理内存，JDK5.0下测试，最大可设置为1478m。典型设置： java -Xmx3550m -Xms355...

2018-11-28 15:49:47 746

转载解决客户端通过zookeeper连接到hbase时连接过多的问题

2015年04月24日 16:54:57 a_lele123 阅读数：2434原因：客户端程序通过zookeeper访问hbase的连接数超过设置的默认链接数(默认数是30)，连接数不够用会导致后续的连接连接不上去。解决办法：设置hbase-site.xml配置文件，添加如下属性 <property> <name>hbase.zooke...

2018-11-28 11:40:54 3114

转载 HBase(六): HBase体系结构剖析（上)

HBase(六): HBase体系结构剖析（上)Posted on 2016-09-10 19:37 天戈朱阅读(3567) 评论(2) 编辑收藏 HBase隶属于hadoop生态系统，它参考了谷歌的BigTable建模，实现的编程语言为 Java, 建立在hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。它仅能通过主键(row key)和主键的ran...

2018-11-28 09:03:56 244

转载 Hbase万亿级存储性能优化总结

2018-11-27 10:42:57 426

转载如何避免HBase写入过快引起的各种问题

2018年04月10日 17:23:06 zhaowei121 阅读数：231 标签：分布式大数据线程首先我们简单回顾下整个写入流程client api ==> RPC ==> server IPC ==> RPC queue ==> RPC handler ==> write WAL ==> write memstore ==> fl...

2018-11-27 09:23:11 1105

转载配置ssh免密码登录

登录后我们就开始搭建我们的hadoop伪分布式系统修改主机名与IP地址的对应关系[root@VM_11_203_centos ~]# hostname查看主机名[root@VM_11_203_centos ~]# vim /etc/hosts修改文件为一下内容然后输入reboot重启机器配置ssh免密码登录[root@VM_11_203_centos ~]# ssh 211.15...

2018-11-26 13:03:56 823

转载 Hadoop-2.7.1伪分布式环境搭建

背景：阅读新闻 Hadoop-2.7.1伪分布式环境搭建 [日期：2016-04-20] 来源：Linux社区作者：thfeng [字体：大中小] 1.准备Linux环境　　1.0 点击VMware快捷方式，右键打开文件所在位置 -> 双击vmnetcfg.exe -&g...

2018-11-26 11:48:19 528

原创 Centos7 切换阿里云yum源

原centos 6.5添加阿里云yum源2017年10月29日 22:02:53 yizhixiaocaiji26 阅读数：2217 标签： centosmv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backupcd /etc/yum.repos.dcurl -O http://mi...

2018-11-23 11:40:11 2198

原创 jProfiler远程连接Linux监控jvm1运行状态

随风迎jProfiler远程连接Linux监控jvm1运行状态第一步：下载软件官网地址：https://www.ej-technologies.com/download/jprofiler/files，下载一个linux服务端，一个windows客户端 GUI界面第二步：安装1、下载好后把tar包上传的linux服务器，解压。（/usr/local/src）2、修改t...

2018-11-23 11:03:46 844

转载 Ganglia在CentOS7_x86_64上的yum安装与配置可以使用有效果

Ganglia在CentOS7_x86_64上的yum安装与配置2017年11月28日 22:32:33 agent_x 阅读数：189 标签： gangliacentoshadoop0 前记：yum安装Ganglia比起make install 安装Ganglia方式要简单很多，因为yum方式安装不用自己去下载编译安装各依赖包。下面我介绍Ganglia在CentOS7_x86_6...

2018-11-21 16:47:32 549

原创 centOS下tar: bzip2: Cannot exec: No such file or directo

(2014-11-21 21:44:06)转载▼ 分类：系统出现的问题：用tar 解压 tar.bz2文件出错debian:/usr/src# tar jxf linux-2.6.26.tar.bz2tar: bzip2: Cannot exec: No such file or directorytar: Error is not recoverabl...

2018-11-21 15:14:21 282

转载 Centos6.2下安装python2.7.3

(2012-12-24 15:55:15)转载▼标签：模块脚本方式文件环境 it 分类： linux学习 centos6.2 发行版，内部自带的python是2.6.6 版本，但实际项目中要用的是 2.7.3 ，但原来的2.6.6 也不能卸载，因为cen...

2018-11-21 15:05:25 293

原创 Ganglia安装搭建

Ganglia的安装部署前言 1一、Ganglia组件 1二、安装依赖 2三、安装expat依赖 2四、安装confuse 3五、安装ganglia 4六、服务端配置（gmetad 节点） 4七、客户端配置（gmond节点） 6八、服务端的WEB配置 8九、测试安装是否成功 9十、安装过程遇到的问题 12下载apr失败 12安装Gangl...

2018-11-21 14:28:01 5071 1

原创 Linux操作系统上得ntpdate调整

Linux操作系统上得ntpdate调整2015年05月04日 18:53:46 Benjamin_whx 阅读数：1297 标签： ntpdatelinux 更多个人分类： Linux通常情况下linux服务执行 #ntpdate -u 210.72.145.44 就可以进行时间同步，但突然发现服务器上的时间竟然不准确了，执行ntpdate -u ...

2018-11-20 12:03:59 600

转载 linux下文件查询命令（cat,more,less,head,tail）

linux下文件查询命令（cat,more,less,head,tail）众所周知Linux中命令cat、more、less均可用来查看文件内容，主要区别有：cat是一次性显示整个文件的内容，还可以将多个文件连接起来显示，它常与重定向符号配合使用，适用于文件内容少的情况；more和less一般用于显示文件内容超过一屏的内容，并且提供翻页的功能。more比cat强大，提供分页显示的功能，le...

2018-11-20 12:03:36 212

转载 Linux配置NTP时间同步

Linux配置NTP时间同步2018年04月13日 14:46:41 潮鳴阅读数：6166 标签： Linux时间同步一：NTP是网络时间同步协议，就是用来同步网络中各个计算机的时间的协议。二：NTP服务端配置1.检查系统是否安装了NTP包（linux系统一般自带NTP4.2），没有安装我们直接使用yum命令在线安装： yum install ntp2.NTP服务端配置文件编...

2018-11-20 12:02:11 347

原创 linux ntp 时间同步

linux ntp 时间同步2016年10月26日 18:43:26 leys123 阅读数：9219 标签： ntpntpdate时间同步更多个人分类： linux一：外网同步时间1.查看ntpd服务状态[root@cdh sbin]# service ntpd status ntp: unrecognized service说明 ntpd没有安装。2.查看是否...

2018-11-20 12:00:10 328

原创 ntp时间服务器时间同步

2018-11-20 11:59:21 2632

原创 Linux下搭建ntp时间服务器

2018-11-20 11:55:53 309

转载 ntpq –p命令

ntpq –p命令ntpq用来监视ntpd操作，ntpq -p查询网络中的NTP服务器，同时显示客户端和每个服务器的关系位置标志含义 remote之前 * 响应的NTP服务器和最精确的服务器 + 响应这个查询请求的NTP服务器 blank(空格) 没有响应的NTP服务器列表上方 remote 响应这个请求的NTP...

2018-11-20 11:46:59 8213

转载 Linux下搭建ntp时间服务器

2018-11-20 11:34:39 138

转载 linux下ntp时间服务器的搭建与配置

Z&C技术生活感悟linux下ntp时间服务器的搭建与配置　　Network Time Protocol(NTP，网络时间协议)用于同步它所有客户端时钟的服务。NTP服务器将本地系统的时钟与一个公共的NTP服务器同步然后作为时间主机提供服务，使本地网络的所有客户端能同步时钟。　　同步时钟最大的好处就是相关系统上日志文件中的数据，如果网络中使用中央日志主机集中管理日志，得...

2018-11-20 11:23:29 410 1

转载 Linux配置自动时间同步

时间同步命令：ntpdata time.windows.com 自动时间同步：需要配置/etc/crontab文件，实现自动执行任务让linux从time.windows.com自动同步时间vi /etc/crontab加上一句：00 0 1 * * root ntpdate -s time.windows.comtime.nist.gov 是一个时间服...

2018-11-20 10:03:15 805

原创 HBase性能优化方法总结（二）：写表操作

HBase性能优化方法总结（二）：写表操作本文主要是从HBase应用程序设计与开发的角度，总结几种常用的性能优化方法。有关HBase系统配置级别的优化，可参考：淘宝Ken Wu同学的博客。下面是本文总结的第二部分内容：写表操作相关的优化方法。2. 写表操作2.1 多HTable并发写创建多个HTable客户端用于写操作，提高写数据的吞吐量，一个例子：static fi...

2018-11-14 16:33:50 198

转载使用visualvm 远程监控 JVM

使用visualvm 远程监控 JVM#!/bin/bashjava -Djava.rmi.server.hostname=10.153.14.8 \ -Dcom.sun.management.jmxremote \ -Dcom.sun.management.jmxremote.port=8888 \ -Dcom.sun.management.jmxremot...

2018-11-14 14:21:21 8970

原创自定义flume的拦截器，提取body中的时间作为header

package com.springboot.MongoDB.flume;import java.nio.charset.Charset;import java.text.SimpleDateFormat;import java.util.ArrayList;import java.util.Date;import java.util.HashMap;import java.util...

2018-11-13 16:21:40 2784

转载 Linux top命令的用法详细详解

首先介绍top中一些字段的含义： VIRT：virtual memory usage 虚拟内存1、进程“需要的”虚拟内存大小，包括进程使用的库、代码、数据等2、假如进程申请100m的内存，但实际只使用了10m，那么它会增长100m，而不是实际的使用量RES：resident memory usage 常驻内存1、进程当前使用的内存大小，但不包括swap out2、包含其他...

2018-11-13 16:18:55 167

转载 HBase集群搭建

HBase集群搭建HBase集群搭建搭建环境：假设我们的linux环境已经准备好，包括网络、JDK、防火墙、主机名、免密登录等都没有问题，而且一定要有zookeeper。下面我们用3台linux虚拟机来搭建Hbase集群，首先启动我们的3台linux虚拟机，主机名分别为hadoop01、hadoop02和hadoop03。1.启动zookeeper集群启动zookeeper的...

2018-11-13 11:46:25 207

原创 Kafka文件的存储机制

Kafka文件的存储机制同一个topic下有多个不同的partition，每个partition为一个目录，partition命名的规则是topic的名称加上一个序号，序号从0开始。每一个partition目录下的文件被平均切割成大小相等（默认一个文件是500兆，可以手动去设置）的数据文件，每一个数据文件都被称为一个段（segment file），但每个段消息数量不一定相等，这种...

2018-11-13 11:44:31 1976

转载了解Java中的内存泄漏

了解Java中的内存泄漏Java高级架构进阶 2018-11-12 17:35:261. 简介Java的核心优势之一是在内置垃圾收集器（简称GC）的帮助下实现自动内存管理。GC隐含地负责分配和释放内存，因此能够处理大多数内存泄漏问题。虽然GC有效地处理了大部分内存，但它并不能成为保证内存泄漏的万无一失的解决方案。GC很聪明，但并不完美。即使在尽职尽责的开发人员的应用程序中，内存仍然...

2018-11-13 08:22:22 164

原创多路分流技术flume

[root@consumer42 apache-flume-1.8.0-bin]# cat duokdmultiplexing.conf#example.conf: A single-node Flume configuration#Name the components on this agenta1.sources = r1a1.sinks = k1 k2a1.channels =...

2018-11-10 21:12:50 544

原创 Flume 分流

Flume - 快速入门zsdnr0人评论129人阅读2017-05-25 14:47:53关于Flume，官方定义如下:Apache Flume is a distributed, reliable, and available system for efficiently collecting, aggregating and moving large amounts of ...

2018-11-10 20:51:17 980

转载 Flume(NG)架构设计要点及配置实践

Flume(NG)架构设计要点及配置实践Yanjun 架构师 2016-04-03架构师（JiaGouX）我们都是架构师！ Flume NG是一个分布式、可靠、可用的系统，它能够将不同数据源的海量日志数据进行高效收集、聚合、移动，最后存储到一个中心化数据存储系统中。由原来的Flume OG到现在的Flume NG，进行了架构重构，并且现在NG版本完全不兼容原来的OG版本。经过架...

2018-11-10 20:10:19 155