自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

大JAVA解决方案

数据科学

  • 博客(47)
  • 资源 (8)
  • 收藏
  • 关注

转载 linux磁盘读写性能监控

 2013年09月08日 10:57:45 l1905 阅读数:5672更多个人分类: linux转载地址:http://blog.csdn.net/jack161641/article/details/7281923 贡献一些我平常用的监控服务器性能的命令1.硬盘读写性能,#查看TPS和吞吐量信息iostat -d -k 1 10       Device:   ...

2018-11-30 17:07:15 2433

转载 iotop命令

 性能监测与优化《Linux就该这么学》是一本基于最新Linux系统编写的入门必读书籍,内容面向零基础读者,由浅入深渐进式教学,销量保持国内第一,年销售量预期超过10万本。点此免费在线阅读。iotop命令是一个用来监视磁盘I/O使用状况的top类工具。iotop具有与top相似的UI,其中包括PID、用户、I/O、进程等相关信息。Linux下的IO统计工具如iostat,nmon等...

2018-11-30 16:41:04 209

原创 nethogs命令

 性能监测与优化《Linux就该这么学》是一本基于最新Linux系统编写的入门必读书籍,内容面向零基础读者,由浅入深渐进式教学,销量保持国内第一,年销售量预期超过10万本。点此免费在线阅读。有很多适用于Linux系统的开源网络监视工具。比如说,你可以用命令iftop来检查带宽使用情况。netstat用来查看接口统计报告,还有top监控系统当前运行进程。但是如果你想要找一个能够按进程...

2018-11-30 16:40:06 361

转载 正确的使用dd进行磁盘读写速度测试

 博客分类:  IO 测试方式:使用dd指令,对磁盘进行连续写入,不使用内存缓冲区,每次写入8k的数据,总共写入20万次,产生1.6G大小的文件。测试指令:dd if=/dev/zero of=/data01/test.dbf bs=8k count=200000 conv=fdatasync-------------------------------------------...

2018-11-30 10:55:36 1381

转载 Trafodion 安装之HBase配置优化

 2017年06月27日 10:21:36 post_yuan 阅读数:789版权声明:本文为博主原创文章,如需转载,请注明出处。 https://blog.csdn.net/Post_Yuan/article/details/73770961Trafodion安装后,建议对HBase的配置参数做一些调整,如TimeOut相关,这些参数的调整可以减少甚至避免某些因为超时而导致的错误。...

2018-11-29 17:23:54 186

转载 HBase源码分析之HRegion上compact流程分析(二)

 2016年03月03日 21:38:04 辰辰爸的技术博客 阅读数:2767版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/lipeng_bigdata/article/details/50791205        继《HBase源码分析之HRegion上compact流程分析(一)》一文后,我们继续HRegion上compact流...

2018-11-29 14:25:09 474

转载 Bookmarks 各种技术 参考

  收藏栏 微软必应搜索 - 全球搜索,有问必应 (Bing)spring security 第 1 章 一个简单的HelloWorldspring security的原理及教程 - 二当家的 - 博客频道 - CSDN.NETSpring Security 3.0 数据库动态实现权限控制 - zlllxl2002的专栏 - 博客频道 - CSDN.NETS...

2018-11-28 15:55:20 2734 1

转载 JVM调优总结 -Xms -Xmx -Xmn -Xss

 堆大小设置 JVM 中最大堆大小有三方面限制:相关操作系统的数据模型(32-bt还是64-bit)限制;系统的可用虚拟内存限制;系统的可用物理内存限制。32位系统下,一般限制在1.5G~2G;64为操作系统对内存无限制。我在Windows Server 2003 系统,3.5G物理内存,JDK5.0下测试,最大可设置为1478m。典型设置: java -Xmx3550m -Xms355...

2018-11-28 15:49:47 746

转载 解决客户端通过zookeeper连接到hbase时连接过多的问题

 2015年04月24日 16:54:57 a_lele123 阅读数:2434原因:客户端程序通过zookeeper访问hbase的连接数超过设置的默认链接数(默认数是30),连接数不够用会导致后续的连接连接不上去。解决办法:设置hbase-site.xml配置文件,添加如下属性  <property> <name>hbase.zooke...

2018-11-28 11:40:54 3114

转载 HBase(六): HBase体系结构剖析(上)

HBase(六): HBase体系结构剖析(上)Posted on 2016-09-10 19:37 天戈朱 阅读(3567) 评论(2) 编辑 收藏      HBase隶属于hadoop生态系统,它参考了谷歌的BigTable建模,实现的编程语言为 Java, 建立在hdfs之上,提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。它仅能通过主键(row key)和主键的ran...

2018-11-28 09:03:56 244

转载 Hbase万亿级存储性能优化总结

 2014年12月07日 23:49:30 代立冬 阅读数:12191更多所属专栏:  大数据实战系列版权声明:*************本文为博主原创文章,转载请注明出处************* https://blog.csdn.net/oDaiLiDong/article/details/41794403背景      hbase主集群在生产环境已稳定运行有1年半时间,...

2018-11-27 10:42:57 426

转载 如何避免HBase写入过快引起的各种问题

 2018年04月10日 17:23:06 zhaowei121 阅读数:231 标签: 分布式大数据线程首先我们简单回顾下整个写入流程client api ==> RPC ==> server IPC ==> RPC queue ==> RPC handler ==> write WAL ==> write memstore ==> fl...

2018-11-27 09:23:11 1105

转载 配置ssh免密码登录

登录后我们就开始搭建我们的hadoop伪分布式系统修改主机名与IP地址的对应关系[root@VM_11_203_centos ~]# hostname查看主机名[root@VM_11_203_centos ~]# vim /etc/hosts修改文件为一下内容然后输入reboot重启机器配置ssh免密码登录[root@VM_11_203_centos ~]# ssh 211.15...

2018-11-26 13:03:56 823

转载 Hadoop-2.7.1伪分布式环境搭建

背景:        阅读新闻 Hadoop-2.7.1伪分布式环境搭建 [日期:2016-04-20] 来源:Linux社区  作者:thfeng [字体:大 中 小]     1.准备Linux环境    1.0 点击VMware快捷方式,右键打开文件所在位置 -> 双击vmnetcfg.exe -&g...

2018-11-26 11:48:19 528

原创 Centos7 切换阿里云yum源

原centos 6.5添加阿里云yum源2017年10月29日 22:02:53 yizhixiaocaiji26 阅读数:2217 标签: centosmv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backupcd /etc/yum.repos.dcurl -O http://mi...

2018-11-23 11:40:11 2198

原创 jProfiler远程连接Linux监控jvm1运行状态

随风迎jProfiler远程连接Linux监控jvm1运行状态第一步:下载软件官网地址:https://www.ej-technologies.com/download/jprofiler/files,下载一个linux服务端,一个windows客户端 GUI界面第二步:安装1、下载好后把tar包上传的linux服务器,解压。(/usr/local/src)2、修改t...

2018-11-23 11:03:46 844

转载 Ganglia在CentOS7_x86_64上的yum安装与配置 可以使用有效果

Ganglia在CentOS7_x86_64上的yum安装与配置2017年11月28日 22:32:33 agent_x 阅读数:189 标签: gangliacentoshadoop0 前记:yum安装Ganglia比起make install 安装Ganglia方式要简单很多,因为yum方式安装不用自己去下载编译安装各依赖包。 下面我介绍Ganglia在CentOS7_x86_6...

2018-11-21 16:47:32 549

原创 centOS下tar: bzip2: Cannot exec: No such file or directo

  (2014-11-21 21:44:06)转载▼  分类: 系统 出现的问题:用tar 解压 tar.bz2文件出错debian:/usr/src# tar jxf linux-2.6.26.tar.bz2tar: bzip2: Cannot exec: No such file or directorytar: Error is not recoverabl...

2018-11-21 15:14:21 282

转载 Centos6.2下安装python2.7.3

   (2012-12-24 15:55:15)转载▼标签:  模块   脚本   方式   文件   环境   it 分类: linux学习 centos6.2 发行版,内部自带的python是2.6.6 版本,但实际项目中要用的是  2.7.3 ,但原来的2.6.6 也不能卸载,因为cen...

2018-11-21 15:05:25 293

原创 Ganglia安装搭建

 Ganglia的安装部署前言 1一、Ganglia组件 1二、安装依赖 2三、安装expat依赖 2四、安装confuse 3五、安装ganglia 4六、 服务端配置(gmetad 节点) 4七、客户端配置(gmond节点) 6八、服务端的WEB配置 8九、测试安装是否成功 9十、安装过程遇到的问题 12下载apr失败 12安装Gangl...

2018-11-21 14:28:01 5071 1

原创 Linux操作系统上得ntpdate调整

Linux操作系统上得ntpdate调整2015年05月04日 18:53:46 Benjamin_whx 阅读数:1297 标签: ntpdatelinux 更多个人分类: Linux通常情况下linux服务执行    #ntpdate -u 210.72.145.44 就可以进行时间同步,但突然发现服务器上的时间竟然不准确了,执行ntpdate -u ...

2018-11-20 12:03:59 600

转载 linux下文件查询命令(cat,more,less,head,tail)

linux下文件查询命令(cat,more,less,head,tail)众所周知Linux中命令cat、more、less均可用来查看文件内容,主要区别有:cat是一次性显示整个文件的内容,还可以将多个文件连接起来显示,它常与重定向符号配合使用,适用于文件内容少的情况;more和less一般用于显示文件内容超过一屏的内容,并且提供翻页的功能。more比cat强大,提供分页显示的功能,le...

2018-11-20 12:03:36 212

转载 Linux配置NTP时间同步

Linux配置NTP时间同步2018年04月13日 14:46:41 潮鳴 阅读数:6166 标签: Linux时间同步一:NTP是网络时间同步协议,就是用来同步网络中各个计算机的时间的协议。二:NTP服务端配置1.检查系统是否安装了NTP包(linux系统一般自带NTP4.2),没有安装我们直接使用yum命令在线安装: yum install ntp2.NTP服务端配置文件编...

2018-11-20 12:02:11 347

原创 linux ntp 时间同步

linux ntp 时间同步2016年10月26日 18:43:26 leys123 阅读数:9219 标签: ntpntpdate时间同步 更多个人分类: linux一:外网同步时间1.查看ntpd服务状态[root@cdh sbin]# service ntpd status ntp: unrecognized service说明 ntpd没有安装。2.查看是否...

2018-11-20 12:00:10 328

原创 ntp时间服务器 时间同步

ntp时间服务器 时间同步2017年10月15日 11:05:30 centos2015 阅读数:1996 标签: ntpdtimentpdate 更多个人分类: Linux版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/zonghua521/article/details/78239212具体两种模式1.服务器数量比较少,可以...

2018-11-20 11:59:21 2632

原创 Linux下搭建ntp时间服务器

Linux下搭建ntp时间服务器2018年05月31日 00:48:16 -纸短情长 阅读数:2311版权声明:本文为博主原创文章,转载请注明出处。 https://blog.csdn.net/l_liangkk/article/details/80497992NTP(Network Time Protocol)服务器是用于局域网服务器时间同步使用的,可以保证局域网所有的服务器与时间服...

2018-11-20 11:55:53 309

转载 ntpq –p命令

ntpq –p命令ntpq用来监视ntpd操作,ntpq -p查询网络中的NTP服务器,同时显示客户端和每个服务器的关系 位置 标志 含义 remote之前 * 响应的NTP服务器和最精确的服务器 + 响应这个查询请求的NTP服务器 blank(空格) 没有响应的NTP服务器 列表上方 remote 响应这个请求的NTP...

2018-11-20 11:46:59 8213

转载 Linux下搭建ntp时间服务器

Linux下搭建ntp时间服务器2018年05月31日 00:48:16 -纸短情长 阅读数:2304版权声明:本文为博主原创文章,转载请注明出处。 https://blog.csdn.net/l_liangkk/article/details/80497992NTP(Network Time Protocol)服务器是用于局域网服务器时间同步使用的,可以保证局域网所有的服务器与时间服...

2018-11-20 11:34:39 138

转载 linux下ntp时间服务器的搭建与配置

Z&C技术 生活 感悟linux下ntp时间服务器的搭建与配置  Network Time Protocol(NTP,网络时间协议)用于同步它所有客户端时钟的服务。NTP服务器将本地系统的时钟与一个公共的NTP服务器同步然后作为时间主机提供服务,使本地网络的所有客户端能同步时钟。  同步时钟最大的好处就是相关系统上日志文件中的数据,如果网络中使用中央日志主机集中管理日志,得...

2018-11-20 11:23:29 410 1

转载 Linux配置自动时间同步

 时间同步命令:ntpdata time.windows.com 自动时间同步:需要配置/etc/crontab文件,实现自动执行任务 让linux从time.windows.com自动同步时间vi /etc/crontab加上一句:00 0 1 * * root ntpdate -s time.windows.comtime.nist.gov 是一个时间服...

2018-11-20 10:03:15 805

原创 HBase性能优化方法总结(二):写表操作

HBase性能优化方法总结(二):写表操作本文主要是从HBase应用程序设计与开发的角度,总结几种常用的性能优化方法。有关HBase系统配置级别的优化,可参考:淘宝Ken Wu同学的博客。下面是本文总结的第二部分内容:写表操作相关的优化方法。2. 写表操作2.1 多HTable并发写创建多个HTable客户端用于写操作,提高写数据的吞吐量,一个例子:static fi...

2018-11-14 16:33:50 198

转载 使用visualvm 远程监控 JVM

使用visualvm 远程监控 JVM#!/bin/bashjava -Djava.rmi.server.hostname=10.153.14.8 \     -Dcom.sun.management.jmxremote  \     -Dcom.sun.management.jmxremote.port=8888 \     -Dcom.sun.management.jmxremot...

2018-11-14 14:21:21 8970

原创 自定义flume的拦截器,提取body中的时间作为header

package com.springboot.MongoDB.flume;import java.nio.charset.Charset;import java.text.SimpleDateFormat;import java.util.ArrayList;import java.util.Date;import java.util.HashMap;import java.util...

2018-11-13 16:21:40 2784

转载 Linux top命令的用法详细详解

 首先介绍top中一些字段的含义: VIRT:virtual memory usage 虚拟内存1、进程“需要的”虚拟内存大小,包括进程使用的库、代码、数据等2、假如进程申请100m的内存,但实际只使用了10m,那么它会增长100m,而不是实际的使用量RES:resident memory usage 常驻内存1、进程当前使用的内存大小,但不包括swap out2、包含其他...

2018-11-13 16:18:55 167

转载 HBase集群搭建

HBase集群搭建HBase集群搭建 搭建环境:假设我们的linux环境已经准备好,包括网络、JDK、防火墙、主机名、免密登录等都没有问题,而且一定要有zookeeper。下面我们用3台linux虚拟机来搭建Hbase集群,首先启动我们的3台linux虚拟机,主机名分别为hadoop01、hadoop02和hadoop03。1.启动zookeeper集群启动zookeeper的...

2018-11-13 11:46:25 207

原创 Kafka文件的存储机制

Kafka文件的存储机制同一个topic下有多个不同的partition,每个partition为一个目录,partition命名的规则是topic的名称加上一个序号,序号从0开始。每一个partition目录下的文件被平均切割成大小相等(默认一个文件是500兆,可以手动去设置)的数据文件,每一个数据文件都被称为一个段(segment file),但每个段消息数量不一定相等,这种...

2018-11-13 11:44:31 1976

转载 了解Java中的内存泄漏

了解Java中的内存泄漏Java高级架构进阶 2018-11-12 17:35:261. 简介Java的核心优势之一是在内置垃圾收集器(简称GC)的帮助下实现自动内存管理。GC隐含地负责分配和释放内存,因此能够处理大多数内存泄漏问题。虽然GC有效地处理了大部分内存,但它并不能成为保证内存泄漏的万无一失的解决方案。GC很聪明,但并不完美。即使在尽职尽责的开发人员的应用程序中,内存仍然...

2018-11-13 08:22:22 164

原创 多路分流技术flume

[root@consumer42 apache-flume-1.8.0-bin]# cat duokdmultiplexing.conf#example.conf: A single-node Flume configuration#Name the components on this agenta1.sources = r1a1.sinks = k1 k2a1.channels =...

2018-11-10 21:12:50 544

原创 Flume 分流

Flume - 快速入门zsdnr0人评论129人阅读2017-05-25 14:47:53关于Flume,官方定义如下:Apache Flume is a distributed, reliable, and available system for efficiently collecting, aggregating and moving large amounts of ...

2018-11-10 20:51:17 980

转载 Flume(NG)架构设计要点及配置实践

Flume(NG)架构设计要点及配置实践Yanjun 架构师 2016-04-03架构师(JiaGouX)我们都是架构师! Flume NG是一个分布式、可靠、可用的系统,它能够将不同数据源的海量日志数据进行高效收集、聚合、移动,最后存储到一个中心化数据存储系统中。由原来的Flume OG到现在的Flume NG,进行了架构重构,并且现在NG版本完全不兼容原来的OG版本。经过架...

2018-11-10 20:10:19 155

jfianl整合activemq

jfianl整合activemq

2018-09-06

现在最流行的一套监控系统(搭建监控指标系统)

现在最流行的一套监控系统

2018-09-02

Phoenix简介及安装部署使用

PhoenixUtilTest PhoenixUti createTable update selectAll Join delete

2018-08-30

cas +shiro集成

cas +shiro集成cas +shiro集成cas +shiro集成cas +shiro集成cas +shiro集成cas +shiro集成cas +shiro集成

2018-08-01

cas客户端集成单点登录代码3

cas客户端集成单点登录代码登录登出cas客户端集成单点登录代码登录登出cas客户端集成单点登录代码登录登出cas客户端集成单点登录代码登录登出cas客户端集成单点登录代码登录登出

2018-07-31

emqtt+haproxy

emqtt+haproxy高可用高负载可容错,完整配置调优文件。

2018-07-31

cas客户端集成单点登录代码

cas客户端集成单点登录代码cas客户端集成单点登录代码cas客户端集成单点登录代码cas客户端集成单点登录代码cas客户端集成单点登录代码cas客户端集成单点登录代码

2018-07-31

jEasyUI1.3.6API中文版

jEasyUI1.3.6API中文版,离线可以使用

2016-11-30

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除