自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

转载 PMP:规划过程组概述

在PMBOK 25页的表格中,规划过程组共计有24个过程,占了49个过程的半数。可见规划的重要性,PMI花了一半篇幅来讲规划。 现实工作中,规划过程也是至关重要的,充分的规划,包括正常的计划,以及各种异常情况(风险)的应对。这样就做到了“一切尽在掌握”,按部就班地执行。 规划,包括两大部分。第...

2019-11-13 08:37:11 244 0

转载 难以琢磨的项目收尾

收尾是:正式关闭采购合同、项目阶段或整个项目。关闭项目同样适用于关闭阶段。 完成项目的产品范围或全部技术工作,并不等于项目结束。必须经过正式的收尾过程,才能正式关闭。 PMBOK6在P123用一页纸,写了项目或阶段行政收尾所需的必要活动。试着整理如上图。诸多疑惑之处,以至于遇到题目根本不知...

2019-11-13 08:36:55 467 0

转载 张邦鑫:组织文化 - 价值观打造方法论初步

根据张邦鑫在混沌大学研习社课程内容整理 前言 首先我想问大家一个问题,你认为一家企业最重要的是什么,做强,做大还是做久?我在很多场合做过类似的调查,一般来是选择最多的都是做强,而深入调查后,实际行动中很多企业都是做大,Get big fast。后面我会专门讲一讲,我们对于做强、做大、做...

2019-09-16 16:56:42 973 0

转载 调试Java程序持续占cpu问题

1、先用top查看占用cpu的进程id: 20232 114.4% $ top top - 09:51:59 up 656 days, 28 min, 3 users, load average: 1.47, 1.56, 1.56 Tasks: 137 total, 1 running, 136 ...

2019-06-22 15:14:49 145 0

原创 性能优化工具Jprofiler精讲-曹志平-专题视频课程

对性能分析工具Jprofiler进行全面剖析,内容包括基本介绍、安装启用、定位与优化CPU过载的方法、查找内存泄漏、线程死锁等层面的知识。

2018-08-10 16:33:54 858 1

转载 STORM启动与部署TOPOLOGY

启动ZOOPKEEPER zkServer.sh start 启动NIMBUS storm nimbus & 启动SUPERVISOR storm supervisor & 启动UI storm ui & 部署TOPOLOGY stor...

2017-10-19 18:02:35 4237 5

转载 使用Kettle抽取数据时,出现中文乱码问题解决方案

使用Kettle抽取数据时,出现中文乱码问题解决方案 使用Kettle在不同的数据库抽取数据时,有时会出现中文乱码问题:其解决方案如下: 1.查看数据库的字符集是否是UTF-8(最常用的字符集) 2.如果数据库设置正确仍然存在中文乱码,则可能是因为有的客户端数据库默认的编码集不是UT...

2017-10-18 19:46:45 4145 1

转载 Kettle插入/更新

kettle插入/更新 1.数据库环境 --------------------实时表 CREATE TABLE NowTable(ID INT,NAME VARCHAR(100),Info VARCHAR(100)); INSERT INTO NowTable VA...

2017-10-18 19:20:47 3619 0

原创 根据经纬度判断车辆是否进度电子围栏

public class GPS { private String strLat; //标准的纬度 private String strLon; //标准的经度 private double dDFLat; //纬度。单位:度分 private double dDFLon...

2017-09-06 13:59:14 4374 0

原创 MySql deadlock

执行SHOW ENGINE INNODB STATUS 遍历 SHOW ENGINE INNODB STATUS LATEST DETECTED DEADLOCK ------------------------ 2017-09-02 12:16:36 7f425dd25700 ***...

2017-09-02 12:44:26 1713 0

转载 HDFS block丢失过多进入安全模式(safe mode)的解决方法

HDFS block丢失过多进入安全模式(Safe mode)的解决方法 背景及现象描述(Background and Symptom)    因磁盘空间不足,内存不足,系统掉电等其他原因导致dataNode datablock丢失,出现如下类似日志:   The number of l...

2017-08-04 22:02:24 3630 0

原创 HBASE完全分布式配置

1.启动zookeeper集群 2.启动hadoop集群,基本要启动hdfs 3.上传解压hbase的包,配置conf/hbase-env.sh export JAVA_HOME=/opt/soft/jdk1.7.0_79 export HBASE_CLASSPATH=/opt/soft/hado...

2017-07-25 00:43:32 473 0

原创 HDFS高可用配置

在前面安装完成完全分布式的基础上改造为高可用 1.安装启动zookeeper a)上传解压zookeeper包 b)cp zoo_sample.cfg zoo.cfg修改zoo.cfg文件 c)dataDir=/opt/data/zookeeper server.1=node1:2888:38...

2017-07-25 00:40:56 474 0

原创 HDFS完全分布式配置

准备阶段,每个节点安装jdk,配置环境变量,注意安装的位置要一致 注意: 1.每台机器的防火墙关闭 2.每台机器配置时间自动同步,或者简单点每台机器时间保持一致(相差不超过30秒) yum -y install ntpdate /usr/sbin/ntpdate -u pool.ntp.org  ...

2017-07-25 00:29:35 444 2

转载 hadoop系列文档3-配置Hdfs高可用HA

版权声明:本文为博主原创文章,未经博主允许不得转载。 目录(?)[-] 背景架构设计如何配置HAQJM 分配每个节点需要安装的服务hdfs-sitexml中的配置信息Core-sitexml中的配置 如何启动 Step1 启动JournalNode集群Step...

2017-07-18 11:42:29 530 0

转载 Hadoop NameNode 高可用 (High Availability) 实现解析

在 Hadoop 1.0 时代,Hadoop 的两大核心组件 HDFS NameNode 和 JobTracker 都存在着单点问题,这其中以 NameNode 的单点问题尤为严重。因为 NameNode 保存了整个 HDFS 的元数据信息,一旦 NameNode 挂掉,整个 HDFS 就无法访问...

2017-07-18 10:24:48 243 0

转载 Hadoop与Hbase兼容性

Hadoop The following table summarizes the versions of hadoop supported with each version of Hbase. Based on the version of hbase, you should sel...

2017-07-18 00:40:26 412 0

转载 hadoop错误,重新格式化namenode后,出现java.io.IOException Incompatible clusterIDs

摘要: 错误:     java.io.IOException: Incompatible clusterIDs in /data/dfs/data: namenode clusterID = CID-d1448b9e-da0f-499e-b1d4-78cb18ecdebb; datanode c...

2017-07-17 22:28:40 729 0

转载 Hadoop2.6+HA+Zookeeper3.4.6+Hbase1.0.0安装

安装hadoop2.6+HA 1.准备一台CentOS6.4系统 2.环境CentOS6.4 共5台 机器名 ip地址 安装软件 运行进程  master1 192.168.3.141 Hadoop、Zookeeper、Hbase NN、RM、DFSZKFC、journal...

2017-07-17 19:48:15 238 0

转载 Hadoop1.x 分佈式安裝

下面博文已更新,请移步 ↑   用于测试,我用4台虚拟机搭建成了hadoop结构 我用了两个台式机。一个xp系统,一个win7系统。每台电脑装两个虚拟机,要不然内存就满了。   1、安装虚拟机环境      Vmware,收费产品,占内存较大。      或      Orac...

2017-07-17 19:02:36 220 0

原创 hadoop-2.6.1安装

categories: - Hadoop date: 2015-11-23 21:35:22 --- ## 1.安装JDK 7 ### 1.1新建目录 ```shell mkdir /usr/local/jdk/ ``` 将jdk1.7.0_79.tar.gz解压...

2017-07-11 22:36:00 418 0

转载 大数据性能调优之HBase的RowKey设计

HBase是一个分布式的、面向列的数据库,它和一般关系型数据库的最大区别是:HBase很适合于存储非结构化的数据,还有就是它基于列的而不是基于行的模式。 既然HBase是采用KeyValue的列存储,那Rowkey就是KeyValue的Key了,表示唯一一行。Rowkey也是一段二进制码流,...

2017-06-30 20:58:26 460 0

转载 JVM 性能调优实战之:一次系统性能瓶颈的寻找过程二

本文是《 JVM 性能调优实战之:一次系统性能瓶颈的寻找过程 》 的后续篇,该篇介绍了如何使用 JDK 自身提供的工具进行 JVM 调优将 TPS 由 2.5 提升到 20 (提升了 7 倍),并准确定位系统瓶颈:我们应用里静态对象不是太多、有大量的业务线程在频繁创建一些生命周期很长的临时对象,代...

2017-05-29 10:32:55 1018 0

转载 TProfiler简介

TProfiler简介 淘宝开源项目:http://code.taobao.org/opensources/ TProfiler是一个可以在生产环境长期使用的性能分析工具.它同时支持剖析和采样两种方式,记录方法执行的时间和次数,生成方法热点 对象创建热点 线程状态分析等数据,为查找...

2017-05-29 03:15:36 592 0

转载 Spring并发访问的线程安全性问题(高度总结)

下面的记录对spring中并发的总结。理论分析参考Spring中Singleton模式的线程安全,建议先看 spring中的并发访问题: 我们知道在一般情况下,只有无状态的Bean才可以在多线程环境下共享,在Spring中,绝大部分Bean都可以声明为singleton作用域。 ...

2017-05-04 16:57:12 359 0

原创 jprofiler

修改/etc/profile系统配置文件:            JPROFILER_HOME=/usr/local/jprofiler7/bin/linux-x64            export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$JPROFILER...

2017-04-14 20:27:46 618 1

原创 Mysql 1秒200笔GPS数据批量写入优化

针对1100台车上传GPS数据实测,平均每小时300M日志,每小时1000w笔GPS数据,发现IO负载过高 1.优化:mysql优化 2.优化:使用sharding-jdbc分表 3.top查询 load average 负载较低,wa 磁盘读写等待降到0.1 ...

2017-03-09 12:35:42 2166 0

转载 SSD 下的 MySQL IO 优化

二 背景 在阅读这篇文章之前,读者需要注意的是,为了维护隐私,用 MySQL 服务器的 D 段代替完整 IP,并且略去一些私密信息。 A 项目,因 I/O 出现规律性地剧烈波动。每 15 分钟落地一次,innodbBuffPoolPagesFlushed 参数监控波峰和波谷交替出现...

2017-03-09 10:39:06 694 0

转载 MYSQL优化配置

MYSQL 应该是最流行了 WEB 后端数据库。WEB 开发语言最近发展很快,PHP, Ruby, Python, Java 各有特点,虽然 NOSQL 最近越來越多的被提到,但是相信大部分架构师还是会选择 MYSQL 来做数据存储。 MYSQL 如此方便和稳定,以至于我们在开发 WEB 程...

2017-03-07 17:19:52 328 0

转载 物联网大数据平台软件开发架构案例解析

有人说物联网是引领信息技术的第三次浪潮。 第一次浪潮是个人电脑的出现,开创了信息时代的第一次革命,此次浪潮成就了微软、IBM等巨头。 第二次浪潮是以信息传输为特征的互联网及移动互联网,实现了计算机与人的联通,此次浪潮成就了Google、Facebook,以及国内的BAT等巨头。 ...

2017-03-04 08:39:21 13363 0

转载 CentOS增加网卡

我做了一个傻事,要在Server上新增一张网卡,可是因为一直无法启动,所以很自然的以为CentOS 6又多了其他的设定要求,因此查了两天的资料,也试过很多方式,但都没有效用。 今天早上心血来潮,想说用最简单的方式来试试看,结果,就这样完成了~~~~无言中..... 因此将过程放上来,一...

2017-02-20 20:48:02 531 0

转载 设置linux系统开机自动挂载外部磁盘阵列

linux系统与windows不同,外部磁盘需做挂载方可拥有系统路径,否则为外部磁盘为独立文件系统,不能被本地文件系统调用。本篇介绍linux外部磁盘挂载已经开机自动挂载命令。(初级经验,对简单使用linux系统的童鞋) 工具/原料 linux系...

2017-02-20 20:39:34 2934 0

转载 CentOS用yum安装、配置MariaDB

mariadb yum 仓库:https://downloads.mariadb.org/mariadb/repositories/#mirror=tuna&distro=RedHat&distro_release=rhel6-amd64--rhel6&version=10...

2017-01-06 19:13:31 327 0

转载 vsfftpd 530 login Login incorrect

vsftpd 530 Login incorrect这个问题很常见,网上一搜很多,但是绝大部分,都是忽悠人的。下面说一下我的解决办法, 服务器说明:服务器用的是centos 6.5 64 位,vsftpd用的是vsftpd: version 2.2.2,系统用户是nologin的 1, 检...

2016-12-25 18:14:13 546 0

转载 一则线上MySql连接异常的排查过程

Mysql作为一个常用数据库,在互联网系统应用很多。有些故障是其自身的bug,有些则不是,这里以前段时间遇到的问题举例。 问题 当时遇到的症状是这样的,我们的应用在线上测试环境,JMeter测试过程中,发现每次压力测试开始时访问低前几个http request请求会超时,而之后的请求持...

2016-11-22 20:07:05 1294 0

转载 分析JAVA应用CPU占用过高的问题

使用jstack分析java程序cpu占用率过高的有关问题 使用jstack分析java程序cpu占用率过高的问题 1,使用jps查找出java进程的pid,如3707 2,使用top -p 14292 -H观察该进程中所有线程的CPU占用。 [plain] vie...

2016-11-22 19:12:09 376 0

转载 Java线上应用故障排查之一:高CPU占用

一个应用占用CPU很高,除了确实是计算密集型应用之外,通常原因都是出现了死循环。 (友情提示:本博文章欢迎转载,但请注明出处:hankchen,http://www.blogjava.net/hankchen) 以我们最近出现的一个实际故障为例,介绍怎么定位和解决这类问题。 ...

2016-11-21 16:38:27 406 0

转载 SQL Server 2008 R2 主从数据库同步

一、准备工作: 主数据库服务器: OS:Windows Server 2008 R2    DB: SQL Server 2008 R2 Hostname : CXMasterDB  IP: 192.168.1.224/24    dg: 192.168.1.1 DN...

2016-11-05 16:56:48 7361 1

转载 JMeter 参数化之利用JDBC Connection Configuration从数据库读取数据并关联变量

参数化之利用DBC Connection Configuration从数据库读取数据并关联变量   by:授客 QQ:1033553122 1.   下载mysql jar包 下载mysql jar包 http://dev.mysql.com/download...

2016-11-02 20:41:02 3715 1

原创 CSS无图片实现小三角

#top { position: absolute; width: 0px; height: 0px; line-height: 0px;/*为了防止ie下出现题型*/ border-bottom: 10px solid #89b007; border-left: 10px solid #fff;...

2016-09-28 10:11:00 442 0

提示
确定要删除当前文章?
取消 删除