工作点滴

技术人生

性能优化工具Jprofiler精讲-曹志平-专题视频课程

对性能分析工具Jprofiler进行全面剖析,内容包括基本介绍、安装启用、定位与优化CPU过载的方法、查找内存泄漏、线程死锁等层面的知识。

2018-08-10 16:33:54

阅读数 90

评论数 0

STORM启动与部署TOPOLOGY

启动ZOOPKEEPER zkServer.sh start 启动NIMBUS storm nimbus & 启动SUPERVISOR storm supervisor & 启动UI storm ui & 部署TOPOLOGY stor...

2017-10-19 18:02:35

阅读数 2195

评论数 3

使用Kettle抽取数据时,出现中文乱码问题解决方案

使用Kettle抽取数据时,出现中文乱码问题解决方案 使用Kettle在不同的数据库抽取数据时,有时会出现中文乱码问题:其解决方案如下: 1.查看数据库的字符集是否是UTF-8(最常用的字符集) 2.如果数据库设置正确仍然存在中文乱码,则可能是因为有的客户端数据库默认的编码集不是UT...

2017-10-18 19:46:45

阅读数 2428

评论数 1

Kettle插入/更新

kettle插入/更新 1.数据库环境 --------------------实时表 CREATE TABLE NowTable(ID INT,NAME VARCHAR(100),Info VARCHAR(100)); INSERT INTO NowTable VA...

2017-10-18 19:20:47

阅读数 2709

评论数 0

根据经纬度判断车辆是否进度电子围栏

public class GPS { private String strLat; //标准的纬度 private String strLon; //标准的经度 private double dDFLat; //纬度。单位:度分 private double dDFLon...

2017-09-06 13:59:14

阅读数 2581

评论数 0

MySql deadlock

执行SHOW ENGINE INNODB STATUS 遍历 SHOW ENGINE INNODB STATUS LATEST DETECTED DEADLOCK ------------------------ 2017-09-02 12:16:36 7f425dd25700 ***...

2017-09-02 12:44:26

阅读数 553

评论数 0

HDFS block丢失过多进入安全模式(safe mode)的解决方法

HDFS block丢失过多进入安全模式(Safe mode)的解决方法 背景及现象描述(Background and Symptom)    因磁盘空间不足,内存不足,系统掉电等其他原因导致dataNode datablock丢失,出现如下类似日志:   The number of l...

2017-08-04 22:02:24

阅读数 2075

评论数 0

HBASE完全分布式配置

1.启动zookeeper集群 2.启动hadoop集群,基本要启动hdfs 3.上传解压hbase的包,配置conf/hbase-env.sh export JAVA_HOME=/opt/soft/jdk1.7.0_79 export HBASE_CLASSPATH=/opt/soft/hado...

2017-07-25 00:43:32

阅读数 308

评论数 0

HDFS高可用配置

在前面安装完成完全分布式的基础上改造为高可用 1.安装启动zookeeper a)上传解压zookeeper包 b)cp zoo_sample.cfg zoo.cfg修改zoo.cfg文件 c)dataDir=/opt/data/zookeeper server.1=node1:2888:38...

2017-07-25 00:40:56

阅读数 369

评论数 0

HDFS完全分布式配置

准备阶段,每个节点安装jdk,配置环境变量,注意安装的位置要一致 注意: 1.每台机器的防火墙关闭 2.每台机器配置时间自动同步,或者简单点每台机器时间保持一致(相差不超过30秒) yum -y install ntpdate /usr/sbin/ntpdate -u pool.ntp.org  ...

2017-07-25 00:29:35

阅读数 319

评论数 0

hadoop系列文档3-配置Hdfs高可用HA

版权声明:本文为博主原创文章,未经博主允许不得转载。 目录(?)[-] 背景架构设计如何配置HAQJM 分配每个节点需要安装的服务hdfs-sitexml中的配置信息Core-sitexml中的配置 如何启动 Step1 启动JournalNode集群Step...

2017-07-18 11:42:29

阅读数 341

评论数 0

Hadoop NameNode 高可用 (High Availability) 实现解析

在 Hadoop 1.0 时代,Hadoop 的两大核心组件 HDFS NameNode 和 JobTracker 都存在着单点问题,这其中以 NameNode 的单点问题尤为严重。因为 NameNode 保存了整个 HDFS 的元数据信息,一旦 NameNode 挂掉,整个 HDFS 就无法访问...

2017-07-18 10:24:48

阅读数 178

评论数 0

Hadoop与Hbase兼容性

Hadoop The following table summarizes the versions of hadoop supported with each version of Hbase. Based on the version of hbase, you should sel...

2017-07-18 00:40:26

阅读数 255

评论数 0

hadoop错误,重新格式化namenode后,出现java.io.IOException Incompatible clusterIDs

摘要: 错误:     java.io.IOException: Incompatible clusterIDs in /data/dfs/data: namenode clusterID = CID-d1448b9e-da0f-499e-b1d4-78cb18ecdebb; datanode c...

2017-07-17 22:28:40

阅读数 534

评论数 0

Hadoop2.6+HA+Zookeeper3.4.6+Hbase1.0.0安装

安装hadoop2.6+HA 1.准备一台CentOS6.4系统 2.环境CentOS6.4 共5台 机器名 ip地址 安装软件 运行进程  master1 192.168.3.141 Hadoop、Zookeeper、Hbase NN、RM、DFSZKFC、journal...

2017-07-17 19:48:15

阅读数 186

评论数 0

Hadoop1.x 分佈式安裝

下面博文已更新,请移步 ↑   用于测试,我用4台虚拟机搭建成了hadoop结构 我用了两个台式机。一个xp系统,一个win7系统。每台电脑装两个虚拟机,要不然内存就满了。   1、安装虚拟机环境      Vmware,收费产品,占内存较大。      或      Orac...

2017-07-17 19:02:36

阅读数 183

评论数 0

hadoop-2.6.1安装

categories: - Hadoop date: 2015-11-23 21:35:22 --- ## 1.安装JDK 7 ### 1.1新建目录 ```shell mkdir /usr/local/jdk/ ``` 将jdk1.7.0_79.tar.gz解压...

2017-07-11 22:36:00

阅读数 288

评论数 0

大数据性能调优之HBase的RowKey设计

HBase是一个分布式的、面向列的数据库,它和一般关系型数据库的最大区别是:HBase很适合于存储非结构化的数据,还有就是它基于列的而不是基于行的模式。 既然HBase是采用KeyValue的列存储,那Rowkey就是KeyValue的Key了,表示唯一一行。Rowkey也是一段二进制码流,...

2017-06-30 20:58:26

阅读数 358

评论数 0

JVM 性能调优实战之:一次系统性能瓶颈的寻找过程二

本文是《 JVM 性能调优实战之:一次系统性能瓶颈的寻找过程 》 的后续篇,该篇介绍了如何使用 JDK 自身提供的工具进行 JVM 调优将 TPS 由 2.5 提升到 20 (提升了 7 倍),并准确定位系统瓶颈:我们应用里静态对象不是太多、有大量的业务线程在频繁创建一些生命周期很长的临时对象,代...

2017-05-29 10:32:55

阅读数 709

评论数 0

TProfiler简介

TProfiler简介 淘宝开源项目:http://code.taobao.org/opensources/ TProfiler是一个可以在生产环境长期使用的性能分析工具.它同时支持剖析和采样两种方式,记录方法执行的时间和次数,生成方法热点 对象创建热点 线程状态分析等数据,为查找...

2017-05-29 03:15:36

阅读数 419

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭