- 博客(10)
- 收藏
- 关注
原创 kettle入门:安装和使用
ETL是EXTRACT(抽取)、TRANSFORM(转换)、LOAD(加载)的简称,实现数据从多个异构数据源加载到数据库或其他目标地址,是数据仓库建设和维护中的重要一环,也是工作量较大的一块。Kettle是ETL中其中一个开源工具,基于纯Java开发。kettle有两种脚本Transformation(转换)和Job(作业)transformation:定义对数据操作的容器,数据操作就是数据从...
2019-11-07 11:17:01
391
原创 hadoop环境搭建(windows)
hadoop原理介绍见:下载Hadoop官网:http://hadoop.apache.org/安装环境变量配置1.计算机 –>属性 –>高级系统设置 –>高级选项卡 –>环境变量 –> 单击新建HADOOP_HOME 指向hadoop安装目录2.Path环境变量下新增变量%HADOOP_HOME%\bin3.查看是否安装成功执行>hado...
2019-09-03 11:48:09
300
原创 SQL优化经验
在项目压测阶段(多张业务主表数量达亿级),很多人都会碰到平时明明秒级响应的请求,现在却经常得到的响应是504 gateway timeout…这是因为在大数据的前提下,暴露了很多慢SQL,现在我就项目中遇到的一些情况以及对应的优化方案进行简要分享。首先定位到查询语句,可以通过工具,如pinpoint可以很方便找到慢sql,也可以自己凭业务逻辑定位到查询sql,然后用 EXPLAIN 你的 SEL...
2019-07-30 19:10:47
511
原创 Pinpoint安装与部署
Pinpoint部署步骤环境准备服务名版本JDKjdk1.8.0_121zookeeperzookeeper-3.4.9hbasehbase-1.2.4-bintomcatapache-tomcat-8.5.14.zipPinpoint Collectorpinpoint-collector-1.6.2.warPinpoint Web...
2019-06-18 21:56:52
3934
原创 mysql压测快速造亿级数据
造大量数据的方式有很多,比如写存储过程,或者直接用java,我现在使用的就是通过java实现大数据量的导入。使用java也有很多方式,单条插入就不讨论了下面主要讨论以下几种策略:1、Mybatis 轻量级框架插入(无事务)2、采用JDBC直接处理(开启事务、无事务)3、采用JDBC批处理(开启事务、无事务)先给出结论,效率比较:Mybatis轻量级插入 > JDBC直接处理 ...
2019-06-15 15:14:49
2846
3
原创 滑动警告:Unable to preventDefault inside passive event listener
在项目上看到 chrome 的控制台看到如下提示:翻译过来就是:不能给passive(被动的)事件监听器preventDefault,因为它被认为是passive。下面我们来了解一下passive和preventDefault很久以前,addEventListener() 的参数约定是这样的:addEventListener(type, listener, useCapture)后来,...
2019-04-24 18:01:48
1793
原创 使用LiquiBase实现数据库的迁移
最近项目一度因为特殊原因导致频繁迁移数据库,中间也出了不少事故。原先项目上只在数据库初始化的时候使用了Liquibase,为了便于日后数据库的管理,不再出差错,决定开发过程中也需要使用Liquibase。Liquibase是一个用于数据库重构和迁移的开源工具,通过日志文件的形式记录数据库的变更,然后执行日志文件中的修改,将数据库更新或回滚到一致的状态。Liquibase的主要特点有:支持几乎...
2019-04-02 19:39:22
2086
原创 JProfiler的安装和使用
JProfiler是一个重量级的JVM监控工具,提供对JVM精确监控,其中堆遍历、CPU剖析、线程剖析看成定位当前系统瓶颈的得力工具。可以统计压测过程中JVM的监控数据,定位性能问题。JProfiler下载与安装环境准备JProfiler 17.1.5(IDEA插件)JProfiler 9.2(可执行软件)IntelliJ IDEA 2017.2.5JProfiler插件安装方式...
2019-03-31 09:52:17
31029
3
原创 JVM学习总结
基本概念栈和堆对象的大小基本类型的大小是固定的,而非基本数据类型就不是了,这里主要介绍非基本类型的java对象。java中,一个空的object对象大小为8byte,所谓空的就是没有任何属性。当我们new一个object对象时,这个对象所占用的空间为4byte+8byte,4byte是栈中保存该对象的引用所需要的空间,8byte则是堆中此对象的大小。我们知道,所有的非基本类型的对象都继承o...
2019-03-27 13:43:04
136
原创 Mysql数据备份总结--Xtrabackup
在生产环境中,除了保证项目的基本业务功能外,还有一个很重要的就是数据了。想想如果在项目上碰到以下几个场景:客户:我昨天录的xxx单子怎么不见了。。?相关技术:xxx表的数据怎么不见了。。?相关技术:服务器怎么崩了。。?所以,如何提高系统的高可用性和灾难恢复性,在数据崩溃时,以最小代价重新恢复数据就非常重要了?关于备份备份原因在实际应用中,可能会因为各种意外情况导致数据异常:硬...
2019-03-22 17:00:30
382
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人