- 博客(10)
- 收藏
- 关注
RSS订阅原创 kettle入门：安装和使用
ETL是EXTRACT（抽取）、TRANSFORM（转换）、LOAD（加载）的简称，实现数据从多个异构数据源加载到数据库或其他目标地址，是数据仓库建设和维护中的重要一环，也是工作量较大的一块。Kettle是ETL中其中一个开源工具，基于纯Java开发。kettle有两种脚本Transformation（转换）和Job（作业）transformation：定义对数据操作的容器，数据操作就是数据从...
2019-11-07 11:17:01
391
原创 hadoop环境搭建（windows）
hadoop原理介绍见：下载Hadoop官网：http://hadoop.apache.org/安装环境变量配置1.计算机 –>属性 –>高级系统设置 –>高级选项卡 –>环境变量 –> 单击新建HADOOP_HOME 指向hadoop安装目录2.Path环境变量下新增变量%HADOOP_HOME%\bin3.查看是否安装成功执行>hado...
2019-09-03 11:48:09
300
原创 SQL优化经验
在项目压测阶段(多张业务主表数量达亿级)，很多人都会碰到平时明明秒级响应的请求，现在却经常得到的响应是504 gateway timeout…这是因为在大数据的前提下，暴露了很多慢SQL，现在我就项目中遇到的一些情况以及对应的优化方案进行简要分享。首先定位到查询语句，可以通过工具，如pinpoint可以很方便找到慢sql，也可以自己凭业务逻辑定位到查询sql，然后用 EXPLAIN 你的 SEL...
2019-07-30 19:10:47
511
原创 Pinpoint安装与部署
Pinpoint部署步骤环境准备服务名版本JDKjdk1.8.0_121zookeeperzookeeper-3.4.9hbasehbase-1.2.4-bintomcatapache-tomcat-8.5.14.zipPinpoint Collectorpinpoint-collector-1.6.2.warPinpoint Web...
2019-06-18 21:56:52
3934
原创 mysql压测快速造亿级数据
造大量数据的方式有很多，比如写存储过程，或者直接用java，我现在使用的就是通过java实现大数据量的导入。使用java也有很多方式，单条插入就不讨论了下面主要讨论以下几种策略：1、Mybatis 轻量级框架插入（无事务）2、采用JDBC直接处理（开启事务、无事务）3、采用JDBC批处理（开启事务、无事务）先给出结论，效率比较：Mybatis轻量级插入 > JDBC直接处理 ...
2019-06-15 15:14:49
2846
3
原创 滑动警告：Unable to preventDefault inside passive event listener
在项目上看到 chrome 的控制台看到如下提示：翻译过来就是：不能给passive(被动的)事件监听器preventDefault，因为它被认为是passive。下面我们来了解一下passive和preventDefault很久以前，addEventListener() 的参数约定是这样的：addEventListener(type, listener, useCapture)后来，...
2019-04-24 18:01:48
1793
原创 使用LiquiBase实现数据库的迁移
最近项目一度因为特殊原因导致频繁迁移数据库，中间也出了不少事故。原先项目上只在数据库初始化的时候使用了Liquibase，为了便于日后数据库的管理，不再出差错，决定开发过程中也需要使用Liquibase。Liquibase是一个用于数据库重构和迁移的开源工具，通过日志文件的形式记录数据库的变更，然后执行日志文件中的修改，将数据库更新或回滚到一致的状态。Liquibase的主要特点有：支持几乎...
2019-04-02 19:39:22
2086
原创 JProfiler的安装和使用
JProfiler是一个重量级的JVM监控工具，提供对JVM精确监控，其中堆遍历、CPU剖析、线程剖析看成定位当前系统瓶颈的得力工具。可以统计压测过程中JVM的监控数据，定位性能问题。JProfiler下载与安装环境准备JProfiler 17.1.5（IDEA插件）JProfiler 9.2（可执行软件）IntelliJ IDEA 2017.2.5JProfiler插件安装方式...
2019-03-31 09:52:17
31029
3
原创 JVM学习总结
基本概念栈和堆对象的大小基本类型的大小是固定的，而非基本数据类型就不是了，这里主要介绍非基本类型的java对象。java中，一个空的object对象大小为8byte，所谓空的就是没有任何属性。当我们new一个object对象时，这个对象所占用的空间为4byte+8byte，4byte是栈中保存该对象的引用所需要的空间，8byte则是堆中此对象的大小。我们知道，所有的非基本类型的对象都继承o...
2019-03-27 13:43:04
136
原创 Mysql数据备份总结--Xtrabackup
在生产环境中，除了保证项目的基本业务功能外，还有一个很重要的就是数据了。想想如果在项目上碰到以下几个场景：客户：我昨天录的xxx单子怎么不见了。。？相关技术：xxx表的数据怎么不见了。。？相关技术：服务器怎么崩了。。？所以，如何提高系统的高可用性和灾难恢复性，在数据崩溃时，以最小代价重新恢复数据就非常重要了？关于备份备份原因在实际应用中，可能会因为各种意外情况导致数据异常：硬...
2019-03-22 17:00:30
382
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人