- 博客(21)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 记一次线上GC调优
最近完成了一次线上系统的jvm调优，写一篇博客记录调优过程以及调优前后数据对比。如有错误，请私信我指出。一、调优背景 1.最近老是接到用户反馈系统经常卡顿，监控了后台日志也没有发现相关的异常信息，猜想是GC的问题。二、调优过程 项目由于是ZF项目，所以晚上以及周末的使用人数比较少，调试的时间都是在这些时间段！ 1.首先在服务器端配置了远程连接的参数，方便本地工具连接查看具体的项目运行情况，参数如下catalina.sh这个文件里面新增 ...
2021-03-01 15:19:33
3011
12
原创 Docker使用（持续更新）
1：配置镜像加速（我使用daocloud大家可以使用阿里的）docker-machine ssh defaultsudo sed -i "s|EXTRA_ARGS='|EXTRA_ARGS='--registry-mirror=加速地址 |g" /var/lib/boot2docker/profileexitdocker-machine restart default 2：下载mys...
2018-08-06 14:54:55
188
原创 MySQL主从数据库配置
Mysql 的复制有：1.一主一从 2.一主多从 3.级联复制（A->B->C） 4.多主多从(环形复制 A->B->C->A) 5.multi-master（多主一从 5.7版本后才支持）一、MYSQL主从配置（一主一从，一主多从）1.创建主数据库用于数据同步用户Create user 'master'@'%' IDENTIFIED B...
2018-08-06 13:58:58
232
转载 Spark之序列化在生产中的应用
序列化在分布式应用的性能中扮演着重要的角色。格式化对象缓慢，或者消耗大量的字节格式化，会大大降低计算性能。在生产中，我们通常会创建大量的自定义实体对象，这些对象在网络传输时需要序列化，而一种好的序列化方式可以让数据有更好的压缩比，从而提升网络传输速率，提高spark作业的运行速度。通常这是在spark应用中第一件需要优化的事情。Spark的目标是在便利与性能中取得平衡，所以提供2种序列化的选择。...
2018-05-30 10:03:26
334
原创 java读取excel并使用JDBC方式写入数据库
一，读取excel文件工具类废话不多说直接上代码：import jxl.Sheet;import jxl.Workbook;import jxl.read.biff.BiffException;import java.io.*;import java.util.ArrayList;import java.util.List;public class ReadExcel { ...
2018-05-28 16:45:59
3009
1
转载 poi导出Demo
使用java简单的从数据库中查询数据，然后写入到excel中，数据的类型为 List<Map<String, Object>>格式的数据。首先下载POI的jar包，网址：https://poi.apache.org/download.html#POI-3.16-beta2然后导入jar包到工程下：此外还需要 commons-collections4-4.1.jar 和 xm...
2018-03-07 10:14:04
707
转载 SSM
需要准备的环境： idea 2017.1 jdk1.8 Maven 3.3.9 请提前将idea与Maven、jdk配置好，本次项目用的都是比较新的 注：配置完ide红线报错没关系！可以run！ 步骤： 一、首先使用idea新建一个Maven webapp项目 点击Finish，第一次搭建可能会很慢，甚至可能需要VPN才能搭建成功 二、搭建目录结构 ...
2018-03-06 16:44:15
254
原创 Spring Boot简单使用（基于MAC版本IDEA）
使用Spring Boot可以让我们快速创建一个基于Spring的项目，而让这个Spring项目跑起来我们只需要很少的配置就可以了。Spring Boot主要有如下核心功能：1.独立运行的Spring项目Spring Boot可以以jar包的形式来运行，运行一个Spring Boot项目我们只需要通过java -jar xx.jar类运行。非常方便。2.内嵌Servlet容器 Spring Boo...
2018-03-05 16:40:34
1589
原创 Hive表的操作
https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-CreateTableCreate/Drop/TruncateTable从官网得知表的操作语法如下CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]t
2017-11-24 14:37:22
302
原创 Hive数据库操作
Hive部署完成后我们就要来使用了一、数据库创建CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name [COMMENT database_comment] [LOCATION hdfs_path] [WITH DBPROPERTIES (property_name=property_value, ...)];1234
2017-11-24 14:34:55
271
原创 Hive2.1.1环境部署
一、Hive包的下载 到http://mirror.bit.edu.cn/apache/hive/hive-2.1.1/网址下载 apache-hive-2.1.1-bin.tar.gz二、部署需求Installation and ConfigurationYou can install a stable release of Hive by downloading a ta
2017-11-24 14:33:31
292
原创 基于CentOS6.5编译Spark2.2.0源码
一、创建hadoop用户及目录1 创建用户[root@hadoop000 ~]# useradd hadoop2 设置密码[root@hadoop000 ~]# passwd hadoop3 切换用户 hadoop[root@hadoop000 ~]# su - hadoop[hadoop@hadoop000 ~]$ pwd/home/hadoop4 创建目录[hado
2017-11-24 14:22:28
390
原创 MySQL数据库查看存储过程和函数
一.查询数据库中的存储过程和函数 方法一:select `name` from mysql.proc where db = 'your_db_name' and `type` = 'PROCEDURE' //存储过程select `name` from mysql.proc where db = 'your_db_name' and `type` = 'FUNCTION' //
2017-11-24 14:19:14
2515
原创 MapReduce
一、MapRedduce1和MapReduce2 1、功能 MapReduce分两个版本，MR1和MR2 MR1是Hadoop1.X中的，包括计算+资源调度两个功能 MR2是Hadoop2.X中的，只有计算功能，资源调度被剥离成单独的组件YARN了2、进程 MR1有具体进程 JobTracker TaskTracker MR2没有具体进程，而且集群中不需要部
2017-11-24 14:17:39
260
转载 Scala 强大的集合数据操作示例
Scala是数据挖掘算法领域最有力的编程语言之一，语言本身是面向函数，这也符合了数据挖掘算法的常用场景：在原始数据集上应用一系列的变换，语言本身也对集合操作提供了众多强大的函数，本文将以List类型为例子，介绍常见的集合变换操作。一、常用操作符（操作符其实也是函数）++ ++[B](that: GenTraversableOnce[B]): List[B] 从列表的尾部添加另外一个
2017-11-03 11:30:50
226
转载 Linux常用命令
学习CDH之前必须掌握linux基础命令的使用 1、pwd 查看当前目录 2、cd xxx 进入某一个目录 3、cd 和 cd ~进入用户家目录 4、cd ../ 退回上一层目录 5、cd ../../ 退回上两层目录 6、cd - 退回上一次的目录 7、hostname 查看机器名 8、hostname xxx 设置机器名 9、hostname -i 查看机器
2017-10-10 11:51:18
429
原创 MAC安装hadoop
一：安装及配置Hadoop1：利用MAC中homebrew下载hadoop$ brew install Hadoop2:配置ssh免密码登录,用dsa密钥认证来生成一对公钥和私钥：$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa3:将生成的公钥加入到用于认证的公钥文件中：$ cat ~/.ssh/id_dsa.pub >> ~
2017-10-09 09:43:41
662
1
转载 YARN工作原理
YARN工作原理： YARN比MapReduce1更具一般性，实际上MapReduce只是YARN应用的一种形式。相比经典的MapReduce来说，YARN的顶层包括更多的实体：(1)client客户端。(2)YARN资源管理器。负责协调集群上计算资源的分配。(3)YARN节点管理器。负责启动和监视集群中机器上的计算容器。(4)应用程序mas
2017-09-11 16:27:39
536
原创 YARN工作流程（MapReduce提交应用程序）
首先说工作流程1:用户向YARN中提交应用程序，其中包括ApplicationMaster程序、启动ApplicationMaster的命令、用户程序等。2:ResourceManager为该应用程序分配第一个Container，并与对应的Node-Manager通信，要求它在这个Container中启动应用程序的ApplicationMaster。3:ApplicationMas
2017-09-11 16:02:30
469
原创 HDFS读写流程
HDFS读写流程一: HDFS读文件流程 1：Client通过FileSystem.open(filePath)方法,去与Namenode进行rpc通信,返回该文件的部分或全部的block列表( 也包含该列表各 block 的分布在 Datanode 地址的列表),也就是返回FSDataInputStream对象; 2：Client调用FSDataInputStream对象的
2017-09-11 14:19:42
486
原创 Mac 系统基于jdk1.8编译hadoop2.7.4和hadoop2.8.1
一:准备工作 1：jdk1.8版本2：maven3.5.0版本3：hadoop2.7.4或者hadoop2.8.1（建议选择hadoop2.7.4，据官网说是比较稳定）4：protobuf2.5.05：cmake二：搭建编译环境1：Mac上安装jdk1.8（傻瓜式操作，不懂得可以百度）2：配置java环境变量 export JAVA_HOME=/Librar
2017-08-28 20:53:40
1843
1
NavicatPremiumforMac
2018-08-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人