陈末go-CSDN博客

原创 JVM扫盲篇

JVM扫盲篇第一章 JVM是啥总结一下：JVM就是一台虚拟的机器，有自己的CPU,有自己的classLoader,有自己的寄存器，有自己的汇编语言等等。1.JVM是一种规范，各大厂商对JVM有自己的自我实现。（1）Hotspot oracle官方（2）J9 IBM公司的实现（3）TaobaoVM --hotspot深度定制版（4）Microsoft VM --微软自己的实现（5）LiquidVM -直接针对硬件（没有面对操作系统，直接面对硬件，效率非常高）（5）azul zing -

2020-10-30 11:39:34 151

原创 hive企业级调优

hive企业级调优1.1 Fetch抓取Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT * FROM employees;在这种情况下，Hive可以简单地读取employee对应的存储目录下的文件，然后输出查询结果到控制台。在hive-default.xml.template文件中hive.fetch.task.conversion默认是more，老版本hive默认是minimal，该属性修改为more以后，在全局查找、字段查找、limit查找等都

2020-10-30 11:19:45 114

原创 shell脚本删除超过指定大小的日志文件

#shell脚本删除超过指定大小的日志文件#!/bin/shfilename=$1 #输入要删除的文件带绝对路径size=$2 #输入文件删除的临界值，以G为单位checkfilesize(){ time=$(date "+%Y-%m-%d %H:%M:%S") #获取当前系统时间 if [ ! -f "$filename" ] #没有文件则创建文件 t

2020-09-11 10:52:17 1146

转载离线数仓到实时数仓的架构演变

1.实时数仓的相关概述1.1 实时数仓产生背景我们先来回顾一下数据仓库的概念。数据仓库的概念是于 90 年代由 Bill Inmon 提出, 当时的背景是传统的 OLTP 数据库无法很好的支持长周期分析决策场景，所以数据仓库概念的 4 个核心点，我们要结合着 OLTP 数据库当时的状态来对比理解。面向主题的：数据仓库的数据组织方式与 OLTP 面向事务处理不同。因为数据仓库是面向分析决策的，所以数据经常按分析场景或者是分析对象等主题形式来组织。集成的：对于数据仓库来说，经常需要去集合多个分散的、

2020-08-25 10:32:20 1462 2

原创 Linux磁盘挂载

Linux磁盘挂载挂载磁盘由于我们下载的tar包非常大，大概5个G，解压之后也最少需要5个G的空间，而我们的虚拟机磁盘有限，不够用了，所以我们可以为我们的虚拟机挂载一块磁盘，专门用于存储我们的tar包。第一步：虚拟机关机新增磁盘在我们的虚拟机关机的状态下，在VMware当中新增一块磁盘第二步：开机之后进行磁盘挂载分区，格式化，挂载新磁盘磁盘挂载df -lh fdisk -l 开始分区 fdisk /dev/sdb 这个命令执行后依次输 n p 1 回

2020-07-06 11:01:15 144

原创 Linux常用命令及快捷键

Linux常用命令及快捷键一、快捷键以下快捷键，都是一些常用的，记住这些命令，你的工作效率就会大大提升。ctrl + a ：光标跳到行首。ctrl + e ：光标跳到行尾。ctrl + d ：后删一个字符；退出会话，类似于 exit 。ctrl + k ：剪切光标后到行尾的所有内容（可以当作清除用）ctrl + u ：剪切光标前到行首的所有内容（可以当作清除用）ctrl + w ：剪切光标前的单个单词，以空格分隔（可以当作清除用）ctrl + y ：粘贴剪切的内

2020-07-06 10:38:42 346

原创 LinkedIn Camus实践及踩坑记录

LinkedIn Camus踩坑记录首先，介绍下Camus吧。由LinkedIn公司开发的消息队列同步框架，提供将Kafka（一种消息队列框架）的数据装载到Hadoop分布式文件系统(HDFS)的功能。英文版原文出处：http://docs.confluent.io/2.0.1/camus/docs/intro.html#key-features转载于:https://www.cnblogs.com/SamZhang/p/5383209.html简单来说camus其实底层还是执行的mapreduc

2020-07-02 18:31:29 1295 2

原创 HBase数据迁移踩坑记录

HBase数据迁移踩坑记录迁移背景：之前大数据集群部署在ucloud私有云上，由于各种原因，我们决定迁移到阿里云上；hbase数据迁移有很多种方式，我们使用的方式是distcp.我们遇到的问题：ucloud备份静态数据文件和hbase生产目录下备份静态文件，但是distcp过来新集群这边后，hbase开始使用后，目录下就莫名其妙会多出来一些空文件，手动删除之后过了一会又会有新的空文件出来。同时spark往hbase中写数据也有问题，报错说hbase存在重复的startkey。然后我们手动删除空文件数

2020-07-02 17:18:31 375

原创 GC介绍及调优

GC和GC Tuning作者：马士兵教育 http://mashibing.comGC的基础知识1.什么是垃圾C语言申请内存：malloc freeC++： new deletec/C++ 手动回收内存Java: new ？自动内存回收，编程上简单，系统不容易出错，手动释放内存，容易出两种类型的问题：忘记回收多次回收没有任何引用指向的一个对象或者多个对象（循环引用）2.如何定位垃圾引用计数（ReferenceCount）根可达算法(RootSearching)3.常

2020-06-17 17:52:38 1423 1

zero_2121的博客