自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(12)
  • 资源 (1)
  • 问答 (2)
  • 收藏
  • 关注

原创 《鸟哥Linux私房菜》之bash学习笔记1

什么是shell?在linux软硬件操作系统中,应用程序其实是在操作系统的最外层,就如同鸡蛋的外壳一样,因此这个shell也被称呼为壳程序 linux很多命令如 man, chmod, chown, vi, fdisk,mkfs 等指令,这些指令都是独立的应用程序, 但是我们可以通过shell程序 (就是命令行界面) 来操作这些应用程序,让这些应用程序调用核心来运行所需的工作.也就是说...

2018-05-31 23:24:46 144

原创 《深入理解java虚拟机》3.5之垃圾收集器

3.5.1、串行收集器(Serial) 上古时期的可爱的单线程垃圾收集器,使用一个线程或者一个cpu(核心)去回收垃圾,在收集垃圾时必须使整个虚拟机都停下来(stop the world)  优点:简单高效(对于限定cpu的机器来说),对于client模式虚拟机的新生代来说是一个不错的选择缺点:随着机器性能的提升,效率提升不明显 3.5.2、ParNew收集器p...

2018-05-31 01:05:48 260

原创 《深入理解Spark》之通过java调用shell启动spark

背景:今天公司对于spark做了一个管理平台能实现一站式管理,即远程启动,远程关闭,并监控运行时的数据状态,而且监控平台和spark集群并不在同一个集群上,在同一个局域网内(机器之间做好了免密登录)当然java调用shell脚本并不是本文的重点,推荐使用下面的方式 public static void test3(){ //1.sh是要执行要脚本文件,A指的是参数,...

2018-05-25 09:35:11 3142

原创 《鸟哥Linux私房菜》之ln命令的使用

ln命令的作用是创建一个连接,类似于windows下的快捷方式语法如下:ln [参数][源文件或目录][目标文件或目录]本文重点介绍软连接和硬连接的区别软连接:直接可以理解为windows下的快捷方式,通过一个地址指向一个文件,如果该文件的名字被修改或者该文件被删除,那么快捷方式也就失效,即该快捷方式也就找不到对应的文件,软连接的限制很少,1、可以使用一个文件加作为一个连接...

2018-05-24 23:44:23 2430

原创 maven+IDEA+jar包读取外部配置文件

1、工程结构如下src是jar的源码路径,如果jar要读取和它同一级目录下的conf文件夹下的配置文件就在src同一级目录下创建一个conf文件夹里面放上配置文件就可以了2、测试代码如下package com.lyzx.one;import com.alibaba.fastjson.JSONObject;import java.io.FileInputStream;i...

2018-05-23 18:04:53 5728 3

原创 《Netty权威指南》之NIO ByteBuffer详解

 Java NIO(New IO) 是从Java 1.4版本开始引入的一个新的IO API,可以替代标准的Java IO API。NIO与原来的IO有同样的作用和目的,但是使用的方式完全不同, NIO支持面向缓冲区的、基于 通道的IO操作。 NIO将以更加高效的方式进行文件的读写操作。Java NIO系统的核心在于:通道(Channel)和缓冲区(Buffer)。通道表示打开到 ...

2018-05-16 22:24:21 433

原创 《深入理解java虚拟机》之简单聊聊自定义类加载器

首先说我们写的java代码(xxx.java文件)如何被jvm使用?  通过javac 编译为可被虚拟机识别的机器码(二进制),然后通过类加载器将二进制文件放入内存,这个过程称为内的加载过程,而加载类(xxx.java文件)的类被称作类加载器,实际也是有java代码写的一个类(除了引导类加载器,该加载器有C++编写)1、类加载器结构图如下(该图来自于网络 https://blog.csdn...

2018-05-13 12:57:37 197

原创 java笔记之wait和notify的深入理解

package com.lyzx.concurrent.lock;/** * 测试wait和Notify的笔记,在看读写锁源码时的感想, * 当很多线程在一个对象上等待时,调用该对象的notifyAll方法 * 这是所有在这个对象上等待的线程都会被"唤醒",注意这里的唤醒不是指 * 立即执行,而是进入了可执行队列等待获取锁,此时,调用notifyAll()的方法出了 * 方法体后就释...

2018-05-10 23:29:11 533

原创 《深入理解java虚拟机》之对象的内存分配续

首先强烈感谢我的两位同学,广州微笑和杭州青果。这篇博客灵感来自于他们。上一篇博客说了,Java对象的内存分配中在堆空间中分配内存的几条普遍规则,当然也说了,在分配到堆内存之前也进行了其它方面的尝试,那今天就说一说jvm这些的尝试首先一张图看jvm内存分配的选择从上图可知,jvm首先尝试在栈上分配内存,如果栈上分配内存失败了,再尝试在TLAB上尝试分配如果分配失败了就判断这个对象...

2018-05-05 12:05:10 231

原创 一片文章看懂java自带的线程池含特性和原理

java中的两类线程池1、ThreadPoolExecutor类线程池,下面专门用一个类来介绍 package com.lyzx.concurrent.threadPool;import org.junit.Test;import java.util.ArrayList;import java.util.Arrays;import java.util.List;impor...

2018-05-03 21:10:39 426

原创 java8中Optional的用法详解

package com.lyzx.concurrent.java8;import org.junit.Test;import java.util.Optional;import java.util.Random;public class OptionalTest { /** * Optional.of(T t)创建一个Optional * >> 底层

2018-05-01 15:33:50 3508

原创 生产者消费者消费者模式之通过Condition唤醒(和wait、notify模式做对比)

下面的代码有详细的注释,通过Condition的方式实现更细粒度的通知!仔细阅读下面的代码,对多线程的理解有很大的帮助package com.lyzx.concurrent.lock;import java.util.LinkedList;import java.util.Queue;import java.util.concurrent.locks.Condition;impo

2018-05-01 12:19:07 806 1

parquet文件测试

String[] access_log = { "111111", "22222", "33333", "44444", "55555", "666666", "777777", "888888", "999999", "101010" }; for(int i=0;i<1000;i++){ writer.write(groupFactory.newGroup() .append("log_id", Long.parseLong(access_log[0])) .append("idc_id", access_log[1]) .append("house_id", Long.parseLong(access_log[2])) .append("src_ip_long", Long.parseLong(access_log[3]))

2023-03-02

一份PPT看懂spark

适合初学者学习spark大数据技术,大公司内部技术分享时使用的PPT

2018-05-23

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除