danyuxuan-CSDN博客

原创 sparkDataFrame 与pandas中的DataFrame转换

1.sparkDataFrame的类型为pyspark.sql.dataframe.DataFrame，通过df.toPandas()即可转换为pandas中的dataFrame类型。2.对于pandas中的DataFrame，想要转换为spark类型的，使用sqlContext = SQLContext（SparkContext（）），sparkContext= sqlContext.creat...

2018-05-22 11:33:12 4768 2

原创 Java对象的强、软、弱和虚引用

1）强引用如果一个对象具有强引用，那垃圾回收器绝不会回收它。当内存空间不足，Java虚拟机宁愿抛出OutOfMemoryError错误，使程序异常终止，也不会考随意回收具有强引用的对象来解决内存不足的问题。2）软引用如果一个对象具有软引用，则内存空间足够，垃圾回收器就不会回收它；如果内存空间不足了，就会回收这些对象的内存。只要垃圾回收器没有回收它，该对象就可以被程序

2017-11-01 15:34:50 166

原创 Java中的内存划分

Java程序在运行时，需要在内存中分配空间。为了提高效率，就对数据进行了不同空间的划分，因为每一片区域都有特定的处理数据方式和内存管理方式。程序计数器：保证线程切换后能恢复到原来的执行位置虚拟机栈：（栈内存）为虚拟机执行java方法服务：方法被调用时创建栈帧->局部变量表->局部变量、对象引用本地方法栈：为虚拟机执行使用到的native方法服务

2017-11-01 15:16:27 206

原创时间戳的加减问题

用时间戳去计算N天之前或者之后的时间，通过以下程序，预期结果是30天之后的时间，但实际得到的时间是30天之前的时间。如此诡异。。。public static voidmain(String args[]){ longcurSysTime = System.currentTimeMillis(); System.out.println(curSysTime

2017-01-18 22:40:03 11787

原创 sql语句

求当前时间的30天前： date_sub(now(),interval 30 day)求当前时间的30天后： date_add(now(),interval 30 day)

2017-01-18 22:38:54 159

原创读书笔记--Spring框架

本文参考了李刚的《轻量级Java EE企业应用实践》1.使用Spring框架时，必须使用Spring Core Container（即Spring容器）。Spring Core Container主要由org.springframework.core、org.springframework.beans、org.springframework.context和org.springframewor

2016-12-25 16:46:55 329