- 博客(20)
- 资源 (11)
- 收藏
- 关注
RSS订阅转载 scala时间处理-获取今天日期，昨天日期，本周时间，本月时间，时间戳转换日期，时间比较
因为做一个考勤系统，需要用到scala的时间和日期的处理，包括 获取今天日期，昨天日期，本周时间，本月时间，时间戳转换日期时间比较计算时间差等，特此总结了一下。1、获取今天日期 def getNowDate():String={ var now:Date = new Date() var dateFormat:SimpleDateFormat = new SimpleDateF...
2018-05-30 10:54:35
2377
转载 Spark中加载本地（或者hdfs）文件以及 spark使用SparkContext实例的textFile读取多个文件夹(嵌套)下的多个数据文件
Spark中加载本地(或者hdfs)文件以及 spark使用SparkContext实例的textFile读取多个文件夹(嵌套)下的多个数据文件在正常调用过程中，难免需要对多个文件夹下的多个文件进行读取，然而之前只是明确了spark具备读取多个文件的能力。针对多个文件夹下的多个文件，以前的做法是先进行文件夹的遍历，然后再进行各个文件夹目录的读取，其实不必那么麻烦，因为spark原生就支持这样的能力...
2018-05-29 23:43:56
2366
转载 看了之后不再迷糊-Spark多种运行模式
原文地址：https://www.jianshu.com/p/65a3476757a5早就想写这章了，一直懒得动笔，不过还好，总算静下心来完成了。刚接触Spark时，很希望能对它的运行方式有个直观的了解，而Spark同时支持多种运行模式，官网和书籍中对他们的区别所说不详，尤其是模式之间是否有关联、启动的JVM进程是否有区别、启动的JVM进程的作用是否都一样，等等这些都没有说明，也没有现成的资料可以...
2018-05-28 19:53:14
842
转载 理解Spark RDD中的aggregate函数
针对Spark的RDD，API中有一个aggregate函数，本人理解起来费了很大劲，明白之后，mark一下，供以后参考。首先，Spark文档中aggregate函数定义如下def aggregate[U](zeroValue: U)(seqOp: (U, T) ⇒ U, combOp: (U, U) ⇒ U)(implicit arg0: ClassTag[U]): UAggregate the...
2018-05-28 19:45:52
433
转载 Java Reflection(五):方法
原文地址 作者: Jakob Jenkov 译者:叶文海（yewenhai@gamil.com）内容索引获取Method对象方法参数以及返回类型通过Method对象调用方法使用Java反射你可以在运行期检查一个方法的信息以及在运行期调用这个方法，通过使用java.lang.reflect.Method类就可以实现上述功能。在本节会带你深入了解Method对象的信息。获取Method对象可以通过Cl...
2018-05-23 23:35:59
203
转载 JAVA中方法的调用（详细整理）
JAVA中方法的调用主要有以下几种：1.非静态方法非静态方法就是没有 static 修饰的方法，对于非静态方法的调用，是通过对 象来调用的，表现形式如下。对象名.方法（）eg：public class InvokeMethod{ public static void main(String[] args){ InvokeMethod in = new InvokeMetho...
2018-05-23 15:00:55
55323
15
转载 java多线程—Thread、Runnable和Callable区别
多线程编程优点进程之间不能共享内存，但线程之间共享内存非常容易。系统创建线程所分配的资源相对创建进程而言，代价非常小。Java中实现多线程有3种方法：继承Thread类实现Runnable接口实现Callable接口(参考<Java编程思想(第4版)> 21.2.4章节，原来一直以为是2种，后来发现是3种)回到顶部第一种实现方法—继承Thread类继承Thread类，需要覆盖方法 r...
2018-05-20 19:52:16
8108
转载 关于synchronized和ReentrantLock之多线程同步详解
本篇文章总结关于多线程编程的一些知识点，这其中两个重要的部分就是对于synchronized和ReentrantLock的使用和介绍。一、线程同步问题的产生及解决方案问题的产生：Java允许多线程并发控制，当多个线程同时操作一个可共享的资源变量时（如数据的增删改查），将会导致数据不准确，相互之间产生冲突。如下例：假设有一个卖票系统，一共有100张票，有4个窗口同时卖。public class Ti...
2018-05-20 19:46:55
493
转载 看mysql的like是否使用索引
mysql在使用like查询中，能不能用到索引？在什么地方使用索引呢？在使用like的时候，如果使用‘%%’，会不会用到索引呢？EXPLAIN SELECT * FROM `user` WHERE username LIKE '%ptd_%'; 上面的结果是全表扫描，并没有使用到索引。只是使用一个%的查询结果：EXPLAIN SELECT * FROM `user` WHERE username ...
2018-05-18 10:58:15
17962
6
转载 造成mysql全表扫描的原因
全表扫描是数据库搜寻表的每一条记录的过程，直到所有符合给定条件的记录返回为止。通常在数据库中，对无索引的表进行查询一般称为全表扫描；然而有时候我们即便添加了索引，但当我们的SQL语句写的不合理的时候也会造成全表扫描。 以下是经常会造成全表扫描的SQL语句及应对措施： 1. 使用null做为判断条件 如：select account from member where nickname = null...
2018-05-18 10:57:49
3054
1
转载 maven中scope=compile 和 provided区别
问题再现：上次这边朋友问我一个问题，就是他们在pom.xml中的dependency中，看到有一些是<scope>provided</scope>的情况，比如如下：<dependency> <groupId>com.liferay.portal</groupId> <artifactId>portal-impl&l...
2018-05-18 10:31:36
78005
8
转载 JDBC中executeQuery、executeUpdate和execute之间的区别
JDBC中Statement 接口提供了三种执行 SQL 语句的方法：executeQueryexecuteUpdate execute使用哪一个方法由 SQL 语句所产生的内容决定。1>方法executeQuery 用于产生单个结果集（ResultSet）的语句，例如:被执行最多的SELECT 语句。 这个方法被用来执行 SELECT 语句，但也只能执行查询语句，执行后返回代表查询结果的R...
2018-05-15 15:05:54
27119
1
转载 Java异常的栈轨迹(Stack Trace)
捕获到异常时，往往需要进行一些处理。比较简单直接的方式就是打印异常栈轨迹Stack Trace。说起栈轨迹，可能很多人和我一样，第一反应就是printStackTrace()方法。其实除了这个方法，还有一些别的内容也是和栈轨迹有关的。 1.printStackTrace() 首先需要明确，这个方法并不是来自于Exception类。Exception类本身除了定义了几个构造器之外，所有...
2018-05-14 11:34:23
19073
转载 sql语句中left join、inner join中的on与where的区别
1 .WHERE子句中使用的连接语句，在数据库语言中，被称为隐性连接。INNER JOIN……ON子句产生的连接称为显性连接。（其他JOIN参数也是显性连接）WHERE 和INNER JOIN产生的连接关系，没有本质区别，结果也一样。但是！隐性连接随着数据库语言的规范和发展，已经逐渐被淘汰，比较新的数据库语言基本上已经抛弃了隐性连接，全部采用显性连接了。2 .无论怎么连接，都可以用join子句，但...
2018-05-11 14:53:47
352
转载 Kafka主要参数详解
原文档地址：http://kafka.apache.org/documentation.html12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667686970717273747576777879808...
2018-05-10 10:05:22
201
转载 IDEA中maven添加了依赖也报错java.lang.ClassNotFoundException解决
简介 最近从eclipse转到IDEA，一开始就遇到问题，以前eclipse运行的MAVEN管理的程序，在IDEA中，总要报错NoClassDefFoundError比如:Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/api/java/function/Function2 ...
2018-05-08 20:57:03
10689
1
转载 Kafka系列（四）Kafka消费者：从Kafka中读取数据
本系列文章为对《Kafka：The Definitive Guide》的学习整理，希望能够帮助到大家应用从Kafka中读取数据需要使用KafkaConsumer订阅主题，然后接收这些主题的消息。在我们深入这些API之前，先来看下几个比较重要的概念。Kafka消费者相关的概念消费者与消费组假设这么个场景：我们从Kafka中读取消息，并且进行检查，最后产生结果数据。我们可以创建一个消费者实例去做这件事...
2018-05-08 16:36:21
41666
9
转载 使用supervisor管理进程
Supervisor (http://supervisord.org) 是一个用 Python 写的进程管理工具，可以很方便的用来启动、重启、关闭进程（不仅仅是 Python 进程）。除了对单个进程的控制，还可以同时启动、关闭多个进程，比如很不幸的服务器出问题导致所有应用程序都被杀死，此时可以用 supervisor 同时启动所有应用程序而不是一个一个地敲命令启动。安装Supervisor 可以运...
2018-05-03 16:15:47
185
转载 Kafka之数据存储
本文主要讲述以下两部分内容：kafka数据的存储方式；kafka如何通过offset查找message。1.前言写介绍kafka的几个重要概念（可以参考之前的博文Kafka的简单介绍）：Broker：消息中间件处理结点，一个Kafka节点就是一个broker，多个broker可以组成一个Kafka集群；Topic：一类消息，例如page view日志、click日志等都可以以topic的形式存在，...
2018-05-03 15:09:00
8495
1
转载 html页面调用js文件里的函数报错onclick is not defined处理方法
今天处理html标签里的onclick功能的时候总是报错：Uncaught ReferenceError: dosave is not defined(…)找了半天都没发现错在哪，最后发现原来是我写法不对，正确写法如下：html：[html] view plain copy<input type="button" value="立即登录" onclick="dosave();"/> ...
2018-05-02 10:10:24
768
计算机网络（第7版）-谢希仁 pdf下载 高清完整版
2017-12-05
编译原理（龙书-中文第二版）.pdf
2017-12-05
精通Python设计模式.pdf高清完整版下载
2017-12-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人