Spark官方文档 1、快速入门 a) val conf = new SparkConf().setAppName("xxx").setMaster("xxx") val sc = new SparkContext(conf) val spark = SparkSession.builder().appName("xxx").getOrCreate() b) val、var、def的区别 val:...
大数据面试 HADOOP相关:HADOOP文件夹添加限制:针对的是文件夹而不是针对账号。hdfs dfs -setQuota 2 path:为指定HADOOP文件夹添加上传文件的数量。hdfs dfs -setSpaceQuota 4k path:为指定HADOOP文件夹空间添加大小限制。hdfs dfsadmin -clrSpaceQuota path:清楚指定HADOOP文件夹的空间大小限制。HADOOP安全模式集群启动的时候,首先会进入安全模式,处于安全模式时系统会检查数据块的完整性。比如如果我们
Eclipse添加插件方法 eclipse 添加插件有3中方法: 第一种:解压eclipse 插件 里面分别包含两个文件夹features和plugins ,然后把两个文件夹分别复制到eclipse 下所对应的文件夹下。删除 configuration文件夹下的 org.eclipse.update文件夹。重新启动eclipse,可以在eclipse的菜单"Help"-->"About Eclipse SD
SpringMVC对日期类型的转换 在做web开发的时候,页面传入的都是String类型,SpringMVC可以对一些基本的类型进行转换,但是对于日期类的转换可能就需要我们配置。 1、如果查询类使我们自己写,那么在属性前面加上@DateTimeFormat(pattern = "yyyy-MM-dd") ,即可将String转换为Date类型,如下@DateTimeFormat(pattern = "yyyy-M
MySQL数据库缓存 作者: scofield 原文:Mysql 数据库缓存cache功能总结[转]版权所有,转载时必须以链接形式注明作者和原出处并保留本声明。MySQL cache功能分析:1 mysql的cache功能的key的生成原理是:把select语句按照一定的hash规则生成唯一的key,select的结果生成value,即 key=>value。所以对于cache而言,se
Java中剪切板的操作 JAVA中有时需要操作系统剪切板的问题,下面演示如何用Java操作系统剪切板,就是定义一个类其中引入需要的包,设计需要的方法,为了不用建立实例即可直接使用,可把方法设置为静态方法 static ,具体步骤如下:1,引入对应的包[java] view plain copyimport java.io.IOException;
邮箱不可用 550 User has no permission 当传入发送邮箱正确的用户名和密码时,总是收到到:550 User has no permission这样的错误,其实我们用Java发送邮件时相当于自定义客户端根据用户名和密码进行登录,然后使用SMTP服务发送邮件。但新注册的163邮件默认是不开启客户端授权验证的(对自定的邮箱大师客户端默认开启),因此登录总是会被拒绝,验证没有权限。解决办法是进入163邮箱,进入邮箱中心——客户端授
转码工具native2ascii.exe的使用方法 1. native2ascii.exe的介绍: native2ascii是sun java sdk提供的一个转码工具, 用来将别的文本类文件(比如 *.txt, *.ini, *.properties, *.java 等等)编码转为Unicode编码。 2. 如何获取 native2ascii.exe? 安装了jdk后,假如你是在windows上安装,那
spring+velocity+javamail发送模版邮件 有时候当我们注册完的时候系统会提示有一封邮件发送到了你的邮箱,如何做呢? 就要用到spring+velocity+javamail这3个玩意,其实只用了spring,因为其他2个都被spring集成了。 先看代码 1package com.worthtech.app.util; 2 3import java.io.File; 4import java.util.
JFreeChart的使用 前提:导入需要的2个jar文件,jcommon-版本号.jar,jfreechart-版本号.jar。可以去官网下载:http://sourceforge.net/projects/jfreechart/files/注意:下载的Jfreechart版本不要太高,新版本对中文的显示会出问题,我自己后来下的是1.0.10的版本。 实例一:比较简单的application版本的饼
Log4j使用教程 日志是应用软件中不可缺少的部分,Apache的开源项目log4j是一个功能强大的日志组件,提供方便的日志记录。在apache网站:jakarta.apache.org/log4j 可以免费下载到Log4j最新版本的软件包。一、入门实例1.新建一个JAva工程,导入包log4j-1.2.17.jar,整个工程最终目录如下2、src同级创建并设置log4j.proper
使用 Eclipse Memory Analyzer 进行堆转储文件分析 Eclipse Memory Analyzer(MAT)是著名的跨平台集成开发环境 Eclipse Galileo 版本的 33 个组成项目中之一,它是一个功能丰富的 JAVA 堆转储文件分析工具,可以帮助你发现内存漏洞和减少内存消耗。本文主要介绍如何安装配置 Memory Analyzer,并结合一个实例,介绍如何利用 MAT 来进行堆转储文件分析,找到内存泄露的根源。
ExtJS的12种布局风格 extjs的容器组件都可以设置它的显示风格,它的有效值有 absolute, accordion, anchor, border, card, column, fit, form and table. 一共9种。另外几种见: http://www.sencha.com/deploy/dev/examples/layout-browser/layout-browser.html 里面有
Mybatis-Spring-注入映射器 注入映射器为了代替手工使用 SqlSessionDaoSupport 或 SqlSessionTemplate 编写数据访问对象 (DAO)的代码,MyBatis-Spring 提供了一个动态代理的实现:MapperFactoryBean。这个类 可以让你直接注入数据映射器接口到你的 service 层 bean 中。当使用映射器时,你仅仅如调 用你的 DAO 一样调用它们就可以了,但是你不需
Spring3.0详解 一、前言:大家好,Spring3 MVC是非常优秀的MVC框架,由其是在3.0版本发布后,现在有越来越多的团队选择了Spring3 MVC了。Spring3 MVC结构简单,应了那句话简单就是美,而且他强大不失灵活,性能也很优秀。官方的下载网址是:http://www.springsource.org/download (本文使用是的Spring 3.0.5版本)
Spring quartz的原理 Quartz是一个大名鼎鼎的Java版开源定时调度器,功能强悍,使用方便。 一、核心概念 Quartz的原理不是很复杂,只要搞明白几个概念,然后知道如何去启动和关闭一个调度程序即可。 1、Job表示一个工作,要执行的具体内容。此接口中只有一个方法void execute(JobExecutionContext context)
线程和进程 进程是具有一定独立功能的程序关于某个数据集合上的一次运行活动,进程是系统进行资源分配和调度的一个独立单位. 进程之间互相隔离线程是进程的一个实体,是CPU调度和分派的基本单位,它是比进程更小的能独立运行的基本单位.线程自己基本上不拥有系统资源,只拥有一点在运行中必不可少的资源(如程序计数器,一组寄存器和栈),但是它可与同属一个进程的其他的线程共享进程所拥有的全部资源. 一个线程可以创建和撤
数据库事务的四大特性(ACID)及事务隔离级别 本篇讲诉数据库中事务的四大特性(ACID),并且将会详细地说明事务的隔离级别。 如果一个数据库声称支持事务的操作,那么该数据库必须要具备以下四个特性:⑴ 原子性(Atomicity) 原子性是指事务包含的所有操作要么全部成功,要么全部失败回滚,这和前面两篇博客介绍事务的功能是一样的概念,因此事务的操作如果成功就必须要完全应用到数据库,如果操作失败则不能对数据库有任何影响
ClassLoader原理 理解ClassLoader基本原理 当JVM(Java虚拟机)启动时,会形成由三个类加载器组成的初始类加载器层次结构: bootstrap classloader | extension classloader | system classloader bootstrap classloa
MyBatis学习总结(五)——实现关联表查询 http://blog.csdn.net/hejingyuan6/article/details/48689571一、一对一关联 1.1、提出需求 根据班级id查询班级信息(带老师的信息)1.2、创建表和数据 创建一张教师表和班级表,这里我们假设一个老师只负责教一个班,那么老师和班级之间的关系就是一种一对一的关系。[sql]