- 博客(23)
- 资源 (7)
- 问答 (1)
- 收藏
- 关注
转载 windows下spark开发环境配置
--本篇随笔由同事葛同学提供。windows下spark开发环境配置特注:windows下开发spark不需要在本地安装hadoop,但是需要winutils.exe、hadoop.dll等文件,前提是你已经安装了eclipse、maven、jdk等软件spark支持jdk版本建议是1.8及以上,如果开发spark建议将jdk编译版本设置为1.8 我选择的spark是spark-1.4.0-bin...
2018-05-24 14:18:54 541
转载 IDEA使用教程—5、如何导入一个已有的项目
scala与此类似,只是需要的是sbt而不是maven.======================================================================== 今天刚开始学习使用intellij IDEA来进行后台开发,感觉这个软件跟之前用过的eclipse和myeclipse都不是很想同,然后学长给了《精通Spring+4.x++企业应用开发实战》这本书...
2018-05-23 17:24:48 90193 6
转载 IDEA使用教程—4、idea 普通文件夹 转换成 module
经常会遇到从GitHub上download的progect在idea里面打开是普通文件夹形式,而并不是我们想要的module形式(文件夹图标右下角有个蓝色的tag),那么如何快速转换成我们想要的module形式呢?1、右击project,选择第二项“add framework support”,然后从对话框左侧选择“Maven”,OK即可2、设置maven仓库地址:右击file,选择setting...
2018-05-23 16:31:17 4557
原创 IDEA使用教程—3、Intellij IDEA常用快捷键
下面的快捷键,最好自己试一下,这样的话就能明白它到底是干什么用的,语言描述可能不到位快捷鍵用法描述Ctrl+Shift+A根据名称查找操作,例如查找创建scala class操作Alt+F1视图切换Ctrl+Tab工具窗口、正在编辑的代码文件切换Alt+Home显示导航条Ctrl+J插入代码模板,例如main方法Ctrl+Alt+J将选中的代码用代码模板包裹F4打开工程配置窗口Ctrl+Slash...
2018-05-23 16:28:25 331
转载 IDEA使用教程—2、创建一个scala程序
1. Intellij IDEA开发环境简介具体介绍请参见:http://baike.baidu.com/link?url=SBY93H3SPkmcmIOmZ8H60O1k4iVLgOmdqoKdGp9xHtU-Pbdsq2cpn75ZPZPWAJxeUlwr0ravraQzOckh777beqIntellij IDEA是我用过最好的集成开发环境,没有之一,它对于Scala的支持远胜于Scala ...
2018-05-23 15:57:38 3440
转载 IDEA使用教程—1、安装及破解
之前用过idea,但是好久没用了,很多东西就会忘掉。在此做个总结。先下载IntelliJ IDEA 安装的过程中,可以修改安装目录 下面也有勾选的地方,这代表什么意思? 前一个表示在桌面上创建一个 IntelliJ IDEA 的快捷方式,这个建议勾选上,不然我们每次启动 IntelliJ IDEA 都要到安装目录下启动,岂不要累死? 后一个表示关联 .java、.jGrooy 和 .kt 文件...
2018-05-23 13:22:59 4366
转载 从Eclipse转移到IntelliJ IDEA一点心得
本人使用IntelliJ IDEA其实并不太久,用了这段时间以后,觉得的确很是好用。刚刚从Eclipse转过来的很多人开始可能不适应,我就把使用过程中的一些经验和常用功能分享下,当然在看这篇之前推荐你先看完IntelliJ IDEA 的 20 个代码自动完成的特性,这篇文章对自动完成的特性介绍的非常好,只是快捷键说明部分还可以更完善一些,可以照顾下默认绑定键位不一致的童鞋。本文在说明快捷键的时候是...
2018-05-22 16:04:59 414
原创 Redis技能——Codis
其实codis原理和官方cluster基本一致,但是:codis是选用了一系列已证明靠谱的方案来构建(如zk选主/存放元数据;采用无状态proxy,而不是smart client等)为方便运维提供了一系列工具/接口再加上公司内部的一定规模应用所以大家用它更多。作者:CafeBabe链接:https://www.zhihu.com/question/30857837/answer/169207128...
2018-05-14 23:22:54 1369
原创 Quartz专题——1.初始Quartz
Quartz可以用来做什么?Quartz是一个任务调度框架。比如你遇到这样的问题想每月25号,信用卡自动还款想每年4月1日自己给当年暗恋女神发一封匿名贺卡想每隔1小时,备份一下自己的爱情动作片 学习笔记到云盘这些问题总结起来就是:在某一个有规律的时间点干某件事。并且时间的触发的条件可以非常复杂(比如每月最后一个工作日的17:50),复杂到需要一个专门的框架来干这个事。 Quartz就是来干这样的事...
2018-05-10 15:58:52 402
转载 MyBatis 延迟加载,一级缓存,二级缓存设置
什么是延迟加载 resultMap中的association和collection标签具有延迟加载的功能。 延迟加载的意思是说,在关联查询时,利用延迟加载,先加载主信息。使用关联信息时再去加载关联信息。设置延迟加载 需要在SqlMapConfig.xml文件中,在<settings>标签中设置下延迟加载。 lazyLoading...
2018-05-10 15:31:29 261
原创 2018面试——10.Java细节方面专题
1、了解equal()和hashCode()吗?如果equal()重写了,hashCode()会有问题吗?在java应用程序执行期间,如果在equals方法比较中所用的信息没有被修改,那么在同一个对象上多次调用hashCode方法时必须一致地返回相同的整数。如果多次执行同一个应用时,不要求该整数必须相同。如果两个对象通过调用equals方法是相等的,那么这两个对象调用hashCode方法必须返回相...
2018-05-10 09:51:39 365
转载 JVM专题—java类的加载过程
类加载过程类从被加载到虚拟机内存中开始,到卸载出内存为止,它的整个生命周期包括:加载(Loading)、验证(Verification)、准备(Preparation)、解析(Resolution)、初始化(Initialization)、使用(Using)和卸载(Unloading)7个阶段。其中准备、验证、解析3个部分统称为连接(Linking)。如图所示。加载、验证、准备、初始化和卸载这5个...
2018-05-09 11:34:38 329
转载 Spark技能——Spark在360商业数据部的应用实践
一Spark的应用现状1Spark需求背景随着数据规模的持续增长,数据需求越来越多,原有的以MapReduce为代表的Hadoop平台越来越显示出其局限性。主要体现在以下两点:任务执行时间比较长。特别是某些复杂的SQL任务,或者一些复杂的机器学习迭代。不能很好的支持像机器学习、实时处理这种新的大数据处理需求。Spark作为新一代大数据处理的计算平台,使得我们可以用Spark这一种平台统一处理数据处...
2018-05-06 19:18:47 540
转载 Spark技能——Spark-2.1.0
0.0 前言本文主要基于最新的Spark 2.1.0版本。阅读本文可以对Spark 2.1.0的学习过程,运行流程,关键组件,原理有所了解。文章有点长,你也可以直接阅读感兴趣的部分,但是还是建议全面了解。1.0 简介Spark是Apache软件基金会下的分布式系统开源项目。在官网中这样概况这个项目Apache Spark is a fast and general engine for large...
2018-05-06 19:16:57 560
转载 Zookeeper专题——1、分布式事务(b处理模式)
可参考知乎相关文章,更通俗易懂2PC这种不一致的问题困扰着大家。任意一边出错想要回滚另一边都不是简单的数据库回滚的事情( 因为此时已经成功提交),而是需要做业务的逆向操作,而不同业务的逆操作都不同,导致复杂性增加。考虑数据库事务的执行实际上是先将执行操作写入binlog,等到最后通过一个commit指令将binlog的内容一次更新到表中,或者写到一半通过一个rollback指令将binlog中的内...
2018-05-05 17:06:33 488
转载 Zookeeper专题——4、选主过程,脑裂问题如何解决
目前有5台服务器,每台服务器均没有数据,它们的编号分别是1,2,3,4,5,按编号依次启动,它们的选择举过程如下:服务器1启动,给自己投票,然后发投票信息,由于其它机器还没有启动所以它收不到反馈信息,服务器1的状态一直属于Looking。 服务器2启动,给自己投票,同时与之前启动的服务器1交换结果,由于服务器2的编号大所以服务器2胜出,但此时投票数没有大于半数,所以两个服务器的状态依然是LO...
2018-05-04 16:47:08 3849
原创 Zookeeper专题——3、分布式一致性,几种实现的优缺点
如果是从一致性算法层面讲:个人觉得叫容错分布式一致性协议更合适,当然这里容错俩字很关键,而且暗含是通常所说的复制状态机的强一致性需求(比如线性一致性)。一致性本身是个应用广泛的概念,比如并发编程、数据库事务处理、缓存一致性等等。其他很多算法也可以解决某些场景下(对系统模型的假设条件强弱)、对一致性的不同要求(比如线性、序列、因果、最终等等)。比如:2PC无法容错但能解决强一致性;并发编程中的内存序...
2018-05-04 16:46:04 1042
原创 Zookeeper专题——2、分布式锁-基于Zookeeper的分布式锁
实现分布式锁目前有三种流行方案,分别为基于数据库、Redis、Zookeeper的方案,其中前两种方案网络上有很多资料可以参考,本文不做展开。我们来看下使用Zookeeper如何实现分布式锁。什么是Zookeeper?Zookeeper(业界简称zk)是一种提供配置管理、分布式协同以及命名的中心化服务,这些提供的功能都是分布式系统中非常底层且必不可少的基本功能,但是如果自己实现这些功能而且要达到高...
2018-05-04 16:45:16 308 1
原创 Zookeeper专题——1、分布式事务(a概述)
zookeeper到底是什么? zookeeper实际上是yahoo开发的,用于分布式中一致性处理的框架。最初其作为研发hadoop时的副产品。由于分布式系统中一致性处理较为困难,其他的分布式系统没有必要 费劲重复造轮子,故随后的分布式系统中大量应用了zookeeper,以至于zookeeper成为了各种分布式系统的基础组件,其地位之重要,可想而知。著名的hadoop,kafka,dubbo 都...
2018-05-04 16:43:48 2006 1
原创 多线程&JVM&锁相关—深入学习java同步器AQS
介绍:AQS(AbstractQueuedSynchronizer类)是一个用来构建锁和同步器的框架,它在内部定义了一个int state变量,用来表示同步状态.在LOCK包中的相关锁(常用的有ReentrantLock、 ReadWriteLock)都是基于AQS来构建.然而这些锁都没有直接来继承AQS,而是定义了一个Sync类去继承AQS.那么为什么要这样呢?because:锁面向的是使用用户...
2018-05-04 16:21:08 253
转载 多线程&JVM&锁相关—乐观的并发策略——基于CAS的自旋
悲观者与乐观者的做事方式完全不一样,悲观者的人生观是一件事情我必须要百分之百完全控制才会去做,否则就认为这件事情一定会出问题;而乐观者的人生观则相反,凡事不管最终结果如何,他都会先尝试去做,大不了最后不成功。这就是悲观锁与乐观锁的区别,悲观锁会把整个对象加锁占为自有后才去做操作,乐观锁不获取锁直接做操作,然后通过一定检测手段决定是否更新数据。这一节将对乐观锁进行深入探讨。上节讨论的Synchron...
2018-05-04 16:08:00 263
原创 搭建RocketMQ
RocketMQ搭建步骤开发环境64位 centos7(虚拟机,1G内存)64位 jdk1.8maven 3.5.0Gittomcat(用于启动rocketmq-console)rocketmq 3.2.6(最好选择maven仓库中已有的版本,保持客户端依赖的jar包和服务器版本一致)rocketmq-console环境变量配置vi /etc/profile 打开文件配置如下:JAVA_HOME=...
2018-05-03 15:52:07 380
实验六 SQL 语句综合训练
2012-06-10
实验五 SQL SERVER 完整性与安全性
2012-06-10
实验四 数据更新与视图
2012-06-10
实验三 数据库
2012-06-10
数据库 定义
2012-06-10
数据库实验报告
2012-06-10
TA创建的收藏夹 TA关注的收藏夹
TA关注的人