- 博客(30)
- 收藏
- 关注
RSS订阅转载 安装spark
Apache Spark1.1.0部署与开发环境搭建 - Mark Lin时间 2014-10-01 14:57:00 博客园-原创精华区原文 http://www.cnblogs.com/datahunter/p/4002331.htmlSpark是Apache公司推出的一种基于Hadoop Distributed File System(HDFS)的并行计算架构。与
2015-04-26 15:12:05
845
转载 从Eclipse转移到IntelliJ IDEA一点心得
转 http://www.ituring.com.cn/article/37792本人使用IntelliJ IDEA其实并不太久，用了这段时间以后，觉得的确很是好用。刚刚从Eclipse转过来的很多人开始可能不适应，我就把使用过程中的一些经验和常用功能分享下，当然在看这篇之前推荐你先看完IntelliJ IDEA 的 20 个代码自动完成的特性，这篇文章对自动完成的特性介绍
2015-04-26 12:01:56
895
转载 从安装java 到hadoop 到spark 的全套步骤，很详细， 高档大气上档次
http://www.tuicool.com/articles/2e2q2y
2015-04-26 11:50:40
486
转载 hadoop集群上面安装 spark 1.1.0
hadoop2.4.1集群安装spark1.1.0 [复制链接] desehawk454主题919帖子5058积分实习版主积分5058收听TA发消
2015-04-26 11:41:58
704
转载 查看linux是多少位的几位方法：
查看linux是多少位的几位方法：查看linux机器是32位还是64位的方法：方法一：file /sbin/init 或者 file /bin/ls结果如下：/sbin/init: ELF 64-bit LSB executable, x86-64, version 1 (SYSV), dynamically linked (uses shared libs), for GNU/Linux 2.
2015-04-26 09:34:05
550
转载 akka介绍
我们相信编写出正确的具有容错性和可扩展性的并发程序太困难了。这多数是因为我们使用了错误的工具和错误的抽象级别。Akka就是为了改变这种状况 而生的。通过使用Actor模型我们提升了抽象级别，为构建正确的可扩展并发应用提供了一个更好的平台。在容错性方面我们采取了“let it crash”（让它崩溃）模型，人们已经将这种模型用在了电信行业，构建出“自愈合”的应用和永不停机的系统，取得了巨大成功。Ac
2015-04-25 17:20:54
582
转载 java 加密
MessageDigest 类为应用程序提供信息摘要算法的功能，如 MD5 或 SHA 算法。信息摘要是安全的单向哈希函数，它接收任意大小的数据，并输出固定长度的哈希值。MessageDigest 对象开始被初始化。该对象通过使用 update（）方法处理数据。任何时候都可以调用 reset（）方法重置摘要。一旦所有需要更新的数据都已经被更新了，应该调用digest() 方法之一完成哈希计
2015-04-24 11:32:34
333
转载 灰度发布
灰度发布编辑本词条缺少名片图，补充相关内容使词条更完整，还能快速升级，赶紧来编辑吧！灰度发布是指在黑与白之间，能够平滑过渡的一种发布方式。AB test就是一种灰度发布方式，让一部分用户继续用A，一部分用户开始用B，如果用户对B没有什么反对意见，那么逐步扩大范围，把所有用户都迁移到B上面来。灰度发布可以保证整体系统的稳定，在初始灰度的时候就可以发现、调整问题，以保证其影
2015-04-21 16:32:58
862
转载 数据操作的原子性
原子性指事务的一个完整操作。操作成功则提交，失败则回滚，即一件事要做就做完整，要么就什么都不做 如果把一个事务可看作是一个程序,它要么完整的被执行,要么完全不执行。这种特性就叫原子性"原子操作(atomic operation)是不需要synchronized"，这是Java多线程编程的老生常谈了。所谓原子操作是指不会被线程调度机制打断的操作；这种操作一旦开始，就一
2015-04-21 13:41:37
1525
转载 scala 闭包
var y = 0var sum -==(x: Int) => x+y y =100 sum(3) 居然可以这样定义感觉跟js差不多了在java里面，感觉这个y好像是一个静态变量一样了而且y变化sum函数能捕捉到y的变化这样是闭包，捕捉 一个类的全局变量 ，是一个函数能够解析
2015-04-19 17:39:39
348
转载 java static 静态代码块，在内存中只有一块，而且会记住指针的引用，
//数据库的map List cmd_qzkc = commandsService.getCommandsByAppCode(1); ApplicationListener.DBcmdMap.put("cmd_qzkc",cmd_qzkc); List cmd_qzkc_hw = commandsService.getCommandsByA
2015-04-15 12:40:10
1280
转载 HashMap 内部 equalse 和hashcode 内部实现， 实际上是调用Key Value的 内部的equalse hashcode
static class Entry implements Map.Entry { final K key; V value; Entry next;//对下一个节点的引用 final int hash; Entry(int h, K k, V v, Entry n) {
2015-04-15 09:25:48
490
1
转载 中国城市 60强
60强名单编辑超一线城市：上海、北京一线城市：广州、深圳1.5线城市：成都、重庆、杭州、南京、沈阳、苏州、天津、武汉、西安二线城市：长沙、大连、济南、宁波、青岛、无锡、厦门、郑州。三线增长型城市：长春、常州、哈尔滨、福州、昆明、合肥、东莞、石家庄、呼和浩特、南昌、温州、佛山、贵阳、南宁新兴型三线城市：海口、湖州、唐山、[1] 嘉兴、绍兴、南通、徐州、
2015-04-14 16:28:04
414
转载 Redis
ZSetOperations zsetOperations = redisTemplate.opsForZSet();BoundZSetOperations boundZSetOperations = redisTemplate.boundZSetOps(key);类：ZSetOperations 等价理解成:可排序的Set方法：add(key, value, score)
2015-04-14 16:22:41
544
转载 ScheduledExecutorService执行定时任务
ScheduledExecutorService执行定时任务博客分类： Java/J2se ScheduledExecutorService 作者：赵磊博客：http://elf8848.iteye.com java.util.concurrent.Executors可创建一个线程池，它可给定延迟后定期地执行任务。
2015-04-09 19:24:22
394
转载 redis 保存对象方法
// -----------------------------RedisCach----------------------------------------------------- public void putToCach(CommandInfo user) { redisTemplate.opsForHash().put("USER", user.getId
2015-04-09 09:31:37
776
转载 spring整合redis
redis的propertis配置文件spring.propeties：[html] view plaincopyredis.url=127.0.0.1 redis.port=6379 applicationContext.xml中的配置：[html] view plaincopy
2015-04-08 21:21:03
474
转载 redis 学习笔记(5)-Spring与Jedis的集成
首先不得不服Spring这个宇宙无敌的开源框架，几乎整合了所有流行的其它框架，http://projects.spring.io/spring-data/ 从这上面看，当下流行的redis、solr、hadoop、mongoDB、couchBase... 全都收入囊中。对于redis整合而言，主要用到的是spring-data-redis 使用步骤：一、pom添加依赖项
2015-04-08 21:20:40
620
转载 查看Eclipse版本号及各个版本区别
1. 找到eclipse安装目录2. 进入readme文件夹，打开readme_eclipse.html3. readme_eclipse.html呈现的第二行即数字版本号，如：Eclipse Project Release NotesRelease 4.2.0Last revised June 8th, 2012附：Eclips
2015-04-07 17:43:52
1238
转载 AtomicInteger简介
这个类真的非常实用，更重要的是 它确实非常简单：附上自己的代码，可以自己试试：AtomicInteger，一个提供原子操作的Integer的类。在Java语言中，++i和i++操作并不是线程安全的，在使用的时候，不可避免的会用到synchronized关键字。而AtomicInteger则通过一种线程安全的加减操作接口。 代码：package test;
2015-04-06 13:15:25
328
转载 Scala Hello World
刚刚开始学习spark，需要用到scala，所以打算开始自学scala。前提是已经安装好jdk。（1）安装scala在官网上下载scala，本人下载scala-10.04 http://www.scala-lang.org/download/all.html其中windows下有两个版本。msi和exe，具体区别可百度查看。这边随便找了一个说明http://zhidao.
2015-04-05 15:53:08
455
转载 java中，对文件进行追加内容操作的三种方法！
import java.io.BufferedWriter;import java.io.FileOutputStream;import java.io.FileWriter;import java.io.IOException;import java.io.OutputStreamWriter;import java.io.PrintWriter;import java.
2015-04-03 20:06:31
784
转载 Mysql导入导出工具Mysqldump和Source命令用法详解
Mysql本身提供了命令行导出工具Mysqldump和Mysql Source导入命令进行SQL数据导入导出工作，通过Mysql命令行导出工具Mysqldump命令能够将Mysql数据导出为文本格式(txt)的SQL文件，通过Mysql Source命令能够将SQL文件导入Mysql数据库中，下面通过Mysql导入导出SQL实例详解Mysqldump和Source命令的用法
2015-04-03 17:30:43
712
转载 linux 压缩
.zip解压：unzip FileName.zip压缩：zip FileName.zip DirName.rar解压：rar -x FileName.zip压缩：rar -a FileName.rar DirName.tar.gz或tgz解压：tar -zxvf FileName.tar.gz压缩：tar -zcvf FileName.tar.gz
2015-04-03 16:46:21
329
转载 mysql 下载数据库文件到本地
mysqldump -u anyshare -panySHARE2012 anyshare as_cmd_page_view_day > page_view.sql
2015-04-03 10:54:46
1106
转载 linux上面下载文件到本地的命令
与ssh有关的两个命令可以提供很方便的操作： sz：将选定的文件发送（send）到本地机器 rz：运行该命令会弹出一个文件选择窗口，从本地选择文件上传到服务器(receive) 当然，还可以设置一下目录了：设置一下上传和下载的默认目录options–>session options–>file transfer 下可以设置上传和下载的目录剩下的你只要在用Sec
2015-04-03 10:53:04
30702
1
转载 阿里面试经历及总结（数据研发、Java研发方向）
问题导读1.本文作者有什么优势？2.面试者是如何经过5位面试官的？3.你认为真正通过面试的原因是什么？我投的岗位“软件研发工程师”。到了面试现场，选择了Java语言（有对应的面试官）。不过，后面进行了交叉面试，被推到了“数据研发”岗位。一面：首先，自我介绍。我：“我做过两个项目。写过几篇论文和专利。还参加过阿里巴巴大数据竞赛。同时，出于个人兴
2015-04-01 19:41:33
1361
转载 Spark初级入门详解
本帖最后由 nettman 于 2015-3-31 17:20 编辑问题导读1.spark中什么是Application？2.spark中什么是Driver Program？3.Executor负责什么？4.什么是Stage？5.客户Spark程序（Driver Program）来操作Spark集群是通过哪个对象来进行的？6.创建SparkContext一般要经过几
2015-04-01 19:31:55
1998
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人