- 博客(37)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 MySQL索引原理及查询优化
一个慢查询引发的思考select count(*) from task where status=2 and operator_id=20839 and operate_time>1371169729 and operate_time<1371174603 and type=2;系统使用者反应有一个功能越来越慢，于是工程师找到了上
2016-05-31 23:26:31
1994
原创 Spark之Action操作
1.reduce(func):通过函数func先聚集各分区的数据集，再聚集分区之间的数据，func接收两个参数，返回一个新值，新值再做为参数继续传递给函数func，直到最后一个元素 2.collect():以数据的形式返回数据集中的所有元素给Driver程序，为防止Driver程序内存溢出，一般要控制返回的数据集大小 3.count()：返回数据集元素个数 4.first(
2016-05-31 22:50:07
1684
原创 Spark之键值RDD转换
1.mapValus(fun):对[K,V]型数据中的V值map操作(例1)：对每个的的年龄加2object MapValues { def main(args: Array[String]) { val conf = new SparkConf().setMaster("local").setAppName("map") val sc = new Spark
2016-05-31 22:34:44
3292
原创 spark之RDD基本转换
1.map(func)：数据集中的每个元素经过用户自定义的函数转换形成一个新的RDD，新的RDD叫MappedRDDobject Map { def main(args: Array[String]) { val conf = new SparkConf().setMaster("local").setAppName("map") val sc = new Spark
2016-05-31 22:29:27
3255
转载 Spark 入门实战之最好的实例
转载：https://www.ibm.com/developerworks/cn/opensource/os-cn-spark-practice1/搭建开发环境安装 Scala IDE搭建 Scala 语言开发环境很容易，Scala IDE 官网 下载合适的版本并解压就可以完成安装，本文使用的版本是 4.1.0。安装 Scala 语言包如果下载的 S
2016-05-29 23:27:28
38887
4
原创 spark之RDD
1、Spark中的RDD就是一个不可变的分布式对象集合。每个RDD都被分为多个分区，这些分区运行在集群的不同节点上。创建RDD的方法有两种：一种是读取一个外部数据集；一种是在群东程序里分发驱动器程序中的对象集合，不如刚才的示例，读取文本文件作为一个字符串的RDD的示例。2、创建出来后，RDD支持两种类型的操作:转化操作和行动操作转化操作会由一个RDD生成一个新的RDD。（比如刚才的根据谓词
2016-05-29 23:23:03
3510
原创 spark简介
Spark 由加州大学伯克利分校 AMP 实验室 (Algorithms, Machines, and People Lab) 开发，可用来构建大型的、低延迟的大数据处理的应用程序。并且提供了用于机器学习 (MLlib), 流计算（Streaming）, 图计算 (GraphX) 等子模块， 1.4.0 版本更是提供了与 R 语言的集成，这使得 Spark 几乎成为了多领域通吃的全能技术。Spar
2016-05-29 23:12:58
3439
原创 scala学习之scala与java的一些区别（二）
不带命令行参数的简化main方法：object app1 extends Application { println("hello world")}Scala的import可以只在局部作用域内生效；可以格式 “import javax.swing.{JFrame=>jf}”来声明类型的别名。jf.show()l import
2016-05-29 21:17:25
4203
原创 scala学习之scala与java的一些区别（一）
关键字：abstract case catch class defdo else extends false finalfinally for if implicit importmatch new null o
2016-05-29 20:59:24
6460
原创 scala学习之update
update: 当带有括号并包含一到多个参数进行赋值时，编译器将使用对象的update方法对“括号里的参数和等号右边的值”执行调用val scores = new scala.collection.mutable.HashMap[String, Int]scores("Bob") = 100val bobsScore = scores("Bob")以上三行代码，我们创建了一个
2016-05-29 20:26:33
4293
原创 scala学习之apply
apply： 用括号传递变量（对象）一个或多个参数时，scala会把它转化为对apply方法的调用val array=Array(1,2,3,4,5,6) array(0), 取数组的第一个元素的操作会转换成 array.apply(0) 操作，这也能解释为什么 Scala 数组取值不用中括号括下标的方式，因为它也是一次方法调用。 anyobject("key1")会被
2016-05-29 19:45:03
3845
原创 scala学习之Map、Tuple、zip
默认Map是不可变的Mapval map=Map("book"->10,"gun"->18,"ipad"->1000)//map: scala.collection.immutable.Map[String,Int] = Map(book -> 10, gun -> 18, ipad -> 1000)构造一个可以变的Map[String,Int],其值是可以变化的 val b
2016-05-29 11:17:44
3660
原创 scala学习之Array
数组分为两种：定长数组(Array) 变长数组(Arraybuffer) val nums=new Array[Int](10) val a=new Array[String](10) import scala.collection.mutable.ArrayBuffer val b=ArrayBuffer[Int]() b+=1 b+=(1,2,3,5) b++=Ar
2016-05-29 10:50:43
3555
原创 scala笔记之for
for(i for变量中之前并没有指定i的类型，i是集合的元素类型，循环变量的作用域一直持续到循环结束。for遍历数组：var array=Array(1,2,3)var array1=Array("hello","word")for(i第一种方式 println(array(i))}for(elem println(elem)for遍历字符串for(ch
2016-05-29 10:39:40
3456
原创 scala简介
scala是以实现scaleable language为初衷设计出来的一门语言。官方中，称它是object-oriented language和functional language的混合式语言。并且，scala可以和java程序无缝拼接，因为scala文件编译后也是成为.class文件，并且在JVM上运行。Scala是一个可直译、可编译、静态、可运行于JVM之上、可与Java互操作、融合面向
2016-05-29 10:11:46
3613
转载 细数5款主流NoSQL数据库到底哪家强？
转载：http://ms.csdn.net/geek/76483最近小组准备启动一个 node 开源项目，从前端亲和力、大数据下的IO性能、可扩展性几点入手挑选了 NoSQL 数据库，但具体使用哪一款产品还需要做一次选型。我们最终把选项范围缩窄在 HBase、Redis、MongoDB、Couchbase、LevelDB 五款较主流的数据库产品中，本文将主要对它们进行分析对比。鉴于
2016-05-26 09:00:26
5127
转载 NoSQL数据库概览及其与SQL语法的比较
转载：http://ms.csdn.net/geek/76470HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，同时也是知名的NoSQL数据库之一。NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战，尤其是大数据应用的难题。本文对NoSQL数据库的定义、分类、特征、当前比较流行的NoSQL数据库系统等进行了简单的介绍，并对NoSQL和SQL语法进行
2016-05-26 08:58:14
3065
转载 69道Spring面试题和答案
原文地址 译者：深海（1422207401@qq.com) 校对：方腾飞目录Spring 概述依赖注入Spring beansSpring注解Spring数据访问Spring面向切面编程（AOP）Spring MVCSpring 概述1. 什么是spring?Spring 是个java企业级应用的开源开发框架。Spring主要用来开发Java应用，但是有些扩展是
2016-05-23 10:03:05
1547
转载 Java的接口和抽象类详解
对于面向对象编程来说，抽象是它的一大特征之一。在Java中，可以通过两种形式来体现OOP的抽象：接口和抽象类。这两者有太多相似的地方，又有太多不同的地方一.抽象类在了解抽象类之前，先来了解一下抽象方法。抽象方法是一种特殊的方法：它只有声明，而没有具体的实现。抽象方法的声明格式为：abstract void fun();抽象方法必须用abstract关键字进行修饰。如果一个类含有抽象
2016-05-23 09:51:06
1504
1
转载 Java经典类库-Guava中的函数式编程讲解
原文出处： 黄博文如果我要新建一个java的项目，那么有两个类库是必备的，一个是junit，另一个是Guava。选择junit，因为我喜欢TDD，喜欢自动化测试。而是用Guava，是因为我喜欢简洁的API。Guava提供了很多的实用工具函数来弥补java标准库的不足，另外Guava还引入了函数式编程的概念，在一定程度上缓解了java在JDK1.8之前没有lambda的缺陷，使使用jav
2016-05-23 09:45:12
1540
转载 linux五个查找命令
在Linux中，有很多方法可以做到这一点。国外网站LinuxHaxor总结了五条命令，你可以看看自己知道几条。大多数程序员，可能经常使用其中的2到3条，对这5条命令都很熟悉的人应该是不多的。ndfind是最常见和最强大的查找命令，你可以用它找到任何你想找的文件。find的使用格式如下： $ find - ： 所要搜索的目录及其所有子目录。默认为当前
2016-05-20 09:28:42
1647
转载 数据结构和算法05 之红-黑树（看完包懂~）
转载：http://blog.csdn.net/eson_15/article/details/51144079（友情提示，红-黑树是基于二叉搜索树的，如果对二叉搜索树不了解，可以先看看：二叉搜索树 ） 从第4节的分析中可以看出，二叉搜索树是个很好的数据结构，可以快速地找到一个给定关键字的数据项，并且可以快速地插入和删除数据项。但是二叉搜索树有个很
2016-05-19 09:25:33
2243
1
原创 java集合框架
Java集合框架是java提供的工具包，在java.util.*中，这个包中包含了常用的数据结构：集合、数组、链表、栈、队列、映射等。java集合框架主要可以分为四个部分：List列表、Set集合、Map映射和工具类（Iterator迭代器、Enumeration枚举类、Arrays和Collections）。 java集合框架示意图如下： 从图中可以看
2016-05-19 09:11:17
1673
转载 Java的接口和抽象类详解
转载：http://ms.csdn.net/geek/74868对于面向对象编程来说，抽象是它的一大特征之一。在Java中，可以通过两种形式来体现OOP的抽象：接口和抽象类。这两者有太多相似的地方，又有太多不同的地方一.抽象类在了解抽象类之前，先来了解一下抽象方法。抽象方法是一种特殊的方法：它只有声明，而没有具体的实现。抽象方法的声明格式为：abstract void fun(
2016-05-19 08:53:56
1637
转载 单例模式的七种写法
第一种（懒汉，线程不安全）：Java代码 public class Singleton { private static Singleton instance; private Singleton (){} public static Singleton getInstance() { if (instance == null)
2016-05-13 09:42:20
3106
转载 数据模型概述
数据模型概述1.关系模型关系模型使用记录（由元组组成）进行存储，记录存储在表中，表由架构界定。表中的每个列都有名称和类型，表中的所有记录都要符合表的定义。SQL是专门的查询语言，提供相应的语法查找符合条件的记录，如表联接（Join）。表联接可以基于表之间的关系在多表之间查询记录。表中的记录可以被创建和删除，记录中的字段也可以单独更新。关系模型数据库通常提供事务处理机
2016-05-13 09:40:58
1917
转载 大数据存取的选择：行存储还是列存储？
上个月参加了一个云存储的技术讨论会。这一个月里，陆续收到几位同学讨论大数据保存和处理的邮件。今天是周末，索性把这个月的交流内容整理写下来，供各位参考。 目前大数据存储有两种方案可供选择：行存储和列存储。业界对两种存储方案有很多争持，集中焦点是:谁能够更有效地处理海量数据，且兼顾安全、可靠、完整性。从目前发展情况看，关系数据库已经不适应这种巨大的存储量和计算要求，基本是淘汰出局。在已知的几
2016-05-13 09:26:49
2512
原创 java内部类之私有内部类、局部内部类、匿名内部类
一、私有内部类：class Out { private int age = 12; private class In { public void print() { System.out.println(age); } } public void outPrint() { new
2016-05-07 13:09:37
10843
1
原创 java内部类之成员内部类、静态内部类
内部类其实就是一个类中还包含着另外一个类如同一个人是由大脑、肢体、器官等身体结果组成，而内部类相当于其中的某个器官之一，例如心脏：它也有自己的属性和行为（血液、跳动）显然，此处不能单方面用属性或者方法表示一个心脏，而需要一个类，而心脏又在人体当中，正如同是内部类在外部内当中广泛意义上的内部类一般来说包括这四种：成员内部类、局部内部类、匿名内部类和静态内部类。下面就先来了解一下这四种内部
2016-05-07 11:53:59
4268
转载 Python正则表达式指南
转载：http://www.cnblogs.com/huxi/archive/2010/07/04/1771073.html1. 正则表达式基础1.1. 简单介绍正则表达式并不是Python的一部分。正则表达式是用于处理字符串的强大工具，拥有自己独特的语法以及一个独立的处理引擎，效率上可能不如str自带的方法，但功能十分强大。得益于这一点，在提供了正则表达式的语言里
2016-05-06 21:34:33
3032
原创 jvm运行时数据区
堆和方法区是线程共享的，虚拟机栈、本地方法栈和程序计数器是线程私有的一、程序计数器（寄存器）当前线程所执行的字节码行号指示器字节码解释器工作依赖计数器控制完成通过执行线程行号记录，让线程轮流切换各条线程之间计数器互不影响线程私有，生命周期与线程相同，随JVM启动而生，JVM关闭而死线程执行Java方法时，记录其正在执行的虚拟机字节码指令地址线程执行Nativan方法时，
2016-05-04 16:12:10
4715
原创 java内存模型
JAVA内存模型对于我们平时开发的业务应用来说，内存应该是访问速度最快的存储设备，对于频繁访问的数据，我们总是习惯把它们放到内存缓存中，有句话不是说么，缓 存就像是清凉油，哪里有问题就抹一抹。但是CPU的运算速度比起内存的访问速度还要快几个量级，为了平衡这个差距，于是就专门为CPU引入了高速缓存，频 繁使用的数据放到高速缓存当中，CPU在使用这些数据进行运算的时候就不必再去访问内存。但是在
2016-05-04 14:31:35
2673
原创 IdentationError:unexception indent
IdentationError:unexception indent今天在学习Django时写代码遇到IdentationError:unexception indent1.对于此错误，最常见的原因是，的确没有对齐。但是我根据错误提示的行数，去代码中看了下，没啥问题啊。 都是用TAB键，对齐好了的，没有不对齐的行数啊。 2.以为是前面的注释的内容影响后面的语句的语法了，所以
2016-05-04 11:17:28
3272
原创 django的model创建对应表
django1.7之前的版本都是：python manage.py syncdbdjango1.7及之后的版本做了修改，把1步拆成了2步，变成：python manage.py makemigrationspython manage.py migrate
2016-05-03 23:34:20
2554
原创 激活Django自动管理
django.contrib 包Django自动管理工具是django.contrib的一部分。django.contrib是一套庞大的功能集，它是Django基本代码的组成部分，Django框架就是由众多包含附加组件(add-on)的基本代码构成的。 你可以把django.contrib看作是可选的Python标准库或普遍模式的实际实现。 它们与Django捆绑在一起，这样你在开发中就不
2016-05-03 12:45:03
2212
原创 java连接redis
针对java语言，redis client也提供了多种客户端支持，按照推荐类型依次是：Jedis、Redisson、JRedis、JDBC-Redis、RJC、redis-protocol、aredis、lettuce。Redisson的源码工程所在位置：https://github.com/mrniko/redisson。示例： 新建maven工程， 在pom.x
2016-05-02 10:04:17
2078
1
原创 redis在windows中的安装
redis在windows中的安装： （1）下载地址：https://github.com/dmajkic/redis/downloads 下载下来的包里有两个，一个是32位的，一个是64位的。根据自己的实情情况选择，我的是64bitRedis官方是不支持windows的，只是 Microsoft Open Tech group 在 GitHub上开发了一个Win64的版本,项目
2016-05-02 09:43:28
1763
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人