2016年04月_聆听的幻树

原创 Redis安装及使用

Redis安装及使用 Redis简介：概述1、Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。官网：http://redis.io/ 2、redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、l

2016-04-29 15:38:50 8194

翻译 Spark 数据ETL

Spark 数据ETL 说明1、本文翻译自《Machine Learning with Spark》书中第三章第3,4节内容。2、本文一些内容基于http://blog.csdn.net/u011204847/article/details/51224383。3、大家如果有看不懂的地方可以参考原书（网上可以搜到）。数据处理以及转化1、

2016-04-26 01:12:54 15965

原创 PySpark处理数据并图表分析

PySpark处理数据并图表分析 PySpark简介官方对PySpark的释义为：“PySpark is the Python API for Spark”。也就是说pyspark为Spark提供的Python编程接口。Spark使用py4j来实现python与java的互操作，从而实现使用python编写Spark程序。Spark也同样提供了pyspark

2016-04-23 01:57:58 25582

原创 Awk使用及网站日志分析

Awk使用及网站日志分析 Awk简介概述awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。awk有3个不同版本: awk、nawk和gawk，未作特别说明，一般指gawk。awk程序的报告生成能力

2016-04-21 00:27:58 14663

原创 Shell编程详解

Shell编程详解 Shell简介概述Shell是一种具备特殊功能的程序，它提供了用户与内核进行交互操作的一种接口。它接收用户输入的命令，并把它送入内核去执行。内核是Linux系统的心脏，从开机自检就驻留在计算机的内存中，直到计算机关闭为止，而用户的应用程序存储在计算机的硬盘上，仅当需要时才被调入内存。Shell是一种应用程序，当用户登录Linux系统时，Shel

2016-04-19 00:39:31 55213 2

原创 Java正则表达式

Java正则表达式正则表达式简介概述正则表达式定义了字符串的模式，可以用来搜索、编辑或处理文本。正则表达式并不仅限于某一种语言，但是在每种语言中有细微的差别。Java的正则表达式和Perl的是最为相似的。特点正则表达式的特点是：灵活性、逻辑性和功能性非常的强；可以迅速地用极简单的方式达到字符串的复杂控制。可读性比较差。

2016-04-18 00:43:31 11886 1

原创 Java网络详解

Java网络详解 Java网络基本概念网络基础知识　　1、计算机网络形式多样，内容繁杂。网络上的计算机要互相通信，必须遵循一定的协议。目前使用最广泛的网络协议是Internet上所使用的TCP/IP协议　　2、网络编程的目的就是指直接或间接地通过网络协议与其他计算机进行通讯。网络编程中有两个主要的问题，一个是如何准确的定位网络上一台或多台主机，另一个就是找到

2016-04-16 23:56:23 5924

原创 Java IO流

Java IO流 Java IO简介概述流是一组有顺序的，有起点和终点的字节集合，是对数据传输的总称或抽象。即数据在两设备间的传输称为流，流的本质是数据传输，根据数据传输特性将流抽象为各种类，方便更直观的进行数据操作。根据处理数据类型的不同分为：字符流和字节流根据数据流向不同分为：输入流和输出流字符流和字节流字符流的由来：因为

2016-04-15 23:25:18 5251

原创 Java多线程详解

Java多线程详解多线程简介概述多线程（multithreading），是指从软件或者硬件上实现多个线程并发执行的技术。具有多线程能力的计算机因有硬件支持而能够在同一时间执行多于一个线程，进而提升整体处理性能。具有这种能力的系统包括对称多处理机、多核心处理器以及芯片级多处理或同时多线程处理器。在一个程序中，这些独立运行的程序片段叫作“线程”（Thread），利用

2016-04-12 20:55:01 3556

原创 Java面向对象

Java面向对象面向对象面向对象在开发中是一种运用对象、类、继承、封装、聚合、消息传递、多态等概念来构造系统的软件开发方法。面向对象其实是相对于面向过程而言。面向对象在开发中的优点：减少软件的复杂性可维护性可扩展性可重用性表述非常自然将数据和功能并在一起考虑分析和实现的隔阂变得非常小面向对象特征：

2016-04-11 03:30:05 1545

原创 Scala Actor通信

Scala Actor通信简介Actor提供了并发程序中与传统的基于锁的结构不同的另一种选择。通过尽可能避免锁和共享状态，Actor使得我们能够更加容易设计出正确、没有死锁或争用状态的程序。Scala类库提供了一个Actor模型的简单实现，除此之外还有其他更高级的Actor类库，比如Akka(http://akka.io)。创建和启动Actora

2016-04-10 19:11:31 3567

原创 Scala XML处理

Scala XML处理简介XML是一种半结构化数据的形式。它比单纯的字符串更为结构化，因为它把数据内容组织成了树结构。尽管如此，单纯的XML的结构化程度依然比不上编程语言的对象，因为它允许在标签之间存在自由格式的文本，并且它缺少类型系统。任何在你需要序列化程序数据以保存到文件或通过网络运输的时候，半结构化的数据都将非常有用。你无须把结构化的数据直接“降解”为字节，

2016-04-10 13:07:02 6093

原创 Scala IO操作

Scala IO操作 Scala IO操作有执行常用的文件处理任务，比如从文件中读取所有行或单词，或者读取包含数字的文件等。读取行要读取文件中所有行，可以调用scala.io.Source对象的getLines方法：//导入Scala的IO包import scala.io.Source//以指定的UTF-8字符集读取文件，第一个参数

2016-04-09 23:24:48 3771

原创 Scala模式匹配

Scala模式匹配模式匹配简介简介Scala模式匹配机制十分强大，可以应用在很多场合：switch语句、类型查询，以及“析构”（获取复杂表达式中不同的部分）。除此之外，Scala还提供了样例类，对模式匹配进行了优化。要点match表达式是一个更好的switch，不会有意外掉入下一个分支的问题。如果没有模式能够匹配，会抛出Matc

2016-04-09 20:07:02 1970

原创 Scala类与对象

Scala类与对象类简介简介类是对象的蓝图。一旦你定义了类，就可以用关键字new根据类的蓝图创建对象。在类的定义里，可以放置字段和方法，这些被笼统地称为成员。对于字段，不管是val还是var定义的，都是指向对象的变量。对于方法，用def定义，包含了可执行代码。字段保留了对象的状态或数据，而方法使用这些数据执行对象的运算工作。当类被实例化的时候，运行时环境会预留一些内存

2016-04-09 15:23:05 8194

原创 Scala集合类型详解

Scala集合类型详解 Scala集合Scala提供了一套很好的集合实现，提供了一些集合类型的抽象。Scala 集合分为可变的和不可变的集合。可变集合可以在适当的地方被更新或扩展。这意味着你可以修改，添加，移除一个集合的元素。而不可变集合类永远不会改变。不过，你仍然可以模拟添加，移除或更新操作。但是这些操作将在每一种情况下都返回一个新的集合，同时使原来的集合不发生改

2016-04-08 20:30:36 19107 1

原创 Scala数组

Scala数组简介Scala 语言中提供的数组是用来存储固定大小的同类型元素，数组对于每一门编辑应语言来说都是重要的数据结构之一。声明数组变量并不是声明 number0、number1、...、number99 一个个单独的变量，而是声明一个就像 numbers 这样的变量，然后使用 numbers[0]、numbers[1]、...、numbers[99]

2016-04-07 22:57:49 1924

原创 Java泛型

Java泛型泛型介绍Java 泛型（generics）是 JDK 5 中引入的一个新特性, 泛型提供了编译时类型安全检测机制，该机制允许程序员在编译时检测到非法的类型。泛型的本质是参数化类型，也就是说所操作的数据类型被指定为一个参数。假定我们有这样一个需求：写一个排序方法，能够对整形数组、字符串数组甚至其他任何类型的数组进行排序，该如何实现？答案是可

2016-04-07 17:07:10 1342

原创 Java集合详解(二)：Map

Java集合详解(二)：Map Collection和Map比较Collection--->是一个单列的集合 Mapmap中需要存放两个元素一个是K：Key-->键一个是V：Value--->Value----->map是一个双列的集合每一个K和V之间存在着映射关系Map的特点：map的每一个对元素都是以

2016-04-06 23:34:03 1747 1

原创 Java集合详解（一）：Collection

Java集合详解（一）：Collection 1.集合简介集合类的由来：对象用于封装特有数据，对象多了需要存储，如果对象的个数不确定。就使用集合容器进行存储。集合的特点：用于存储对象的容器。集合的长度是可变的。集合中不可以存储基本数据类型值。集合容器因为内部的数据结构不同，有多种具体容器。不断的向

2016-04-06 22:22:02 1761

原创 Scala函数

Scala函数 Scala函数简介：在程序变得庞大时，需要将其分割成更小、更易管理的片段。为分割控制流，Scala为有经验的程序员提供了熟悉的方式：把代码分割成函数。Scala提供了许多Java中没有定义函数的方式。除了作为对象成员函数方法之外，还有内嵌在函数中的函数，函数字面量和函数值。定义函数最通用的方法是作为某个对象的成员。函数示例：def main(args

2016-04-05 21:46:26 1376

原创 Scala流程控制

Scala流程控制 1.Scala 内建的控制结构屈指可数，仅有 if 、while 、for , try 、match 和语句块而已。如此之少的理由是，Scala 从语法层而支持函数字面面量。因此，代之以在基本语法之上逐一添加高级的内建控制结构，Scala 可以把它们实现在函数库中。2.可能你已经发现，几乎所有的 Scala的控制结构都会产生某个值。这是函

2016-04-04 20:26:25 2655

原创 Scala语言基础

Scala语言基础 1. Scala词法Scala 程序使用的字符集是 Unicode 的基本多文种平面字符集；下面定义了 Scala 词法的两种模式：Scala 模式与 XML 模式。如果没有特别说明，以下对 Scala 符号的描述均指 Scala 模式，常量字符‘c’指 ASCII 段\u0000-\u007F。在 Scala 模式中，十六进制 Unico

2016-04-03 18:32:33 5856

原创 Scala环境配置

Scala环境配置 1.安装前提Scala 语言可以运行在Window、Linux、Mac OS X等系统上。基于Java，大量使用Java的类库和变量，所以使用Scala之前必须要先安装JDK。JDK的安装参考：http://blog.csdn.net/u011204847/article/details/51002072 2.Scala包下载

2016-04-02 19:16:50 1814

Tao_cuichen的博客