Evan_Gu-CSDN博客

原创 Unix时间戳，LST UTC GMT

什么是Unix时间戳(Unix timestamp)： Unix时间戳(Unix timestamp)，或称Unix时间(Unix time)、POSIX时间(POSIX time)，是一种时间表示方式，定义为从格林威治时间1970年01月01日00时00分00秒起至现在的总秒数。Unix时间戳不仅被使用在Unix系统、类Unix系统中，也在许多其他操作系统中被广泛采用当地标准时

2015-12-23 17:51:10 3300

转载 "Java:comp/env/"讲解与JNDI

我们在使用JNDI调用某个对象时，会有下述两种方式，那么 context.lookup("java:comp/env/XXX")和直接context.lookup("XXX")的有什么区别呢？其实说得简单点：context.lookup("java:comp/env/XXX")只能用在J2EE环境，即是如果你自己写一个main函数，想通过contex

2015-12-22 21:33:15 3614 1

原创 MySQL常用SQL查询语句

1 查询数据库中表个数SELECT count(*) TABLES，table_schema FROM information_schema.TABLESWHERE table_schema='对应的数据库名称' GROUP BY table_schema 说明：count() 函数用于计算数目，后面的 TABLES , table_schema 是返回后的表名，

2015-12-17 11:28:17 902

原创 Linux命令nohup

Usage ： nohup COMMAND [ARG] ... nohup 命令运行由 Command 参数和任何相关的 Arg 参数指定的命令，忽略所有挂断（SIGHUP）信号。在注销后使用 nohup 命令运行后台中的程序。要运行后台中的 nohup 命令，添加 & （表示”and”的符号）到命令的尾部。退出状态：该命令返回下列出口值：126 可以查找但不能调用 Co

2015-12-09 11:58:40 501

原创 Shell常用函数nice

Usage: nice [OPTION] [COMMAND [ARG]...] nice 可以在创建进程时，为进程指定谦让度（优先级）的增量值，进程的优先级的值是父进程SHELL的优先级的值与我们所指定谦让度的相加和。优先级从-20到19。越大，优先级越低。示例1)nice nice -n 5 gaim & //运行gaim程序，并为它指

2015-12-09 11:42:44 2259

原创 Java -cp命令与-classpath

java -cp java的cp命令java -cp .;c:\dir1\lib.jar Test-cp 和 -classpath 一样，是指定类运行所依赖其他类的路径，通常是类库，jar包之类，需要全路径到jar包，window上分号“;”分隔，linux上是分号“:”分隔。不支持通配符，需要列出所有jar包，用一点“.”代表当前路径。以下是两个启

2015-12-09 11:07:26 7256 1

原创 Linux根目录详解

我们在用Linux时，常常被这些不知道是啥意思的文件夹所迷惑，特别是想找到某些应用安装的位置。下面我们简单的了解一下。首先，贴出一张Ubuntu 下根目录，如下图1所示图 1 我们从左到右依次来说明每个文件夹的用途/bin 二进制可执行命令/boot目录用于存放linux操作系统启动时所需使用的文件。/cdrom 光驱，挂载光驱/dev 设备特殊文件

2015-12-08 21:12:15 1317

原创 shell中常用的特殊符号

在shell中常用的特殊符号罗列如下：# ; ;; . , / \ 'string'| ! $ ${} $? $$ $* "string"* ** ? : ^ $# $@ `comman

2015-12-08 19:41:44 837

原创 Shell调试

Shell 调试在我们进行Shell编写后，运行后错误，或者想知道执行shell文件过程是怎样的，我们可以运用Shell调试的方法来读取执行过程。例如，现有一个Shell文件 test.sh#!/bin/basha=(1 2 3 4 5)for i in ${a[@]} do echo $i1 检查语法错误-n 选项只做语法检查

2015-12-08 17:44:21 708

转载 Linux Shell编程入门

从程序员的角度来看， Shell本身是一种用C语言编写的程序，从用户的角度来看，Shell是用户与Linux操作系统沟通的桥梁。用户既可以输入命令执行，又可以利用 Shell脚本编程，完成更加复杂的操作。在Linux GUI日益完善的今天，在系统管理等领域，Shell编程仍然起着不可忽视的作用。深入地了解和熟练地掌握Shell编程，是每一个Linux用户的必修功课之一。Linux的Shell

2015-12-08 16:20:53 420

原创 Web网站开发组合方式

基于Apache的组合经典组合套件 LAMP （Linux 、Apache、MySQL、PHP）构建环境 http://www.lamphowto.com/ WAMP （Windows、Apache、MySQL、PHP） http://www.wampserver.com/ 基于Nginx

2015-12-08 15:41:06 1151

转载 React.js得到高度评价

他分析了当初JQuery大热的原因，当时有Prototype, MooTools 等竞争者，jQuery的不同之处在于大量使用CSS的selector选择器，这是抓住了当时人们需要渐进增强(Progressive Enhancement)的哲学概念（见：理解“渐进增强(Progressive Enhancement)”），这意味着：如果你将Javascript从你的站点删除关闭，你的网站还是能

2015-12-02 21:28:04 826

转载 React.js + Node.js使网站快速渲染

Netflix分享了其如何使用Node.js+React.js替代原来的Java + JQuery传统架构，从而让网站页面加载更快，用户体验UX更好。性能很重要。Netflix的会员希望一打开浏览器就能立即开始观看他们喜爱的内容，更快的启动才能有更令人满意的用户使用UX。所以，Netflix网站的用户界面工程团队将启动性能作为第一优先级考虑。这一努力最终使得启动时间降低了70%，工

2015-12-02 20:23:51 1823

With new powerful development tools, super cool new technology and tidal changes in the tech world, this year looks set to be a very exciting year for web developers. Here are our top 10 trends and pr

2015-12-02 19:04:07 1442

转载 Shark与Spark SQL关系

在2014年7月1日的Spark Summit上，Databricks宣布终止对Shark的开发，将重点放到Spark SQL上。Databricks表示，Spark SQL将涵盖Shark的所有特性，用户可以从Shark 0.9进行无缝的升级。本次Databricks推广的Shark相关项目一共有两个，分别是Spark SQL和新的Hive on Spark（HIVE-7292），在

2015-12-02 15:16:39 4159

原创 Memcached

Memcached 是一个高性能的分布式内存对象缓存系统，用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数，从而提高动态、数据库驱动网站的速度。Memcached基于一个存储键/值对的hashmap。其守护进程（daemon ）是用C写的，但是客户端可以用任何语言来编写，并通过memcached协议与守护进程通信。

2015-12-01 21:05:44 428

原创贝叶斯网络(Bayesian Network)

贝叶斯网络贝叶斯网络（Bayesian Networks）也被称为信念网络（Belif Networks）或者因果网络（Causal Networks），是描述数据变量之间依赖关系的一种图形模式，是一种用来进行推理的模型。贝叶斯网络为人们提供了一种方便的框架结构来表示因果关系，这使得不确定性推理变得在逻辑上更为清晰、可理解性强。对于贝叶斯网络，我们可以用两种方法来看待它：首先贝叶斯网表达了各个节点间

2015-11-23 22:34:02 61795 10

转载 2015年IEEE可视化机器学习与可视化

IEEE Visualization Conference 2015 - Increasing Influence of Machine Learning转自：http://blogs.technet.com/b/machinelearning/archive/2015/11/11/ieee-visualization-conference-2015-incre

2015-11-23 15:20:21 909

原创统计学第一类错误和第二类错误

统计学中存在两类错误这两类错误主要是在统计学假设检验中所出现的，因此，先要了解假设检验的基本概念。假设检验(Hypothesis Testing)是数理统计学中根据一定假设条件由样本推断总体的一种方法。具体作法是：根据问题的需要对所研究的总体作某种假设，记作H0H_0；选取合适的统计量，这个统计量的选取要使得在假设H0H_0成立时，其分布为已知；由实测的样本，计算出统计量的值，并根据预先给定的显

2015-11-22 11:03:14 48612 1

原创 socket 基础（Linux网络编程基础API）

网络上的两个程序通过一个双向的通信连接实现数据的交换，这个连接的一端称为一个socket。 Socket的英文原义是“孔”或“插座”。作为BSD UNIX的进程通信机制，取后一种意思。通常也称作"套接字"，用于描述IP地址和端口，是一个通信链的句柄，可以用来实现不同虚拟机或不同计算机之间的通信。在Internet上的主机一般运行了多个服务软件，同时提供几种服务。

2015-11-20 21:59:46 740

转载深入理解C/C++内存对齐

引用:http://www.jb51.net/article/45406.htm内存对齐,memory alignment.为了提高程序的性能，数据结构（尤其是栈）应该尽可能地在自然边界上对齐。原因在于，为了访问未对齐的内存，处理器需要作两次内存访问；然而，对齐的内存访问仅需要一次访问。内存对齐一般讲就是cpu access memory的效率(提高运行速度)和准确性(在一些条件下

2015-11-20 20:52:32 656

原创 socket与TCP/IP协议族的关系

由于TCP/IP协议中数据链路、网络层、传输层协议是在内核中实现的，操作系统需要实现一组系统调用，使得应用程序能够访问这些协议提供服务。实现这组系统调用的API（Application Programming Interface，应用程序编程接口），主要有两套：socket 和XTI。 socket定义的这一组API提供两点功能：1 将应用程序数据从用户缓冲区中复制到TCP/IP内

2015-11-20 19:00:09 1444

原创状态转移矩阵（status transition matrix ）

转移概率矩阵（又叫跃迁矩阵，英文名：transition matrix）是俄国数学家马尔科夫提出的，他在20世纪初发现：一个系统的某些因素在转移中，第n次结果只受第n-1的结果影响，即只与当前所处状态有关，而与过去状态无关。在马尔科夫分析中，引入状态转移这个概念。所谓状态是指客观事物可能出现或存在的状态；状态转移是指客观事物由一种状态转移到另一种状态的概率。例如对应于一个天气预报的问题，若天气状态

2015-11-20 17:23:44 47113 2

原创【TCP/IP协议】四层协议系统

TCP/IP协议族体系结构，主要分为四层，自底向上分别是数据链路层、网络层、传输层、应用层。其中前三层运行在系统内核空间，应用层运行在用户空间。内核空间与用户空间区别Linux系统对自身进行了划分，一部分核心软件独立于普通应用程序，运行在较高的特权级别上，它们驻留在被保护的内存空间上，拥有访问硬件设备的所有权限，Linux将此称为内核空间。相对地，应用程序则是在“用户空间

2015-11-14 21:09:06 1337

原创聚类（clustering）与分类（Classification）的区别

当把聚类（Clustering）和分类（Classification）放到一起时，很容易弄混淆两者的概念，下分别对两个概念进行解释。 1 聚类（Clustering）：将物理或抽象对象的集合分成由类似的对象组成的多个类的过程被称为聚类。聚类分析的一般做法是，先确定聚类统计量，然后利用统计量对样品或者变量进行聚类。对N个样品进行聚类的方法称为Q型

2015-11-11 10:59:18 51473 1

原创 Kernel density estimation 核密度估计

kernel density estimation是在概率论中用来估计未知的密度函数，属于非参数检验方法之一，由Rosenblatt (1955)和Emanuel Parzen(1962)提出，又名Parzen窗（Parzen window）。Ruppert和Cline基于数据集密度函数聚类算法提出修订的核密度估计方法。（先记录一下，下次再补全资料）

2015-11-10 22:22:08 17375 1

原创 Scala实践

使用JavaScala和Java可以非常方便的互操作，前面已经有大量Scala直接使用Java的例子。同样Java也可以使用Scala。这个例子演示使用@BeanProperty注解来生成Java Style的Bean。尝试将var name: String修改为@BeanProperty var name: String这样就给bean添加了getter/setter。 Apache Be

2015-10-29 23:49:20 693

原创 Scala并行

使用ActorActor是Scala的并发模型。在2.10之后的版本中，使用Akka作为其推荐Actor实现。 Actor是类似线程的实体，有一个邮箱。 Actor可以通过system.actorOf来创建,receive获取邮箱消息，！向邮箱发送消息。这个例子是一个EchoServer，接受信息并打印。import akka.actor.{ Actor, ActorSystem, Props

2015-10-28 22:04:46 1320 1

原创 Scala函数

模式匹配模式匹配是类似switch-case特性，但更加灵活；也类似if-else，但更加简约。这个例子展示的使用用模式匹配实现斐波那契。使用case来匹配参数，如果case _，则可以匹配任何参数。试着将case n: Int修改为case n: Int if (n > 1)case后添加if语句判断,这样修改当输入负数时，就不会无限循环。模式匹配也可以匹配类型，在case _ 前加

2015-10-28 21:35:47 694 1

转载隐马尔可夫（HMM）举例讲解

著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。作者：Yang Eninala链接：http://www.zhihu.com/question/20962240/answer/33438846 来源：知乎隐马尔可夫（HMM）好讲，简单易懂不好讲。我认为 @者也的回答没什么错误，不过我想说个更通俗易懂的例子。我希望我的读者不是专家，而是对这个问题感兴趣

2015-10-28 10:42:46 3017

原创 Scala基础

在Scala中，几乎所有的语言元素都是表达式。println("hello wolrd")是一个表达式，"hello"+" world"也是一个表达式。可以通过val定义一个常量，亦可以通过var定义一个变量。推荐多使用常量。声明 defdef square(a: Int) = a * adef squareWithBlock(a: Int) = { a * a}val squareVal =

2015-10-27 23:08:28 437

转载 Google Dremel 原理 - 如何能3秒分析1PB

Google Dremel 原理 - 如何能3秒分析1PBPosted on 2012-08-23 by yankay原文来自：http://www.yankay.com/google-dremel-rationale/ 简介Dremel 是Google 的“交互式”数据分析系统。可以组建成规模上千的集群，处理PB级别的数据。MapReduce处理一个数据，需要分钟

2015-10-27 10:37:26 496

原创 Spark开发环境之windows配置

1. 需要 Eclipse http://www.eclipse.org/downloads/ Scala IDE http://scala-ide.org/blog/release-notes-4.2.0-vfinal.html 前提：安装了JDK 、 Scala http://www.scala-lang.org

2015-10-25 19:06:05 705

原创 WARN Worker: Failed to connect to master

问题对Spark进行Standalone模式布局，在节点机器上启动 > ./sbin/start-slave.sh spark://MasterURL:7077 新增 Worker > ./bin/spark-class org.apache.spark.deploy.worker.Wo

2015-10-23 17:47:09 8405

转载 C++好书列表

Beginner（初学者）Introductory, no previous programming experienceProgramming: Principles and Practice Using C++ (Bjarne Stroustrup) (updated for C++11/C++14) An introduction to programming usi

2015-10-23 10:53:39 628

原创 SparkPi源码解读

SparkPi源码import scala.math.random import org.apache.spark._ /** Computes an approximation to pi */ object SparkPi { def main(args: Array[String]) { if (args.length == 0)

2015-10-22 20:03:05 1867

原创 Spark启动错误Exception in thread “main” java.lang.NoSuchMethodError: scala.collection.immutable.HashSet$

1 错误[error] (run-main-0) java.lang.NoSuchMethodError: scala.collection.immutable.HashSet$.empty()Lscala/collection/immutable/HashSet;java.lang.NoSuchMethodError: scala.collection.immutable.HashS

2015-10-22 19:44:51 11152 3

原创 Spark shell脚本

启动终端，cd 到 SPARK_HOME/ 路径下运行命令 $ ./bin/spark-shell

2015-10-20 20:12:08 1232

原创 Spark与Hadoop关系

Spark是一个计算框架Hadoop是包含计算框架MapReducehe分布式文件系统HDFS。 Spark是MapReduce的替代方案，而且兼容HDFS、Hive等分布式存储系统，可融入Hadoop生态。 Spark与Hadoop MapReduce优势如下1 中间结果输出 MapReduce的计算引擎将中间结果存储在磁盘上，进行存储和容错。 Spark

2015-10-20 15:07:28 2282

原创美国五大可视分析中心

美国西北太平洋国家实验室（http://www.pnnl.gov/）建立了5个区域性可视分析中心：斯坦福大学（http://vis.stanford.edu/）北卡罗来纳州立大学夏洛特分校和乔治亚理工大学（http://srvac.unnc.edu/）普度大学和印第安纳大学医学院（http://engineering.purdue.edu/purvac/）宾夕法尼亚州立大学（）

2015-10-19 16:58:11 1054

ISO11179 2015

SO / IEC 11179-5：2015信息技术—元数据注册表（MDR）—第5部分：命名原则 ISO / IEC 11179-5：2015提供了有关在ISO / IEC 11179-3中定义的以下各项的命名的说明：概念，数据元素概念，概念域，数据元素和值域。ISO / IEC 11179-5：2015描述了元数据注册表（MDR）中的命名；包括可以制定命名约定的原则和规则；并提供命名约定的示例。

2020-11-12