2015年08月_雄鸡

12月 11月 09月 08月 07月 06月 05月 04月 03月 02月

转载 MySQL修改编码设置及乱码问题

一. 在前台连接写入的时候编码是不是与数据库编码符合<?php $conn = @ MYSQL_CONNECT("localhost","root","")OR DIE ("数据库连接错误"); MYSQL_SELECT_DB("millia",$conn); MYSQL_QUERY('SET NAMES UTF8');//使用UTF8而不是UTF-8中文编码?>二、查看MYSQL数据库的编码mys

2015-08-29 15:35:12 14393

原创 hive mysql 编码问题

在安装Hive时，经常报异常。后来采用输出日志的方式来开启hive：hive -hiveconf hive.root.logger=DEBUG,console 这样在执行命令时，就会输出日志，出现异常可以很快定位。ERROR DataNucleus.Datastore: Error thrown executing CREATE TABLE SD_PARAMS ( SD_ID BI

2015-08-29 14:53:12 4875 2

原创 hive shell命令

Hive的Shell有命令行模式和交互模式。命令行模式用起来如同“hadoop fs -ls /”这种；交互模式如同“hbase shell”进入的模式，和hbase shell不同的是hive的交互模式里每个命令后都要用分号结束。Hive 命令行参数： -i 从文件执行初始化HQL后进入交互模式。 -e 从命令行执行指定的HQL语句。 -f 执行HQL脚本文件。 -v 输出执行的HQL

2015-08-28 23:00:52 6433

转载时间单位换算

时间单位还有：毫秒(ms)、微秒(μs)、纳秒(ns)、皮秒(ps)、飞秒(fs)、阿秒、渺秒1 s = 10^3 ms = 10^6 us = 10^9 ns = 10^12 ps = 10^15 fs=10^18阿秒=10^21渺秒=10^43普朗克常数毫秒毫秒是一种较为微小的时间单位，是一秒的千分之一。典型照相机的最短曝光时间为一毫秒。一只家蝇每三毫秒扇一次翅膀；蚊子二十毫秒振翅一次；蜜蜂则每

2015-08-28 13:13:47 3669

原创 hive 的一次使用命令

从本地调用hive从hive 系统的records表中查询3 条数据放入到本地的aa 文件中 hive -S -e “select * from records limit 3” > tmp/aa从文件中执行hive命令hive -f tmp/aa.hql从hive中执行本地文件在hive 执行本地文件 tmp/aa.hql文件 hive source tmp/aa.h

2015-08-27 23:38:48 852

原创 linux 查找命令

从文件内容查找匹配指定字符串的行：$ grep “被查找的字符串” 文件名在当前目录里第一级文件夹中寻找包含指定字符串的.in文件grep “thermcontact” /.in从文件内容查找与正则表达式匹配的行：$ grep –e “正则表达式” 文件名查找时不区分大小写：$ grep –i “被查找的字符串” 文件名查找匹配的行数：$ grep -c “被查找的字符串” 文件名

2015-08-27 22:45:02 593

转载 spring 中的 factory-method 属性

配置工厂Bean 通常由应用程序直接使用new创建新的对象,为了将对象的创建和使用相分离,采用工厂模式,即应用程序将对象的创建及初始化职责交给工厂对象. 一般情况下,应用程序有自己的工厂对象来创建bean.如果将应用程序自己的工厂对象交给Spring管理,那么Spring管理的就不是普通的bean,而是工厂Bean. 调用getBean()方法,Spring返回的不是直接创建的Bean的实例,

2015-08-27 07:58:00 4097

原创 Spring的 depends-on

使用场景当bean 与bean直接初始化有先后顺序时，就需要指定他们直接的依赖关系，可以使用depends-on属性。实例代码 Userpublic class User{ public User() { System.out.println("User initialized"); Shared.setValue("Set value in

2015-08-27 06:54:08 2856

原创第85讲：Scala中For表达式实现高阶函数的效果

下面的例子，是打印母子的姓名样本类case class Person(name: String, isMale: Boolean, children: Person*)用高级函数实现 def main(args: Array[String]) { val lauren = Person("Lauren", true) val rocky = Person("rocky", fals

2015-08-16 12:44:10 856 2

原创第82讲：Scala中List的ListBuffer实现高效的遍历计算

我们通过对比下列3组程序，对比，发现优缺点第一组：递归代码 def main(args: Array[String]) { val data = 1 to 20000 val currntTime =System.currentTimeMillis() increase(data.toList) println("used time=" + (System.curren

2015-08-16 10:49:02 9633

原创 akka 之 Dispatcher学习笔记

一、概要Dispatchers are the heart of the Akka application and this is what makes it humming. Routers on the other hand, route incoming messages to outbound actors二、Dispatcher 类型Dispatcher 特点如下： • Ev

2015-08-10 00:28:53 5423 1

原创第81讲：Scala中List的构造是的类型约束逆变、协变、下界

关于逆变与协变相关知识，可以参考之前的章节。这里主要是对 list 中 cons(::) 操作过程讲解代码abstract class Big_Dataclass Hadoop extends Big_Dataclass Spark extends Big_Dataobject List_Constructor_Internals { def main(args: Array[Stri

2015-08-09 18:06:12 559

转载 scala 中协变与逆变

到上次为止由羽生田先生介绍了Scala语法的特点，这一讲我作为嘉宾来介绍一下Scala的类型系统和相关功能。本次介绍的重点是Java与 Scala之间类层次的差异、范型的协变与逆变、实存类型（Existential Type）、结构类型（Structural Type）和复合类型（Compound Type）。与Java相似之处Scala类型系统的基础部分是与Java非常相像的。Scala与Java

2015-08-09 16:57:24 2835 1

原创第79讲：单例深入讲解及单例背后的链式表达式

在Scala中，表达单例的一种语法，就是object对象，如果此对象有伴生类的话，此对象就是伴生对象，被用作公共方法或者成员字段的存储区。其实每一个对象都有单例类型，如：/** * 单例深入讲解及单例背后的链式表达式 * Created by zhiwang on 2015/8/9. */import scala.reflect.runtime.universe._object Scala1

2015-08-09 15:25:10 752

原创第78讲：scala 中Type与Class初步学习

概要由于在scala中非常强调泛型或者说类型系统，Java和scala是基于jvm的， java1.5以前具体对象的类型与class一一对应，后来引入泛型，如字符串数组或整数数组，都是数组，但其实类型是不一样的，在虚拟机内部，并不关心泛型或类型系统。对泛型支持是基于运行时角度考虑的，在虚拟机中泛型被编译运行时是被擦除的，在运行时泛型是通过反射方式获取。一、type 与 class 概念

2015-08-09 12:34:19 3518

原创第77讲：模式匹配下的提取器过程分析

概要所谓模式匹配下的提取器，就是模式匹配与提取器的结合。关于提取器可以参考scala 中的提取器示例代码这里主要是通过 object 对象的 unapply 在模式匹配的应用object :>{ //定义提取器 :> def unapply[A](list:List[A]) = { Some(list.init,list.last) }}object Extract

2015-08-09 11:06:55 681

原创第28讲：Scala提取器Extractor

所谓提取器，就是从表达式获取具体值。其作用，可以根据某一规则，非常方便的获取到想要的值提取器在数组的应用实例代码 def match_arr(arr:Any) = arr match{ case Array(0) => println("array:" + 0) //判断arr是数组，并且只有一个元素，该值为0的规则 case Array(x,y) => println(

2015-08-09 08:44:40 2377

原创 Round Robin 概念理解

什么是Round Robin？先来看和他相近的名词，轮询调度算法(Round-Robin Scheduling)轮询调度算法的原理是每一次把来自用户的请求轮流分配给内部中的服务器，从1开始，直到N(内部服务器个数)，然后重新开始循环。算法的优点是其简洁性，它无需记录当前所有连接的状态，所以它是一种无状态调度。轮询调度算法流　　假设有一组服务器N台，S = {S1, S2, …, Sn}，一个指示变量

2015-08-08 12:06:56 31224 1

转载线程通信机制

线程通信机制：共享内存 VS 消息传递在并发编程中，我们必须考虑的问题时如何在两个线程间进行通讯。这里的通讯指的是不同的线程之间如何交换信息。目前有两种方式： 1、共享内存 2、消息传递（actor 模型）共享内存共享内存这种方式比较常见，我们经常会设置一个共享变量。然后多个线程去操作同一个共享变量。从而达到线程通讯的目的。例如，我们使用多个线程去执行页面抓取任务，我们可以使用一个共享变量cou

2015-08-08 12:02:37 624

原创 scala 中配置文件之 config

Typesafe的Config库，纯Java写成、零外部依赖、代码精简、功能灵活、API友好。支持Java properties、JSON、JSON超集格式HOCON以及环境变量。它也是Akka的配置管理库.Overview纯java实现，无任何依赖充分的测试支持: Java properties, JSON, and a human-friendly JSON superset可以合并各种格

2015-08-08 10:58:59 20450

原创第26讲：Scala中模式匹配入门

scala 中，模式匹配与消息传递的威力无穷，本节是模式匹配的入门，主要讲解模式匹配的基本语法。scala 中模式匹配使用 match case 的语法，与其他语言如java 的swith 相似，不同的是，scala 既可以接受常量，也可以接受变量，同时对数据类型没有强制要求，既可以是基本类型，也可以是自定义类型。本节主要是常量、变量的内容一、匹配常量示例代码 val result = 1

2015-08-05 06:50:15 882

原创第76讲:模式匹配下的赋值语句

赋值操作背后的模式匹配，赋值过程可能返回多个值，此时为了接受多个值，我们可能用tuple定义几个变量来处理。实例代码，如下 //@是别名的意思，a@b形成了tuple2二元元组 //把1000赋值给a和b,并返回二元组的内容给val a@b var a@b = 1000 println("a=" + a + ",b=" + b) b = 200

2015-08-04 22:43:01 498

原创第75讲：模式匹配下的For循环

For 循环中的模式匹配，可以过滤数据，数据处理方面使用。 for(i<-List(1,2,3,4,5)) println(i) //实际上调用的是foreach for(index@"Flink" <- List("hadoop","spark","Flink")) println(index)//为参数起了个别名进行匹配 for((language,"hadoop") <-

2015-08-03 23:37:55 653

原创第74讲：从Spark源码的角度思考Scala中的模式匹配

今天学习了从源码角度去分析scala中的模式匹配的功能。让我们看看源码中的这一段模式匹配：从代码中我们可以看到，case RegisterWorker(id,workerHost,……..){}这里为模式匹配，而我们的模式匹配类RegisterWorker之前就已定义好，如下图：我们可以看到，我们的模式匹配类是已经定义好的，当我们的master接收到worker发来的消息时，进行模式匹配：这里还

2015-08-03 22:43:08 728

转载 ScheduledExecutorService的使用

ScheduledExecutorService扩展了ExecutorService接口，提供时间排程的功能，主要如下：schedule(Callable callable, long delay, TimeUnit unit) 创建并执行在给定延迟后启用的 ScheduledFuture。schedule(Runnable command, long delay, TimeUnit unit) 创

2015-08-03 21:55:36 757

原创 Spring容器中Bean的生命周期

一、Spring装配Bean的过程实例化; 设置属性值; 如果实现了BeanNameAware接口,调用setBeanName设置Bean的ID或者Name; 如果实现BeanFactoryAware接口,调用setBeanFactory 设置BeanFactory; 如果实现ApplicationContextAware,调用setApplicationContext设置Applicat

2015-08-03 07:26:07 635

Hadoop与MapReduce分布式并行编程简介.pdf

Hadoop与MapReduce分布式并行编程

2010-11-24

Hadoop开发者入门

Hadoop 是apache 下的一个项目，是一个分布式计算开源框架，其最核心的设计就是：MapReduce和HDFS。MapReduce的思想是由Google的一篇论文所提及而被广为流传的，简单的一句话解释MapReduce就是“任务的分解与结果的汇总”。HDFS是Hadoop分布式文件系统（Hadoop Distributed File System）的缩写，为分布式计算存储提供了底层支持。

2010-11-23

Microsoft.PassGude.70-686.v3.20.by.senjor.95

微软windows 7 认证试题，提供给大家参考

2010-10-29

70-680 windows 7题库

70-680 windows 7题库，希望大家都能够顺利通过

2010-10-27

微软认证70-686题库

微软windows 7 考试认证题库70-680，题库比较全，希望考windows7的考生，都能够顺利通过

2010-10-27

Exchange Server 2003 系統管理手冊.doc

此手册将透过说明 Exchange 系统管理方面的核心概念，协助您充分利用 Microsoft Exchange Server 2003。

2010-09-19

pentahobi.pdf

pentaho的体系结构跟spagoBI非常相像，我甚至都没看出来有上面很大的区别，不过pentaho喜欢把自己的东西称作solution，以下引用自pentaho的whitepaper: pentaho BI 平台不同于传统的BI产品。它是一个以流程为中心的，面向解决方案的（Solution)的框架，具有商业智能（BI)组件，使得公司可以开发商业智能问题的完整解决方案 pentaho一样把数据处理层看的很重要，多种数据显示方式，甚至有RSS输出。 pentaho是有各种开源组件组成的。 ETL : Kettle (界面上显示的是pentaho Data Integration ,previously Kettle) Report : Pentaho Report (它也支持Birt 和 JasperReport 的集成 ,还有专门的文档） OLAP : Mondrian 和 JPivot (Mondrian已经加入了pentaho , 估计pentaho跟JPivot有仇，双方互看对方不爽，所以JPivot没有加入pentaho,呵呵，看玩笑) Platform : Pentaho Planform Data Mining: Weka (Weka也加入了pentaho)

2010-09-16

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人