- 博客(26)
- 资源 (7)
- 收藏
- 关注
转载 MySQL修改编码设置及乱码问题
一. 在前台连接写入的时候编码是不是与数据库编码符合<?php $conn = @ MYSQL_CONNECT("localhost","root","")OR DIE ("数据库连接错误"); MYSQL_SELECT_DB("millia",$conn); MYSQL_QUERY('SET NAMES UTF8');//使用UTF8而不是UTF-8中文编码?>二、查看MYSQL数据库的编码mys
2015-08-29 15:35:12 14393
原创 hive mysql 编码问题
在安装Hive时,经常报异常。 后来采用输出日志的方式来开启hive:hive -hiveconf hive.root.logger=DEBUG,console 这样在执行命令时,就会输出日志,出现异常可以很快定位。ERROR DataNucleus.Datastore: Error thrown executing CREATE TABLE SD_PARAMS ( SD_ID BI
2015-08-29 14:53:12 4875 2
原创 hive shell命令
Hive的Shell有命令行模式和交互模式。 命令行模式用起来如同“hadoop fs -ls /”这种;交互模式如同“hbase shell”进入的模式,和hbase shell不同的是hive的交互模式里每个命令后都要用分号结束。Hive 命令行参数: -i 从文件执行初始化HQL后进入交互模式。 -e 从命令行执行指定的HQL语句。 -f 执行HQL脚本文件。 -v 输出执行的HQL
2015-08-28 23:00:52 6433
转载 时间单位换算
时间单位还有:毫秒(ms)、微秒(μs)、纳秒(ns)、皮秒(ps)、飞秒(fs)、阿秒、渺秒1 s = 10^3 ms = 10^6 us = 10^9 ns = 10^12 ps = 10^15 fs=10^18阿秒=10^21渺秒=10^43普朗克常数毫秒毫秒是一种较为微小的时间单位,是一秒的千分之一。典型照相机的最短曝光时间为一毫秒。一只家蝇每三毫秒扇一次翅膀;蚊子二十毫秒振翅一次;蜜蜂则每
2015-08-28 13:13:47 3673
原创 hive 的一次使用命令
从本地 调用hive从hive 系统的records表中查询3 条数据 放入到 本地的aa 文件中 hive -S -e “select * from records limit 3” > tmp/aa从文件中执行hive命令hive -f tmp/aa.hql从hive中执行 本地文件在hive 执行 本地文件 tmp/aa.hql文件 hive source tmp/aa.h
2015-08-27 23:38:48 852
原创 linux 查找命令
从文件内容查找匹配指定字符串的行:$ grep “被查找的字符串” 文件名在当前目录里第一级文件夹中寻找包含指定字符串的.in文件grep “thermcontact” /.in从文件内容查找与正则表达式匹配的行:$ grep –e “正则表达式” 文件名查找时不区分大小写:$ grep –i “被查找的字符串” 文件名查找匹配的行数:$ grep -c “被查找的字符串” 文件名
2015-08-27 22:45:02 593
转载 spring 中的 factory-method 属性
配置工厂Bean 通常由应用程序直接使用new创建新的对象,为了将对象的创建和使用相分离,采用工厂模式,即应用程序将对象的创建及初始化职责交给工厂对象. 一般情况下,应用程序有自己的工厂对象来创建bean.如果将应用程序自己的工厂对象交给Spring管理,那么Spring管理的就不是普通的bean,而是工厂Bean. 调用getBean()方法,Spring返回的不是直接创建的Bean的实例,
2015-08-27 07:58:00 4097
原创 Spring的 depends-on
使用场景 当bean 与bean直接 初始化 有先后顺序时,就需要指定他们直接的依赖关系,可以使用depends-on属性。实例代码 Userpublic class User{ public User() { System.out.println("User initialized"); Shared.setValue("Set value in
2015-08-27 06:54:08 2856
原创 第85讲:Scala中For表达式 实现高阶函数的效果
下面的例子,是打印 母子的姓名样本类case class Person(name: String, isMale: Boolean, children: Person*)用高级函数实现 def main(args: Array[String]) { val lauren = Person("Lauren", true) val rocky = Person("rocky", fals
2015-08-16 12:44:10 856 2
原创 第82讲:Scala中List的ListBuffer实现高效的遍历计算
我们通过对比下列3组程序,对比,发现优缺点第一组: 递归代码 def main(args: Array[String]) { val data = 1 to 20000 val currntTime =System.currentTimeMillis() increase(data.toList) println("used time=" + (System.curren
2015-08-16 10:49:02 9633
原创 akka 之 Dispatcher学习笔记
一、概要Dispatchers are the heart of the Akka application and this is what makes it humming. Routers on the other hand, route incoming messages to outbound actors二、Dispatcher 类型Dispatcher 特点如下: • Ev
2015-08-10 00:28:53 5423 1
原创 第81讲:Scala中List的构造是的类型约束逆变、协变、下界
关于逆变与协变相关知识,可以参考之前的章节。 这里主要是对 list 中 cons(::) 操作过程讲解代码abstract class Big_Dataclass Hadoop extends Big_Dataclass Spark extends Big_Dataobject List_Constructor_Internals { def main(args: Array[Stri
2015-08-09 18:06:12 559
转载 scala 中协变与逆变
到上次为止由羽生田先生介绍了Scala语法的特点,这一讲我作为嘉宾来介绍一下Scala的类型系统和相关功能。本次介绍的重点是Java与 Scala之间类层次的差异、范型的协变与逆变、实存类型(Existential Type)、结构类型(Structural Type)和复合类型(Compound Type)。与Java相似之处Scala类型系统的基础部分是与Java非常相像的。Scala与Java
2015-08-09 16:57:24 2835 1
原创 第79讲:单例深入讲解及单例背后的链式表达式
在Scala中,表达单例的一种语法,就是object对象,如果此对象有伴生类的话,此对象就是伴生对象,被用作公共方法或者成员字段的存储区。其实每一个对象都有单例类型,如:/** * 单例深入讲解及单例背后的链式表达式 * Created by zhiwang on 2015/8/9. */import scala.reflect.runtime.universe._object Scala1
2015-08-09 15:25:10 752
原创 第78讲:scala 中Type与Class初步学习
概要由于在scala中非常强调泛型或者说类型系统 ,Java和scala是基于jvm的, java1.5以前具体对象的类型与class一一对应,后来引入泛型,如字符串数组或整数数组,都是数组 ,但其实类型是不一样的,在虚拟机内部,并不关心泛型或类型系统。 对泛型支持是基于运行时角度考虑的,在虚拟机中泛型被编译运行时是被擦除的, 在运行时泛型是通过反射方式获取。一、type 与 class 概念
2015-08-09 12:34:19 3518
原创 第77讲:模式匹配下的提取器过程分析
概要所谓模式匹配下的提取器,就是模式匹配与提取器的结合。 关于提取器可以参考scala 中的 提取器示例代码这里主要是通过 object 对象的 unapply 在模式匹配的应用object :>{ //定义提取器 :> def unapply[A](list:List[A]) = { Some(list.init,list.last) }}object Extract
2015-08-09 11:06:55 682
原创 第28讲:Scala提取器Extractor
所谓提取器,就是从表达式获取具体值。 其作用,可以根据某一规则,非常方便的获取到想要的值提取器在数组的应用实例代码 def match_arr(arr:Any) = arr match{ case Array(0) => println("array:" + 0) //判断arr是数组,并且只有一个元素,该值为0的规则 case Array(x,y) => println(
2015-08-09 08:44:40 2378
原创 Round Robin 概念理解
什么是Round Robin?先来看和他相近的名词,轮询调度算法(Round-Robin Scheduling)轮询调度算法的原理是每一次把来自用户的请求轮流分配给内部中的服务器,从1开始,直到N(内部服务器个数),然后重新开始循环。算法的优点是其简洁性,它无需记录当前所有连接的状态,所以它是一种无状态调度。轮询调度算法流 假设有一组服务器N台,S = {S1, S2, …, Sn},一个指示变量
2015-08-08 12:06:56 31227 1
转载 线程通信机制
线程通信机制:共享内存 VS 消息传递在并发编程中,我们必须考虑的问题时如何在两个线程间进行通讯。这里的通讯指的是不同的线程之间如何交换信息。目前有两种方式: 1、共享内存 2、消息传递(actor 模型)共享内存共享内存这种方式比较常见,我们经常会设置一个共享变量。然后多个线程去操作同一个共享变量。从而达到线程通讯的目的。例如,我们使用多个线程去执行页面抓取任务,我们可以使用一个共享变量cou
2015-08-08 12:02:37 625
原创 scala 中配置文件之 config
Typesafe的Config库,纯Java写成、零外部依赖、代码精简、功能灵活、API友好。支持Java properties、JSON、JSON超集格式HOCON以及环境变量。它也是Akka的配置管理库.Overview纯java实现,无任何依赖充分的测试支持: Java properties, JSON, and a human-friendly JSON superset可以合并各种格
2015-08-08 10:58:59 20451
原创 第26讲:Scala中模式匹配入门
scala 中,模式匹配与消息传递的威力无穷,本节是 模式匹配的入门,主要讲解 模式匹配的基本语法。scala 中模式匹配使用 match case 的语法,与其他语言如java 的swith 相似,不同的是,scala 既可以接受常量,也可以接受变量,同时对数据类型没有强制要求,既可以是基本类型,也可以是自定义类型。本节主要是常量、变量的内容一、匹配常量示例代码 val result = 1
2015-08-05 06:50:15 882
原创 第76讲:模式匹配下的赋值语句
赋值操作背后的模式匹配,赋值过程可能返回多个值,此时为了接受多个值,我们可能用tuple定义几个变量来处理。实例代码,如下 //@是别名的意思,a@b形成了tuple2二元元组 //把1000赋值给a和b,并返回二元组的内容给val a@b var a@b = 1000 println("a=" + a + ",b=" + b) b = 200
2015-08-04 22:43:01 498
原创 第75讲:模式匹配下的For循环
For 循环中的模式匹配,可以过滤数据,数据处理方面使用。 for(i<-List(1,2,3,4,5)) println(i) //实际上调用的是foreach for(index@"Flink" <- List("hadoop","spark","Flink")) println(index)//为参数起了个别名进行匹配 for((language,"hadoop") <-
2015-08-03 23:37:55 653
原创 第74讲:从Spark源码的角度思考Scala中的模式匹配
今天学习了从源码角度去分析scala中的模式匹配的功能。让我们看看源码中的这一段模式匹配:从代码中我们可以看到,case RegisterWorker(id,workerHost,……..){}这里为模式匹配,而我们的模式匹配类RegisterWorker之前就已定义好,如下图: 我们可以看到,我们的模式匹配类是已经定义好的,当我们的master接收到worker发来的消息时,进行模式匹配:这里还
2015-08-03 22:43:08 728
转载 ScheduledExecutorService的使用
ScheduledExecutorService扩展了ExecutorService接口,提供时间排程的功能,主要如下:schedule(Callable callable, long delay, TimeUnit unit) 创建并执行在给定延迟后启用的 ScheduledFuture。schedule(Runnable command, long delay, TimeUnit unit) 创
2015-08-03 21:55:36 757
原创 Spring容器中Bean的生命周期
一、Spring装配Bean的过程实例化; 设置属性值; 如果实现了BeanNameAware接口,调用setBeanName设置Bean的ID或者Name; 如果实现BeanFactoryAware接口,调用setBeanFactory 设置BeanFactory; 如果实现ApplicationContextAware,调用setApplicationContext设置Applicat
2015-08-03 07:26:07 635
Hadoop开发者入门
2010-11-23
Exchange Server 2003 系統管理手冊.doc
2010-09-19
pentahobi.pdf
2010-09-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人