2015年09月_杨过悔

11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 python捕获多个Exception携带msg

python2.x有好几个地方不人性化,Exception是其中一个,刚开始是学py3的,后来好多开源lib都是2.x的,所以推荐初学者或者使用者使用2.x的try扑捉多个exception时需要加括号,如果不加括号则视为exception的信息 #!/usr/bin/pythondef KelvinToFahrenheit(Temperature): temp = 0

2015-09-30 23:25:48 6214

原创 WebSockets

WebSockets是下一代web双向传输"工具",基于TCP协议通过js接口操作的 websocket的使用1.创建WebSocketvar Socket = new WebSocket(url, [protocal] );protocal为可选的参数,用于指定订阅而且服务端必须支持 WebSocket 参数

2015-09-30 13:06:10 655

转载红黑树

基于https://www.cs.auckland.ac.nz/~jmor159/PLDS210/red_black.html整理红黑树是个二叉搜索树,结点非黑即红Red-black trees Trees which remain balanced - and thus guarantee O(logn) search times - in a dynamic environmen

2015-09-30 10:22:28 476

原创 hive与derby的安装

下载derby解压cd db-derby-10.10.1.1-bincp ./derbyclient.jar ~/hive-current/lib/cp ./derbytools.jar ~/hive-current/lib/配置hivederby默认是没有用户名、密码 javax.jdo.option.ConnectionURLjdbc:derby://s00

2015-09-28 15:33:57 1611 1

原创 access denied ("java.net.SocketPermission" "localhost:1527" "listen,resolve")

在开启derby服务出现该错误1.在$JAVA_HOME/jre/lib/security/java.policy添加permission java.net.SocketPermission "localhost:1527", "listen,accept,connect,resolve"; 2.再次启动derby

2015-09-28 14:06:58 4008 1

原创 Caused by: java.lang.SecurityException: sealing violation: package org.apache.derby...

主要是由于加载类名重复,例如derby与hive都提供了derby.jar的jdbc驱动,具体可以通过sysinfo测试所以找到两个一样的类被CLASSPATH加载了,直接去除hive所在的路径的derby即可(最好先备份一个)

2015-09-28 14:04:21 3292

原创 Hbase中比例扩展与横向扩展的问题

Hbase的集群是建立在Hadoop的基础之上的,比例增长只能通过添加更多的机器,所以他是应用在横向增长上的!

2015-09-28 01:01:33 2264

原创 Hbase与BDBMS对比的主要缺点

1.没有认证许可机制2.索引只能建立在key字段中3.当只有一个Hmaster节点时,会有失败的风险

2015-09-28 00:54:58 667

原创 Hbase用户权限

1.通过grant命令赋予权限grant [ [ []]5个权限 R - represents read privilege.W - represents write privilege.X - represents execute privilege.C - represents create privilege.A - represents admin

2015-09-28 00:43:08 9719 1

原创 Hbase读取数据

通过Get获取指定的的字段package org.common;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hb

2015-09-27 20:29:11 571

原创 Hbase更新数据

1.更新的思路找到需要更新的值{通过table名加上字段找到} package org.common;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import o

2015-09-27 20:09:58 3037

原创 Hbase插入数据

package org.common;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.TableName;imp

2015-09-27 19:32:55 1513

原创 HBase的一些常用admin函数

1.判断table是否存在boolean bool = admin.tableExists("emp");2.删除tableadmin.deleteTable("emp12");admin.deleteTable("emp12");3.添加字段admin.addColumn("employee", new HColumnDescriptor("columnDescrip

2015-09-27 16:54:45 1409

原创 Hbase1.1.2 list所有的table

package org.common;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.HTableDescriptor;

2015-09-27 16:30:47 1493

原创 Hbase1.1.2创建table

整个创建过程主要由HBaseAdmin起关键作用 package com.hbase;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache

2015-09-27 16:23:36 779

原创 Warning: $HADOOP_HOME is deprecated. hadoop1.0.4解决方法

/.bash_profile里增加环境变量： export HADOOP_HOME_WARN_SUPPRESS=1注：修改完.bash_profile后需要执行source操作使其生效

2015-09-24 11:18:30 296

原创 ubuntu早期版本克隆后没有eth0

移动/删除rules文件重启后Ubuntu会创建新的rules文件。网络配置是自动获取IP，无需做其他修改。sudo mv /etc/udev/rules.d/70-persistent-net.rules /etc/udev/rules.d/70-persistent-net.rules.old

2015-09-23 22:32:35 575

原创 zookeeper Error contacting service. It is probably not running错误

只有当至少启动了三个节点之后，该命令才会产生结果。否则会显示：zookeeper Error contacting service. It is probably not running错误最好是奇数个zookeeper

2015-09-22 17:11:22 1169

原创 hadoop 2.6 完全分布式安装过程及记录 (详细版)

1.首先是编译hadoop2.6 当然也可以安装二进制版本的,不过用别人编译的二进制有时是容易出问题的,因为每个二进制文件是依赖于你的linux下的lib的,lib好找,问题在于版本的兼容问题!所以你不想出现这种差错就好好自己编译吧!特别是hadoop的native(本地库),例如官方是提供32位的,并不提供64,基本就是这个原因编译完后,安装hadoop,由于hadoop是使用ss

2015-09-22 12:03:59 1643

转载好记心不如烂笔头，ssh登录　The authenticity of host 192.168.0.xxx can't be established.　的问题

http://blog.csdn.net/kimsoft/article/details/5865418 用ssh登录一个机器（换过ip地址），提示输入yes后，屏幕不断出现y，只有按ctrl + c结束错误是：The authenticity of host 192.168.0.xxx can't be established. 以前和同事碰到过这个问题，解决了，没有记

2015-09-22 01:01:39 4444

转载 ubuntu下sudo apt-get update Sources 404 Not Found [IP: 91.189.92.200 80]解决办法

http://blog.csdn.net/chaihuasong/article/details/17009641最近在ubuntu 10.04下面装了一个虚拟机，在虚拟机里面又装了11.04的ubuntu，装好后用apt get install 出现Unable to locate packag错误，上网上查了下，说是要sudo apt-get update 就可以了，但是本地执行sudo

2015-09-21 15:58:54 3369

原创 hbase-1.0.1的master页面无法打开

在0.98.x之后master的web查看地址修改了翻了官方doc,找到 4.Browse to the Web UI. Web UI Port ChangesWeb UI Port ChangesIn HBase newer than 0.98.x, the HTTP ports used by the HBase Web UI changed from 600

2015-09-21 01:20:34 1703

原创 Hbase错误ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing

查看logjava.net.ConnectException: Call From ubuntu/127.0.1.1 to ubuntu:9000 failed on connection exception: java.net.ConnectException: Connection 显然是无法连接上hadoop,当是奇怪的是hadoop fs -ls /hbase 却有hbase的

2015-09-21 00:30:17 5946

转载 hadoop 2.6.0单节点-伪分布式模式安装

http://www.aboutyun.com/thread-10554-1-1.html 1、系统信息[root@lsn-linux ~]# cat /etc/issueCentOS release 6.3 (Final)Kernel \r on an \m[root@lsn-linux ~]# uname -aLinux lsn-linux 2.6.32-279

2015-09-20 12:00:45 572

原创错误Unable to load native-hadoop library for your platform...

出现这种问题,第一时间最好google,最好不好百度(浪费时间)官方解析http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/NativeLibraries.html 确定${HADOOP_HOME}/lib/native的libhadoop.so.1.0.0是否是符合你的平台file

2015-09-19 11:24:02 2243

原创错误Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:2.5.1

如果log是Java heap space 就是Maven的编译可用内存太小解决export MAVEN_OPTS="-Xms256m -Xmx512m -Djava.awt.headless=true"

2015-09-19 09:06:55 1862

转载 32位ubuntu14.04手动编译hadoop2.6.0

http://blog.csdn.net/ggz631047367/article/details/42460589下载官方编译好的包安装老是报错：Unable to load native-hadoop library for your platform用file命令查看发现官方包里的libhadoop.so.1.0.0文件竟然是64位的。假设应该安装了jdk，教程：http://b

2015-09-19 07:59:05 411

原创使用slick的codegen生成table code等

具体的http://slick.typesafe.com/doc/3.0.3/code-generation.htmlobject TableGe extends App{ slick.codegen.SourceCodeGenerator.main( Array("slick.driver.MySQLDriver", "com.mysql.jdbc.Dr

2015-09-13 16:28:37 1805

原创 slick使用普通的sql操作数据

1.无论使用slick的"集合"来操作数据还是使用sql来操作数据,最终还是构建DBIOAction,让后交给DB处理,类是FP中monid的action需要注意的是run Run an Action asynchronously and return the result as a Futuresqlu,sql,tsql的字面意思来构建一个DBActionsqlu是用于单行的DM

2015-09-13 15:48:44 2119

原创 spray-can的初识

1.根据自已的理解其实spray-can的主要部分有 IO-HTTP,listener与handleIO-HTTP是我们的system actor后,listener actor前的一个actor,他负责管理TCP,HTTP等的"管理员"the manager actor for the given IO extension 而listener是一个注册在IO Actor的,绑

2015-09-12 15:11:25 991

原创 spray-scan , spray-client 与 spray-routing 简单的订阅系统

具体 http://spray.io/documentation/1.2.3/spray-client/1.构建service编写service的关键就是Directive,我们说过Directive的作用,下面我们侧重操作Directive的组合我们通过 | , & 来简单的组合 val rightPath = post & authenticate(BasicA

2015-09-12 13:01:59 1253

原创 spray.testkit的使用

具体 http://spray.io/documentation/1.2.3/spray-testkit/ 依赖name:="demo9"transitiveClassifiers := Seq("sources", "javadoc")resolvers += "spray repo" at "http://repo.spray.io"libraryD

2015-09-11 21:54:16 760

原创用来 authenticate 的 Directives

authenticate 这个Directives 使用了http的WWW-Authenticate来实现认证的功能,这个没怎用,百度了下http://blog.163.com/hongshaoguoguo@126/blog/static/18046981201322384241640/创建authenticate ,authenticate 跟route构建是

2015-09-10 17:16:42 466

原创 spray-routing 中 Custom Directives

具体的http://spray.io/documentation/1.2.3/spray-routing/advanced-topics/custom-directives/通过自定义Directives更加方便我们拓展这里从源码里挑出的一句概括 /** * A Directive that always passes the request on to its in

2015-09-10 15:54:54 744

原创 spray-routing使用Case Class Extraction

通过Case Class Extraction的方式我们也可以做到将请求参数包装成对象,也就是使用了Case Class Extraction抽取器,相当方便构建route val route2 = get{ path("color"){ parameters('red.as[Int], 'green.as[Int], 'blue.as[

2015-09-10 13:48:00 572

原创 spray-routing中的Exception Handling

使用ExceptionHandler来处理异常当spray-routing出现问题时我们可以使用ExceptionHandler来隐式来优雅的处理异常trait ExceptionHandler extends PartialFunction[Throwable, Route]由这个偏函数就可以知道,其实就是一个Throwable到Route的映射关系我们创建一个简单的服务让他在处

2015-09-10 11:03:13 587

原创 win7命令行自由缩放

现在win10的命令行是可以大小自由缩放的,很方便 win7可以进入wmic达到同样的效果进入命令行 1,输入wmic2,退出wmic 输入exit3,现在cmd可以自由缩放了

2015-09-10 09:07:43 1266

原创 spray-routing与spray-can例子

我们利用spray-routing与spray-can监听指定的端口,让后返回指定的类型记得严格按照spray与scala的版本,具体看官网name:="demo10"scalaVersion := "2.11.6"scalacOptions := Seq("-unchecked", "-deprecation", "-encoding", "utf8")

2015-09-09 19:46:17 2024

转载 Comparing Scala JSON Libraries

http://engineering.ooyala.com/blog/comparing-scala-json-libraries Evan ChanSoftware DevelopmentWe were working on a Spark job to read JSON files out of HDFS, and it seemed

2015-09-08 22:05:00 618

转载第一节 MongoDB介绍及下载与安装

http://www.cnblogs.com/mecity/archive/2011/06/11/2078527.htmlMongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。他支持的数据结构非常松散，是类似json的bjson格式，因此可以存储比较复杂的数据类型。Mongo最大的特点是他支持的查询语言非常强大，其语法有点类似于面向对象的查

2015-09-08 09:31:31 341