tonyhuang_google_com-CSDN博客

原创 Use ali RDC to manage dev

Use Ali RDCRDCprivate code repoprivate maven repoprivate docker registrycode repo - ali CODEali CODE set up user own code repositories based on git. It is very convenient to use.auto setup t...

2018-10-14 18:19:17 257

原创用Linux makeself制作自解压的可执行程序

前言：日常工作中我们需要把Linux操作系统下一堆文件或者脚本制作成一个可执行程序，发布后别人只要拿到这个程序就会把它整体运行起来。比起一般的把文件（夹）压缩打包，然后把压缩包发给别人，再告诉别人解压后执行里面的哪个脚本或程序的做法，显然如果做成自解压的可执行程序要简便得多。 makeself本身是一个可从给定目录产生自解压tar包的shell脚本。从以上述描述可以看出，它包含了压缩功能。它

2016-06-16 15:27:12 6607

原创 http2

http2 :1.Java对http2的实现1.1 官方Java（oracle JDK ,最新是JDK8）仍未支持http2. 到JDK9会支持.1.2 OpenJDK,最新版是JDK8,仍未支持http2.到JDK9会支持. JDK9的发布预期是2017/03/23.http://openjdk.java.net/jeps/110http://openjdk.java.n

2016-05-06 15:13:37 1805

原创 Servlet3异步特性+Ajax+Websocket

Java Servlet 3.0有了异步特性，这使得服务器端可以推后处理某些请求。Ajax可以使得客户端post部分请求，并接受异步回调。websocket可以使得客户端与服务器进行全双工的通讯，客户端接受ServerPush信息很容易。1. use servlet3.0 async feature 1.1 服务器端代码（异步Servlet）servletpath:/AsyncPat

2016-05-06 14:57:45 1960

原创 Apache Kafka 一简介

1. Apache Kafka是什么？Apache Kafka是Linkedin公司捐献给Apache软件基金会ASF(Apache Software Foundation)的一款开源分布式消息系统。它具有如下特点：快速可支持每秒几十万次读写，也可同时支持上千个客户端。可伸缩可以由多台机器组成Message Broker,集群可以弹性透明地伸缩而不造成宕机。可持久消息可以持久化

2016-04-19 11:42:39 597

原创 kerberos 安装和配置

kerberos 服务器端和客户端安装和配置

2016-04-06 09:23:32 16203

原创 RPC

—————RPC之概览篇———————————————————- RPC: Remote Procedure Call RPC其实是个笼统的概念，只要符合远程过程调用特征的都属于RPC这个范畴。 RPC的特征包括: 1. 它是一种远程交互。 2. 发起方程序和反应方程序在不同的地址空间运行。 3. 程序员无需知道远程交互的细节。远程调用和本地调用的代码差别不大。程序员所写的远程调用代码

2016-03-27 22:21:45 455

原创 Linux配置VNC Server

1.安装vnc sever。命令：yum install tigervnc-server -y2.将vncserver设置为随系统启动。命令：chkconfig vncserver on 或者：chkconfig vncserver –level 5 on3.修改vncserver的配置文件。命令：vim /etc/sysconfig/vncservers 在最后加上: VNCSE

2016-02-03 13:34:03 938

原创用Knox做http代理

其实用Knox可以代理任何http服务或者web app,不仅仅局限于代理hadoop的服务或者web应用/界面。例如，你可以把tomcat装在一台机器上，然后把knox装在另一台机器上或者跟tomcat相同的机器上。knox就可以作为代理，作为通向tomcat的访问点。

2015-11-25 15:46:31 7041

原创用Java SPI实现可插拔

前言：在软件系统的设计中，可插拔是一个重要特性。它意味着给系统添加新功能时候（或者将原来功能的实现替换成新的实现而保持功能不变），不改变系统已有功能。这样的可插拔的功能模块被称为插件。插件(plugin)的出现可以很好地支持系统的可扩展性(Extensibility). 一个扩展性好的系统意味着很容易替换或者增加某些功能。本文的目的是使用JDK6(或以上)的SPI(Service Prov

2015-11-07 22:28:00 13882

原创 Hibernate ORM和c3p0连接池

1.Hibernate ORM及c3p0的问题在使用hibernate ORM 4.3.9时发现，hibernate附带的c3p0连接池不起作用.使用的数据库是MySql5.6下载 hibernate 并解压后,可以在 lib/optional/c3p0 下发现c3po连接池实现类。在 documentation/devguide/en-US/html_single/index.html

2015-06-09 14:14:48 3765

原创 IBM Bluemix Linux VM 配置秘钥并登录

IBM Bluemix Linux VM 配置秘钥并登录方案一使用putty+FileZilla 方案二使用SSH secureShell Client(基于方案一)方案三直接使用SSH secureShell client方案四使用VM生成的密钥,利用SSH SecureShell Client

2015-05-19 11:47:28 1987

摘要：apache thrift作为著名的跨语言，跨平台的RPC框架已经得到了大量应用，比如Hadoop, Cassandra等。与早期的CORBA, DCOM, 以致传统的WebService如基于XML-RPC的 SOAP协议和基于http的restfull ws相比较，其强大的功能和性能以及开发效率都让人侧目。本文目的在于在windows上使用thrift编译一个RPC的java客户端和服务

2015-03-18 15:03:34 2240

原创 hadoop 压缩-snappy

---1. snappy下载安装Apache hadoop-1.2.1后，在运行wordcount 时报警告 WARN snappy.LoadSnappy: Snappy native library not loaded。想要给Hadoop集群增加snappy压缩支持。环境： cenos6.6 64bit minimal1. 给OS安装 g++:centos：

2015-02-11 17:06:17 6291

原创 CSDN CODE使用

CSDN CODE版块使用GIT作为其代码托管引擎，类似于GitHub.比较适合于中国程序员使用。CSDN CODE帮助文档https://code.csdn.net/help/CSDN_Code/code_support/FAQ_2_4https://code.csdn.net/help/CSDN_Code/code_support/new_Index1.产生密钥安装git客

2015-01-11 22:11:36 2254

原创 Linux 常用技巧

1. 如何设置环境变变量，比如JAVA_HOME?1) If u want to set the environment variables which will be global to all the users on the Linux box:then u can modify the /etc/profile file :export JAVA_HOME = jdk_h

2015-01-06 13:09:48 1258

原创 hive初探

hive ，hbae,hive/hbase集成

2014-12-28 22:31:37 1481

原创在不到1G内存机器上快速搭建一个hadoop环境

摘要：我们在很多情况下只需要一个极其简单

2014-11-16 20:04:29 6090 1

原创给RedHat机器配置CentOS的Repository

前言：当我们安装了RedHat 的机器时

2014-10-29 15:08:21 3067

原创用VirtualBox 对Linux虚机进行网络配置

1. 需求：各个虚机(Ubuntu 操作系统)之间可联网互访各虚机可以上英特网各虚机有静态ip地址，当主机的物理机器移动时（比如从公司将笔记本主机带到家或者咖啡馆）不影响已有网络配置主机可以访问各个虚机2. 方案：1.将虚机的network配置为adapter1用host-only ,adapter2用NAT2.In VirtualBox

2014-07-15 17:11:13 1724

原创计算机中数的表示与大小端法

1. 二进制整数的补码表示：用最高位表示符号位，其余位表示数值。这样一来可以表示正数和负数（有符号数）。如果符号位为0，说明是正数。真值=本身如果符号位为1，说明是负数。真值=-（本身取反+1）正数的补码=本身。负数的补码=本身取反+1如果用1个字节表示一个有符号数，则它的取值范围是[-127,128]。如果用2个字节表示一个有符号数，则它的取值范围是[-327

2014-05-04 19:42:49 1142

原创一个常用的ANT打包脚本

suppose folder structure is like: MyProject ---src ---lib ---target ---build.xmlAnd we want to generate the Jar which w

2014-03-10 13:45:24 757

原创 hadoop 2.2.0 cluster setup-linux

1. get src 2. unzip 3. download protoc2.5.0 , latest maventar -xvf protobuf-2.5.0.tar.gzcd protobuf-2.5.0 ./configure --prefix=/opt/protoc/ make && make install 4. pre

2014-03-04 19:21:27 818

原创一个不过百行的程序导致多花费2天时间的原因剖析

---一年前，2003年12月，写的总结----在AE开发Group Permission Inherits 单元测试(Junit4)代码时,发现的问题以及解决方案：1.写的junit test code在Eclipse中能通过，但在命令行的ant test中不能通过。最后重写了junit test code (由于没有预计到这一问题，导致多花费了4小时：重写测试代码，去掉继承与抽

2014-01-09 11:46:52 686

原创 GIS知识-常用概念与术语

1. Geodetic Coordinate ：大地坐标，也即地理坐标。大地测量中以参考椭球面为基准面的坐标。地面点P的位置用大地经度L、大地纬度B和大地高H表示。当点在参考椭球面上时，仅用大地经度和大地纬度表示。2. Datum：基准面。当一个旋转椭球体的形状与地球相近时，基准面用于定义旋转椭球体相对于地心的位置。基准面给出了测量地球表面上位置的参考框架。它定义了经线和纬线的原点及方向。

2013-12-26 18:05:00 3489

转载各式各样的极品程序员

---转自CSDN, http://www.csdn.net/article/2013-12-24/2817904-The-Taxonomy-of-Terrible-Programmers本文作者Aaron是MarkedUp创始人兼.Net开发者。在这篇文章里，作者根据自己平时在工作中的所见所闻，列举了几个比较有代表性的极品程序员类型。他们各有自己的特点和性格，在软件开发工作中，这种特

2013-12-26 11:24:01 745

原创 hadoop集群搭建-Windows (hadoop cluster on Windows)

Hortonwork公司推出了能在 windows平台上运行的大数据处理平台：HDP for Windows ,可以使得hadoop集群运行在 windows（windows server 2008 R2, windows server 2012）上。本文使用HDP 1.1 for Windows和Windows server 2008R2来搭建hadoop集群。所需软硬件环境： 1

2013-08-28 10:17:12 7578 2

原创 hadoop集群搭建-Linux(Haoop cluster on Linux)

1.hadoop简介hadoop是当今流行的分布式并行计算框架和大数据解决方案，利用基于商品硬件的计算机集群，具有容错性好和伸缩性强的特点。造价低廉，技术通用开放，维护和管理方便。特别适合超大数据的处理，对于TB和PB级的数据都可以应付（当然需要往集群中加入更多的机器，上百、上千或者上万台机器的hadoop集群都屡见不鲜）。与其他并行计算不同的一个鲜明特点是其计算理念：代码向数据处移动，而

2013-08-26 14:11:43 1531

原创 cygwin, minGW and JNI

cygwin 可以说是大名鼎鼎，卖点是在windows 系统上给你linux 的使用体验。喜欢使用linux的朋友在只有windows 可用的情况下，装个cygwin，打开cygwin 的命令行就可以敲击linux命令，感觉爽歪歪。问题是在cygwin环境下能编译c代码吗？编译后的东东是原生的windows程序还是linux程序？minGW （minimium Gnu for Windo

2013-08-15 11:39:30 1642

原创 java装载动态链接库与调用OS命令

一装载动态链接库1.用System.loadLibrary()windows: 设置-Djava.library.path=path/to/something.dll , 然后System.loadLibrary("something")。注意在System.loadLibrary()调用中文件名不带.dlllinux:设置-Djava.library.path=pat

2013-07-29 17:06:58 1670

原创什么是大数据?

大数据体现在三个方面：容积大：数据容积达到TB，甚至PB级。传统数据库难以处理。速度快：数据流入系统的速度很快（比如网购用户的点击流）需要及时响应和处理。这使得数据的暂时缓存再处理都变得不可能。多样性：数据的来源和格式变化多端，可以是结构化数据（如关系数据库中的数据,csv数据），半结构化数据（XML,JSON），甚至是非结构化数据（如电子邮件，WORD文档和一般文本），数据也可能是文

2013-05-08 16:49:03 917