2013年06月_小桥

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

转载 Hadoop程序打印调试

转载 Hadoop程序打印调试1. System.out 和 System.errMain在Main函数里使用System.out标准输出和System.err标准错误输出，输出定向到执行程序节点的终端上。即在完全分布的Hadoop部署中，输出会定向到启动程序的节点的终端上。Mapper针对每个split，会实例化一个Mapper对象作为一个task，在Hadoop集群

2013-06-28 18:11:28 928

转载 HUE beeswax中文显示问题的解决方案

HUE是Cloudera推出的Hadoop生态系统的Web访问接口，基于Python Django开发。在使用过程中发现，如果提交的SQL语句中有中文的注释，提交之后，整个语句将会保存在后端的MySQL历史表中，但是再次去查看历史记录的时候，其中的中文却显示成一串问号。显然，这种问题是因为数据库编码问题导致的。为了解决这个问题，可以做如下的操作：1。修改MySQL的配置文件(/e

2013-06-28 17:17:44 1935

转载 hive中UDF、UDAF和UDTF使用

Hive进行UDF开发十分简单，此处所说UDF为Temporary的function，所以需要hive版本在0.4.0以上才可以。一、背景：Hive是基于Hadoop中的MapReduce，提供HQL查询的数据仓库。Hive是一个很开放的系统，很多内容都支持用户定制，包括：a）文件格式：Text File，Sequence Fileb）内存中的数据格式： Java Integer/St

2013-06-28 15:46:48 1078

转载 Django 学习

我的应用很简单。我只需要读取指定日期的收益金额，并保存到我的本地数据库。我在djaongo项目中创建了一个新的应用，叫做“adsense”。并创建了一个models.py文件来存储认证证书。 from django.contrib.auth.models import Userfrom django.db import modelsfrom oauth2client.djang

2013-06-28 14:19:44 747

转载 Django startproject的问题

下载python-2.7.2.msi http://www.python.org/getit/Django-1.3.1.tar.gz https://www.djangoproject.com/Django暂时只支持python 2.4 ~ 2.7，在Django-1.3.1\docs\intro\install.txt中有说明： Being a Python Web fra

2013-06-27 11:02:01 1822

原创 python 条件，循环和其他语句

条件，循环和其他语句print 输出多个用逗号隔开>>> print 'hello','world',' !'hello world !--------------------------------------------为函数提供别名>>> import math as qiao>>> qiao.sqrt(9)3.0>>> from math impor

2013-06-26 18:28:46 789

原创 python 抽象

抽象创建函数>>> def hello(name): return 'hello,'+name+'!'>>> hello('qiaochao')'hello,qiaochao!'函数注释1）以#开头2）直接写上字符串函数定义可以嵌套>>> def foo(): def bar(): print 'hello aaa ' bar() >>

2013-06-26 18:26:45 681

转载 hive处理日志，自定义inputformat

开放环境，hadoop-0.20.2，hive-0.6 1.日志分隔符 Xml代码 2010-05-31 10:50:17|||61.132.4.82|||http://www.360buy.com/product/201185.html 2010-05-31 10:50:17|||61.132.4.82|||http://www.360buy.co

2013-06-26 17:16:29 1058

原创 python 字典

python dictionary字典由对个键以及与其对应的值构成可以如下创建：>>> phonebook={'qiao':'119','lisi':'101','zhaowo':'787'}dict函数>>> items = [('name','qiaoc'),('age',26)]>>> d=dict(items)>>> d{'age': 26, 'name':

2013-06-26 11:01:42 726

原创 python 字符串

python 字符串注意：字符串都是不可变的 >>> web = 'http://www.baidu.org'>>> web[-3:]'org'>>> web[-3:]='com'Traceback (most recent call last): File "", line 1, in web[-3:]='com'TypeError: 'str' o

2013-06-25 17:19:31 830

原创 python 基础知识（字符串序列）（2）

列表方法：1. append 方法>>> lst = [1,2,3]>>> lst.append(4)>>> lst[1, 2, 3, 4]>>> xc=lst.append(5)>>> xc>>> print xcNone>>> lst[1, 2, 3, 4, 5]>>> xc=lst>>> xc[1, 2, 3, 4, 5]app

2013-06-25 11:37:53 723

原创 python 基础知识（字符串序列）（1）

=============================================================================用import 导入模块要安装 “模块。函数” 的格式来使用函数例如：>>>import math>>>math.floor(32.9)32在使用“from 模块 import 函数” 这种形式的import命令后

2013-06-25 10:30:20 1147

原创 python 学习笔记一

初级阶段（简单实践） tmp_storage = ""welcome = "hello!"tmp_storage = welcomeprint tmp_storage结果：hello!-------------------------------------------------radius = 10pi = 3.14area = pi*radius**

2013-06-25 10:28:23 795

转载 hadoop-2.0.0-cdh4.2.1安装手册

1. 角色分配：ocdata16: 10.1.253.26 :NameNode JournalNode Zookeeper DFSZKFailoverControllerocdata17: 10.1.253.27 :NameNode JournalNode Zookeeper DFSZKFailoverControllerocdata18: 10.1.253.28 :DataNod

2013-06-21 10:45:05 2406

转载 CDH4 HA方案

CDH4 HA方案¶HDFS HA方案¶HDFS QJM 方案¶QJM手动切换方案¶手动切换方案，即在管理员发现Active NN不工作以后，或者由于升级等原因，手动将Standby NN切换为Standby NN。手动切换的流程为：1. 管理员在Active NN上，通过Hadoop命令行工具，通过HAAdmin工具(实现了Tools接口），将Active NN切

2013-06-21 10:42:44 1488

转载 Linux下Nagios的安装与配置

一、Nagios简介　　Nagios是一款开源的电脑系统和网络监视工具，能有效监控Windows、Linux和Unix的主机状态，交换机路由器等网络设置，打印机等。在系统或服务状态异常时发出邮件或短信报警第一时间通知网站运维人员，在状态恢复后发出正常的邮件或短信通知。　　Nagios原名为NetSaint，由Ethan Galstad开发并维护至今。NAGIOS是一个缩写形式: "Na

2013-06-17 11:34:46 1007

原创 Linux 命令 --- df命令

linux中df命令的功能是用来检查linux服务器的文件系统的磁盘空间占用情况。可以利用该命令来获取硬盘被占用了多少空间，目前还剩下多少空间等信息。1．命令格式：df [选项] [文件]2．命令功能：显示指定磁盘文件的可用空间。如果没有文件名被指定，则所有当前被挂载的文件系统的可用空间将被显示。默认情况下，磁盘空间将以 1KB 为单位进行显示，除非环境变量 POSIXLY_COR

2013-06-14 12:51:30 598

转载 java远程执行linux命令

如何实现JAVA远程操控linux服务器，代码如下： Java代码 package hb.linux; import java.io.BufferedReader; import java.io.IOException; import java.io.InputStream; import java.io.InputStream

2013-06-05 23:50:40 2050

转载 hive cli命令行选项

Hive Command line OptionsUsage: Usage: hive [-hiveconf x=y]* []* [|] [-S] -i Initialization Sql from file (executed automatically and silently before any other commands) -e

2013-06-05 23:45:23 865 1

转载 HIVE 查询显示列名及行转列显示

hive默认查询不会显示列名，当一个表字段比较多的时候，往往看不出值与列之间的对应关系，对日常查错及定位问题带来不便，应同事要求，看了HIVE CLI源码，做了下些许调整，加入列头打印及行转列显示功能未开启行转列功能之前:hive>>> select * from example_table where dt='2012-03-31-02' limit 2;OK13331331

2013-06-05 23:44:47 1194

转载 hive -e "show tables"提示cannot recognize input near 'show' '<EOF>' '<EOF>' in ddl statement

一、前言项目需要，需要知道hive的支持的最大并发用户数目是否满足需求，因此，写了个小程序测试，方式是java调用命令行程序的方式进行。即：[java] view plaincopyProcess executor = Runtime.getRuntime().exec(command,env);

2013-06-05 23:44:12 8517

腾讯深度学习平台（译）

腾讯深度开发平台翻译文档，介绍深度学习平台架构等，有很好的学习价值，值得大家学习一下

2014-08-14

MFS文件系统使用手册.pdf

MFS文件系统使用手册，新手学习还是很不错的，大家可以学习一下

2014-01-09

基于事件的 NIO 多线程服务器（源码）

基于事件的 NIO 多线程服务器（源码）可以根据博客中的描述对照学习

2013-07-22

VMware-ESXI-5.0.0 key

2013-01-10

Oracle知识库

1.Oracle知识 2.DBA 3.Exp vs Imp 4.SQL技巧 5.Oracle错误 6.Oracle初学者入门 7.Oracle安装与删除 8.Oracle安全性问题 9.Oracle系统设置，优化，链接 10.索引，序列，快照，数据库链路，触发器 11.Oracle及其其他数据库比较 12.linux vs unix 13.Develop 2000

2012-10-24