- 博客(21)
- 资源 (31)
- 收藏
- 关注
转载 Hadoop程序打印调试
转载 Hadoop程序打印调试1. System.out 和 System.errMain在Main函数里使用System.out标准输出和System.err标准错误输出,输出定向到执行程序节点的终端上。即在完全分布的Hadoop部署中,输出会定向到启动程序的节点的终端上。Mapper针对每个split,会实例化一个Mapper对象作为一个task,在Hadoop集群
2013-06-28 18:11:28 938
转载 HUE beeswax中文显示问题的解决方案
HUE是Cloudera推出的Hadoop生态系统的Web访问接口,基于Python Django开发。在使用过程中发现,如果提交的SQL语句中有中文的注释,提交之后,整个语句将会保存在后端的MySQL历史表中,但是再次去查看历史记录的时候,其中的中文却显示成一串问号。显然,这种问题是因为数据库编码问题导致的。为了解决这个问题,可以做如下的操作:1。 修改MySQL的配置文件(/e
2013-06-28 17:17:44 1966
转载 hive中UDF、UDAF和UDTF使用
Hive进行UDF开发十分简单,此处所说UDF为Temporary的function,所以需要hive版本在0.4.0以上才可以。一、背景:Hive是基于Hadoop中的MapReduce,提供HQL查询的数据仓库。Hive是一个很开放的系统,很多内容都支持用户定制,包括:a)文件格式:Text File,Sequence Fileb)内存中的数据格式: Java Integer/St
2013-06-28 15:46:48 1093
转载 Django 学习
我的应用很简单。我只需要读取指定日期的收益金额,并保存到我的本地数据库。 我在djaongo项目中创建了一个新的应用,叫做“adsense”。并创建了一个models.py文件来存储认证证书。 from django.contrib.auth.models import Userfrom django.db import modelsfrom oauth2client.djang
2013-06-28 14:19:44 761
转载 Django startproject的问题
下载python-2.7.2.msi http://www.python.org/getit/Django-1.3.1.tar.gz https://www.djangoproject.com/Django暂时只支持python 2.4 ~ 2.7, 在Django-1.3.1\docs\intro\install.txt中有说明: Being a Python Web fra
2013-06-27 11:02:01 1885
原创 python 条件,循环和其他语句
条件,循环和其他语句print 输出多个用 逗号隔开>>> print 'hello','world',' !'hello world !--------------------------------------------为函数提供别名>>> import math as qiao>>> qiao.sqrt(9)3.0>>> from math impor
2013-06-26 18:28:46 806
原创 python 抽象
抽象创建函数>>> def hello(name): return 'hello,'+name+'!'>>> hello('qiaochao')'hello,qiaochao!'函数注释1)以#开头2)直接写上字符串函数定义可以嵌套>>> def foo(): def bar(): print 'hello aaa ' bar() >>
2013-06-26 18:26:45 693
转载 hive处理日志,自定义inputformat
开放环境,hadoop-0.20.2,hive-0.6 1.日志分隔符 Xml代码 2010-05-31 10:50:17|||61.132.4.82|||http://www.360buy.com/product/201185.html 2010-05-31 10:50:17|||61.132.4.82|||http://www.360buy.co
2013-06-26 17:16:29 1068
原创 python 字典
python dictionary字典由对个键以及与其对应的值构成可以如下创建:>>> phonebook={'qiao':'119','lisi':'101','zhaowo':'787'}dict函数>>> items = [('name','qiaoc'),('age',26)]>>> d=dict(items)>>> d{'age': 26, 'name':
2013-06-26 11:01:42 747
原创 python 字符串
python 字符串注意:字符串都是不可变的 >>> web = 'http://www.baidu.org'>>> web[-3:]'org'>>> web[-3:]='com'Traceback (most recent call last): File "", line 1, in web[-3:]='com'TypeError: 'str' o
2013-06-25 17:19:31 845
原创 python 基础知识(字符串 序列)(2)
列表方法:1. append 方法>>> lst = [1,2,3]>>> lst.append(4)>>> lst[1, 2, 3, 4]>>> xc=lst.append(5)>>> xc>>> print xcNone>>> lst[1, 2, 3, 4, 5]>>> xc=lst>>> xc[1, 2, 3, 4, 5]app
2013-06-25 11:37:53 753
原创 python 基础知识(字符串 序列)(1)
=============================================================================用import 导入模块 要安装 “模块。函数” 的格式来使用函数例如:>>>import math>>>math.floor(32.9)32在使用“from 模块 import 函数” 这种形式的import命令后
2013-06-25 10:30:20 1216
原创 python 学习笔记一
初级阶段 (简单实践) tmp_storage = ""welcome = "hello!"tmp_storage = welcomeprint tmp_storage结果:hello!-------------------------------------------------radius = 10pi = 3.14area = pi*radius**
2013-06-25 10:28:23 809
转载 hadoop-2.0.0-cdh4.2.1安装手册
1. 角色分配:ocdata16: 10.1.253.26 :NameNode JournalNode Zookeeper DFSZKFailoverControllerocdata17: 10.1.253.27 :NameNode JournalNode Zookeeper DFSZKFailoverControllerocdata18: 10.1.253.28 :DataNod
2013-06-21 10:45:05 2440
转载 CDH4 HA方案
CDH4 HA方案¶HDFS HA方案¶HDFS QJM 方案¶QJM手动切换方案¶手动切换方案,即在管理员发现Active NN不工作以后,或者由于升级等原因,手动将Standby NN切换为Standby NN。手动切换的流程为:1. 管理员在Active NN上,通过Hadoop命令行工具,通过HAAdmin工具(实现了Tools接口),将Active NN切
2013-06-21 10:42:44 1546
转载 Linux下Nagios的安装与配置
一、Nagios简介 Nagios是一款开源的电脑系统和网络监视工具,能有效监控Windows、Linux和Unix的主机状态,交换机路由器等网络设置,打印机等。在系统或服务状态异常时发出邮件或短信报警第一时间通知网站运维人员,在状态恢复后发出正常的邮件或短信通知。 Nagios原名为NetSaint,由Ethan Galstad开发并维护至今。NAGIOS是一个缩写形式: "Na
2013-06-17 11:34:46 1016
原创 Linux 命令 --- df命令
linux中df命令的功能是用来检查linux服务器的文件系统的磁盘空间占用情况。可以利用该命令来获取硬盘被占用了多少空间,目前还剩下多少空间等信息。1.命令格式:df [选项] [文件]2.命令功能:显示指定磁盘文件的可用空间。如果没有文件名被指定,则所有当前被挂载的文件系统的可用空间将被显示。默认情况下,磁盘空间将以 1KB 为单位进行显示,除非环境变量 POSIXLY_COR
2013-06-14 12:51:30 609
转载 java远程执行linux命令
如何实现JAVA远程操控linux服务器,代码如下: Java代码 package hb.linux; import java.io.BufferedReader; import java.io.IOException; import java.io.InputStream; import java.io.InputStream
2013-06-05 23:50:40 2057
转载 hive cli命令行选项
Hive Command line OptionsUsage: Usage: hive [-hiveconf x=y]* []* [|] [-S] -i Initialization Sql from file (executed automatically and silently before any other commands) -e
2013-06-05 23:45:23 884 1
转载 HIVE 查询显示列名 及 行转列显示
hive默认查询不会显示列名, 当一个表字段比较多的时候,往往看不出值与列之间的对应关系,对日常查错及定位问题带来不便,应同事要求,看了HIVE CLI源码,做了下些许调整, 加入列头打印及行转列显示功能未开启行转列功能之前:hive>>> select * from example_table where dt='2012-03-31-02' limit 2;OK13331331
2013-06-05 23:44:47 1206
转载 hive -e "show tables"提示cannot recognize input near 'show' '<EOF>' '<EOF>' in ddl statement
一、前言 项目需要,需要知道hive的支持的最大并发用户数目是否满足需求,因此,写了个小程序测试 ,方式是java调用命令行程序的方式进行。即:[java] view plaincopyProcess executor = Runtime.getRuntime().exec(command,env);
2013-06-05 23:44:12 8652
Oracle知识库
2012-10-24
Java 优化编程
2012-08-07
Oracle调优心得
2012-08-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人