- 博客(9)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 postgresql,oracle,mysql通过数据字典获取表结构
<br />postgresql,oracle,mysql通过数据字典获取表结构，需要schema名跟表名。<br />postgresql:<br /> SELECT a.attname,pg_catalog.format_type(a.atttypid, a.atttypmod) AS data_type <br /> FROM pg_catalog.pg_attribute a,<br /> (SELECT c.oid <br /> FROM pg_catalog.pg_class c
2010-11-30 21:51:00
3111
1
原创 os.walk 遍历目录
<br />在python中，遍历目录是很方便的，不用自己再去写代码。已经集成在其中了<br />import os<br />for root, dirs, files in os.walk('/home/gpadmin1/cxf/gpdata', topdown = True):<br /> print root,' : ',dirs,' : ',files<br />root 存放的是所有的目录，递归的<br />dirs 表示在该目录下还有其他的哪些目录<br />files 表示在该目录
2010-11-30 15:42:00
1835
原创 基于hadoop的Cloudbase的问题/Bug
<br />1./t 是关键字来的<br />2.insert 不存在的表 select * from other表;<br /> 先会跑hadoop任务，在insert，发现错误<br />3.容错处理差<br />4.不能使用‘/005’,需要使用，必须修改源码<br /> if( sep.equals( "//t"))<br /> sep = "/t";<br /> else<br /> sep = sep.replaceAll("^////", "");<br />
2010-11-28 17:05:00
999
原创 greenplum 实验，动态增加节点
<br /><br />greenplum 实验，动态增加节点<br />1.我原有在hadoop4-hadoop6上初始化了一个greenplum的集群<br />2.所有的primary，mirror都启动着，我连接master，在两个表里插入记录：<br />aligputf8=# insert into pg_catalog.pg_filespace_entry values(3052,15,'/home/gpadmin1/cxf/gpdata/gpdb_p1/gp6');<br />INSERT
2010-11-28 16:04:00
5516
原创 MapReduce名词解释
<br /><br />在网上收集了一些mapreduce中常用的一些名词的解释，分享一下：<br />Shuffle（洗牌）：当第一个map任务完成后，节点可能还要继续执行更多的map 任务，但这时候也开始把map任务的中间输出交换到需要它们的 reducer那里去，这个移动map输出到 reducer 的过程叫做shuffle。<br /> <br />Partition：每一个reduce节点会分派到中间输出的键集合中的一个不同的子集合，这些子集合（被称为“partitions”）是reduce任
2010-11-28 16:00:00
3381
原创 关于tinyxml的剖析及遍历
<br />之前在学习xml文本解析，发现一个比较好用的开源程序，tinyxml，在这里分享一下tinyxml的原理跟XML文件的遍历操作。TinyXML是一个简单的，轻量级的，由C++实现的XML文档的解析器，它可以被其它程序方便地集成进去使用关于tinyxml的剖析：<br />下面是名为 example.xml的文档，后续的剖析都会以这个xml文档为例：example.xml<br />(1)tinyxml把xml文档建立成一棵DOM(Document Object Model)树，具体实现用的是
2010-11-28 15:59:00
4987
原创 java服务端，python客户端交互
<br /><br />java服务端，python客户端交互<br />前段时间考虑了一下不同语言的程序之间怎么进行交互。就像是数据库系统，可以用很多语言（c，java，php，python等待）来连接，那他们之间应该是怎么交互的呢。以下我尝试用python跟java写了一个C/S结构的交互。代码如下。<br />启动一个java的server后，可以用多个python程序来连接（当然，也可以用其他语言来连接），这里采用的都是socket的连接方式，client端可以向服务端发送请求，等待服务端响应（我写
2010-11-28 15:58:00
6029
原创 gp升级脚本gpmigrator笔记
<br /><br />必备条件（从gp的admin手册中翻译）<br /> 1.保证你登录到gpmaster节点，并且是gp superuser（gpadmin）<br /> 2.在所有gp节点上安装gp4.0的bin文件<br /> 3.把用户自定义的模块复制到gp4.0的相应目录下，如一些函数，包等<br /> 4.把一些你额外增加的文件或文件夹复制或保存，因为只有gp需要的文件才会被gpmigrator这个命令保存<br /> 5.在所有的数据库中运行vacuum，并且删除所有的
2010-11-28 15:57:00
2927
原创 分布式数据库系统扩容时数据迁移问题的一点思考
<br /> <br />分布式数据库系统扩容时数据迁移问题的一点思考<br />记得在以前找工作的时候笔试时就遇到过类似这种问题，那个时候只知道普通hash取模，没做好这道题目，现在工作了之后，接触过一些类似的东西，对这个问题有点思路了，在这里抛砖引玉，写出来跟大家交流一下，写得不好欢迎拍砖。<br />假设：我们现在集群中有三台机器，标记为ma,mb,mc，假设现在每个机器的数据都是比较平均的。<br />一般做数据分布的时候一般用的都是hash算法，将主键（或者说是分布键）算出hash值，普通的就通过
2010-11-28 15:56:00
4473
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人