link200809的专栏

原创 使用python CodeGeeX 辅助数据处理xml

1 背景:手头上有N 张算是开发完成的报表,但是由于每个报表是不同的人开发的,每个人不同的编码风格,准备看看报表是否都定义了Title,是否都定义了报表的描述,是否有不带where条件的前台查询,是否同一个参数定义一致.现在AI 代码助手功能据说很强大了,试试描述需求让机器来辅助编码。3 单个文件标签属性解析组装使用xpath解析标签属性和标签属性的值,返回的对象是个list 结构,多个list结构通过{list1,list2,list3}方式组装返回的还是一个list。####获取标签属性的值。

原创 Birt 测试用例半自动化生成相关

1 背景:上次给小白分配了几百张前台测试的任务,你来点点这几百张报表保证每个报表都能打开,看看有没有报错的.依靠人力手工的去点既看不到过程又看不到结果,最要命的是这种放养式的测试方法既消耗人力效果又不好.要研运增效。唯一要做的就是生成外部测试导入数据.数据的需求是每个报表的参数名称,参数类型。3 工具选型.结合市场上的自动化测试工具web应用开发用烂了的工具复用到报表前台测试.5 还是使用beautifulsoup 接卸xml 标签数据 ，lxml 也可以实现。4 后续自动生成要求的格式数据有时间再喝茶.

原创 python XML2SRS

练习XPATH 选取text-property标签具有name='text' 属性值的标签的值。获取Tile,Description,Columns。

原创 Postman batch post requests import 双引号问题

初次使用工具中注意事项：1 定义json参数变量value由于没有注意双引号问题导致run 报400 错误测试结果总是报400 bad request错误

原创 CHAT2DB usage experience

1 : WARN zookeeper.ZKUtil: hconnection Unable to set watcher on znode (/hbase/hbaseid)2 ERROR client.HConnectionManager$HConnectionImplementation: Check the value configured in 'zookeeper.znode.

原创 broadcast vs redistribute

ignore broadcast huge table by redistribute key

转载 EDW DWM CONCEPT

非事实型事实表――factless fact table 在维度建模的数据仓库中，有一种事实表叫Factless Fact Table，中文一般翻译为“非事实型事实表”。在事实表中，通常会保存十个左右的维度外键和多个度量事实，度量事实是事实表的关键所在。在非事实型事实表中没有这些度量事实，只有多个维度外键。非事实型事实表通常用来跟踪一些事件或者说明某些活动的范围。下面举例来进行...

转载 移动硬盘问题修复18中方法

http://www.upantool.com/jiaocheng/disk/10119.html#

转载 msyql reference address for developper

https://dev.mysql.com/doc/refman/5.5/en/

原创 sql left join 3 张表

转载 SQL 数据特殊符号切割

需求SQL 字段中的字符串拆成多行显示.实现:MYSQL SUBSTRING_INDEX(COL1,'字符串分隔符号',位置)SQL: select t2.help_topic_id as ID ,SUBSTRING_INDEX(SUBSTRING_INDEX(RecordIdentifier,' ',t2.help_topic_id+1),' ',-1) as RecordIdent...

转载 查看Linux iso 文件内容

ISO文件是一种磁盘镜像文件，Linux系统里打开ISO文件，实际是挂载ISO文件。有两种方法：一、手工命令方式,首先确认内核加载了loop模块：modprobe loop；创建ISO文件挂载点：mkdir /media/iso；挂载ISO文件：mount your-iso-file.iso /media/iso/ -t iso9660 -o loop二、使用辅助工具挂载ISO文件：Gmoun...

转载 CDH licence



转载 CDH LAB enviroment



转载 sas table data formate output

proc sql noprint;select type||"="||case when type_id=6 then put(curr_date, percentn10.2)                       when type_id in (1,2,4) then "RM "||put(curr_date,comma10.)                       else ...

原创 rest-work-eat-study-rest-work-eat or rest-rest-work-work-eat-eat..

words are for your heart.tks for my dear family's

原创 e2fsck

e2fsck

转载 Hive1 HIVE QL

after you have configured jvm,sshd service with no private key authorized and hadoop .you can install the hive a dw tools based on the hadoop platform.It's a little different from the SQL,now let's st

转载 hadoop 学习网站

http://www.superwu.cn

转载 初识STORM 快速入手

http://blog.sina.com.cn/s/blog_546abd9f0101cce8.html

转载 安装Hadoop Eclipse plugin

1. Hadoop版本JDK： sun jdk1.6.0_30Hadoop:  hadoop-0.20.203.0 和 hadoop-1.0.2Linux:  Ubuntu 11.10Eclipse:  Eclipse Indigo 3.6.2 （也有3.7.1）2. 编译hadoop-0.20.203.0 和 hadoop-1.0.2，过程见上一篇博客3. 编译出来的pl

转载 初见HBASE很不顺畅,看来是学习方法不对,重新从网上摘录一段儿,

hbase伪分布式安装详解及错误分析        分类：            HADOOP和HIVE2012-05-16 14:351131人阅读评论(0)收藏举报hbasehadoophtmlshellcentosjdk安装环境：centos6.0+jdk1.6.0_29+hadoop1.0.0+hbase0.90.4已经安装好centos6.0+jdk1.6.0_29+

转载 ssh localhost 无密钥配置(root & !root)

1. 确认系统已经安装好OpenSSH的server 和client　　安装步骤这里不再讲述，不是本文的重点。　　2. 确认本机sshd的配置文件（需要root权限）　　$ vi /etc/ssh/sshd_config　　找到以下内容，并去掉注释符”#“　　RSAAuthentication yes　　PubkeyAuthentication yes　　Authori

转载 hadoop getfile exercise

#!/bin/sh#Hostname Prefix localPath="/work/tda/yunion/unionfactfile"hadoopPath="/workspace/tda/yunion/thive"hadoop="/opt/hadoop-1.0.3/bin/hadoop"hive="/opt/hadoop-1.0.3/hive/bin/hive"#格式化日

转载 mysql到redis的复制

mysql到redis的复制mysqludfredisjson 系统开发中时常会需要缓存来提升并发读的能力，这时可以通过mysql的UDF和hiredis来进行同步 前题：安装了mysql5.5和client 1、安装mysql2redis Shell代码  git clone https://github.com/jackeyl

原创 lesson 2 hbase install on hadoop

hbase install on hadoop

原创 数据仓库的难点和痛点

想想自己也接触过5个以上的数据仓库项目了,现在想起来没有一个数据仓库项目得到了客户的肯定,大部分的仓库项目也就是达到了给客户提取提取报表数据的要求,可是做为一直从事数据仓库后台项目的人员,不免还是对怎么实施一个数据仓库项目感到还是没有一个不错的方案.  现在想想之前做过的数据仓库项目,想想后台最让人头疼的问题不是调度问题,而是没有一个人能说清楚到底牧歌指标的具体口径是什么,之前为了应对数据指标

原创 第二次参加部门年会

今天是一个特殊的日子,是我加入公司后第二次参加部门年会。  怎么总结2013公司的变化呢?我想到了一个词"卡位".  2013大家都卡完位置了,而我依然还在原地踏步.更为糟糕的是我和老板闹的有点儿僵了,估计以后的希望是没有了. 2013 让我知道了什么是爱,原来爱也是有很多种的,眼里只有一个人的是一种爱,为公司鞠躬尽瘁的也是一种爱. 2013 也让我感到了什么叫做自卑,什么叫做我是

转载 第6周 Map-Reduce编程实战，eclipse与Hadoop集群连接

http://www.dataguru.cn/article-1574-1.html

转载 centos6.x 和centos5.x nfs 服务配置

在Centos6下必须先启动rpcbind，而不是portmap：（这个要紧记啊）service   rpcbind  start  再安装启动NFS成功！ 1、是否安装了NFS和portmap RPM包[root@ha01 /]# rpm -qa | grep nfsnfs-utils-1.0.9-44.el5nfs-utils-lib-1.0.8-7.6.el5[root@

转载 快速假设自己本地iso文件的yum库

附：建立本地yum源的步骤： 1、将带有软件包和相应repodata索引的iso镜像挂载在某目录下（我是放在/mnt下）mount/root/CentOS-6.0-x86_64-bin-DVD2.iso /mnt -o loop 2、在/etc/yum.repos.d/下建立自己的配置文件（例如software.repo），必须用.repo结尾，内容为： [soft

转载 /usr/lib64/python2.6/site-packages/pycurl.so: undefined symbol: CRYPTO_set_l

重新编译curl 安装后 yum 报错/usr/lib64/python2.6/site-packages/pycurl.so: undefined symbol: CRYPTO_set_locking_callback系统环境：CentOS release 6.2 (Final)2.6.32-220.13.1.el6.x86_64 #1 SMP Tue Apr 17 23:56:

原创 not to be a poor man,hadoop i'am comming

This moment will nap,you will have a dream,But this moment study,you will  interpret a dream.I leave uncultivatd today,was precisely yesterday perishes tommrrow which person if the body implored.T

转载 转hadoop 学习路线

主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, Flume, Bigtop, Crunch, Hue等。从2011年开始，中国进入大数据风

原创 如果你的口才不好就请坚持写日记

if  your spoken language is not to good enough,plesae stay on writing a diary,it's not for others,it's for you.  如果你的口语不是很好,请坚持每天写日记,不是给别人看,而是写下你的所思所想.  I find that when I am talking with somebody

转载 shell 管道通信(UE 删空行%[ ^t]++^p)

文将介绍在SCO OpenServer5.0.5系统中使用shell语言来实现进程间信息交换的几种方法：　使用命名管道实现进程间信息交换　使用kill命令和trap语句实现进程间信息交换　使用点命令“.”实现进程间信息交换　使用export语句实现父进程对子进程的信息传递　一、使用命名管道命名管道是一种先进先出（FIFO）的数据结构，它允许两个进程通过管道联接实现信息交换。

原创 smallbin double linked list corrupted

[20131210205216] G1002 Ftp Waitting..*** glibc detected *** /home/gdsbi/aiinsight/aitools/bin/tclsh: malloc(): smallbin double linked list corrupted: 0x0000000001824980 ***======= Backtrace: =====

转载 linux so 文件创建

http://linux.chinaitlab.com/administer/803560.html

转载 shell 字符串截取

echo '${str%/*}'="${str%/*}"${str%/*}=Hello,my weibo is http://blog.sina.com.cn/ifiamjoy. //today is 2012/12说明：%号截取，删除右边，保留左边。%/*表示从右边开始，删除第一个/号及其右边的字符。                

原创 tcl 报错

[20131125221254] G1002 Load Waitting..*** glibc detected *** /home/gdsbi/aiinsight/aitools/bin/tclsh: double free or corruption (!prev): 0x00000000113a0d10 ***======= Backtrace: =========/lib64/