- 博客(52)
- 资源 (7)
- 收藏
- 关注
原创 caravel 控制某角色只能看到自己的表
背景: 每个用户应该只能看到自己有权限的表,但是我拿到这个版本的时候 caravel还没做限制,即用户可以看到所有表。 然后我就用自己的方法 限制了,如下: #views.pyclass FilterTables(CaravelFilter): def apply(self, query, func): # noqa if any
2016-11-05 11:03:41 726
原创 caravel 导出csv文件乱码问题
背景:项目 : https://github.com/airbnb/caravel版本 :0.10.0现象 : 导出csv 含有中文时候乱码:原有导出代码:采用flask中封装的Response函数view.py elif request.args.get("csv") == "true": payload = obj.get_cs
2016-08-30 13:54:32 1446 1
原创 KYLIN 例行调度 自动BULID
KYLIN提供RESTFUL 接口,通过请求&crontab 可实现例行调度参考url:http://kylin.apache.org/docs15/howto/howto_use_restapi.html#get-job-status实现步骤:1、shell脚本加入下面代码实现BULID请求java -jar KylinInterface.jar CUBE
2016-08-24 14:21:03 4084
原创 caravel中文_caravel汉化
1、设置搜索路径caravel路径下:cat babel.cfg:[ignore: static/assets/node_modules/**][python: **.py][jinja2: templates/**.html]encoding = utf-82、生成翻译模板pybabel extract -F babel.cfg -o messag
2016-08-19 18:55:08 3271 2
转载 清理Kylin的中间存储数据(HDFS & HBase Tables)
原地址:http://blog.csdn.net/jiangshouzhuang/article/details/51290399Kylin在创建cube过程中会在HDFS上生成中间数据。另外,当我们对cube执行purge/drop/merge时,一些HBase的表可能会保留在HBase中,而这些表不再被查询,尽管Kylin会做一些自动的垃圾回收,但是它可能不会覆盖所有方
2016-08-09 13:39:10 1169
原创 ML1-mac 安装ipython
FROM http://wenku.baidu.com/link?url=XW6WaT8G12UcGkS0vuueR1kSJZGyPvNH3L5CEOUrejlmJW07_rKvvK2t0O72QBbooatULQM9iFOTEYQnJF9MPctN77QFq4lYuq4df6tIT8C如果你想使用最新的开发版本,从源文件安装是最适合的。 1. 从https://github.
2016-07-29 14:29:53 619
原创 mvn
mvn archetype:generate -Dversion=1.0 -DgroupId=test_groupid -DartifactId=test_artifactid -DpackageName=com.test.svn.create1. mvn help:describe 你是否因为记不清某个插件有哪些goal而痛苦过,你是否因为想不起某个goal有
2015-06-28 00:12:41 1098
原创 文章标题
mvn archetype:generate -Dversion=1.0 -DgroupId=test_groupid -DartifactId=test_artifactid -DpackageName=com.test.svn.create
2015-06-28 00:07:05 463
原创 欢迎使用CSDN-markdown编辑器
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来,用它写博客,将会带来全新的体验哦:Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl
2015-06-28 00:06:20 489
转载 watch
转载自:http://www.cnblogs.com/peida/archive/2012/12/31/2840241.htmlwatch是一个非常实用的命令,基本所有的Linux发行版都带有这个小工具,如同名字一样,watch可以帮你监测一个命令的运行结果,省得你一遍遍的手动运行。在Linux下,watch是周期性的执行下个程序,并全屏显示执行结果。你可以拿他来监测你想要的一
2015-05-05 19:25:01 543
原创 tail -f xxx.log|awk '{print $3}'|uniq -c
kps 计算 依赖于日期中打印了时间 uniq -c 去重计数
2015-05-05 19:17:11 1731
原创 linux awk shell 左补0
shellprintf "%04d\n" 12awkecho 12|awk '{printf("%03d\n",$0)}'
2015-05-02 15:13:01 9150
原创 php retry
$retry=0;while($retry++ try{ //正常代码 - 连接库}catch(Exception $e){sleep(1);continue;}break;}
2015-04-29 18:23:57 1146
转载 vim 中代码的折叠和打开
文章转自:http://liufabin66688.blog.163.com/blog/static/13968548200810140486304/在查看代码的时候,如果代码十分冗长,尤其是c/c++系列的时候,代码结构比较让人难以理清,主要是各种注释、括号的匹配问题,虽然可以用%来查看匹配的另外一半符号在哪里,但是如果这一对符号之间的代码超过了一页,甚至好几页的话,那么也是
2015-04-29 11:17:43 35426
转载 分隔符不是单个字符事load数据的问题。
http://blog.csdn.net/iquicksandi/article/details/8543052通过 SerDe(serialize/deserialize) ,在数据序列化和反序列化时格式化数据。
2015-03-13 11:38:27 633
转载 hadoop中HDFS详解
http://p-x1984.iteye.com/blog/860290一、HDFS的基本概念1.1、数据块(block)HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。和普通文件系统相同的是,HDFS中的文件是被分成64M一块的数据块存储的。不同于普通文件系统的是,HDFS中,如果一个文件小于一个数据块的
2015-03-12 18:27:54 531
原创 可见strings能输出文件中的可打印字符串(可指定字符串的最小长度),通常用来查看非文本文件(如二进制可执行文件)中的可读内容。
strings edits|more
2015-03-12 18:21:16 641
原创 正则gawk --re-interval
cat 1.txt|gawk --re-interval -F '\t' '{if($19~/^[a-z0-9]{8}$/||$19~/^[A-Z]{5}$/)print}' > 1_end.txt
2015-03-03 14:14:37 1254
转载 MySQL数据库引擎介绍、区别、创建和性能测试的深入分析
数据库引擎介绍MySQL数据库引擎取决于MySQL在安装的时候是如何被编译的。要添加一个新的引擎,就必须重新编译MYSQL。在缺省情况下,MYSQL支持三个引擎:ISAM、MYISAM和HEAP。另外两种类型INNODB和BERKLEY(BDB),也常常可以使用。如果技术高超,还可以使用MySQL+API自己做一个引擎。下面介绍几种数据库引擎: ISAM:ISAM是一个定义明确且
2015-02-25 14:23:33 533
转载 linux常用命令
日 志 文 件 说 明 /var/log/message 系统启动后的信息和错误日志,是Red Hat Linux中最常用的日志之一 /var/log/secure 与安全相关的日志信息 /var/log/maillog 与邮件相关的日志信息 /var/log/cron 与定时任务相关的日志信息 /var/log/spooler 与UUCP和news设备相关的日志信息
2015-02-25 12:29:08 468
转载 prompt statement (提示表达式) --- $PS1 $PS2 $PS3 $PS4 $PROMPT_COMMAND
PS 是 prompt statement (提示表达式)的缩写。1. PS1 – 默认交互式提示符在 shell 中断中中敲入命令时,可以看到前面的一串提示符(如 [beyes@beyes ~]$ ),这就是 PS1 所代表的内容。可以用 echo 来查看 PS1 这个变量:[beyes@beyes ~]$ echo $PS1[\u@\h \W]\$
2015-02-25 12:23:13 980
转载 LINUX export PS4='+$LINENO: {${FUNCNAME[0]}} '
-x 是 set 命令中的一个选项,它用来进入跟踪方式,这样会显示出脚本执行每一条命令及其参数,它是脚本调试中的一个有用选项。它输出的被执行的命令行及参数前面会添加一个 "+" 号。实际上,这个 "+" 号就是内置变量 $PS4 的值,可以输出验证:[beyes@localhost ~]$ echo $PS4+我们可以对 -x 选项,或者说是 $PS4 这个变量进行
2015-02-25 12:10:37 2293
转载 python的ftp全部内容下载
# -*- encoding: utf8 -*-import osimport sysimport ftplibclass FTPSync(object): def __init__(self): self.conn = ftplib.FTP('10.22.14.23', 'user', 'pass')
2015-02-03 18:01:35 1010
转载 Hadoop拷贝文件到hdfs时出错:could only be replicated to 0 nodes, instead of 1
在配置namenode和jobtracker的ip时使用的是localhost ,将这两个改成namenode以及jobtracker本机的实际ip后,问题得以解决 。 具体的原因我也不太明白确保master(namenode) 、slaves(datanode)的防火墙已经关闭确保DFS空间的使用情况Hadoop默认的hadoop.tmp.dir的路径为/tmp/hadoop-${user.
2015-01-09 14:12:24 6370
原创 将大文件按照首字母分割到不同的小文件中 实现取第二个[]中间的内容进行分割
文件分割:77.txt内容adssweerwefdsfbfdbfdfdfs一 、实现将大文件按照首字母分割到不同的小文件中实现:取首字母:{substr($1,1,1);写入首字母的文件中cat muliCn.txt |awk '{substr($1,1,1);print>"./split/split_"su
2014-12-31 15:10:19 914
转载 python出现Non-ASCII character '\xe7' in file ex6.py on line 1, but no encoding declare错误
python出现Non-ASCII character '\xe7' in file ex6.py on line 1, but no encoding declare错误python中出现Non-ASCII character '\xe7' in file ex6.py on line 1, but no encoding declare的错误可按照错误建议网址查
2014-12-25 11:08:57 935
转载 详细了解CPU的信息
转载:http://blog.sina.com.cn/s/blog_4bde3c5101015gbr.html在Linux系统中,如何详细了解CPU的信息呢? 当然是通过cat /proc/cpuinfo来检查了,但是比如几个物理CPU/几核/几线程,这些问题怎么确定呢?经过查看,我的开发机器是1个物理CPU,4核8线程,Intel(R) Core(TM) i7 CPU 860
2014-12-16 15:54:03 620
原创 java.io.IOException: Bad connect ack with firstBadLink as
关闭防火墙或者开放端口即可解决
2014-12-11 11:01:38 1260
原创 linux 配置iptables
http://www.cnblogs.com/JemBai/archive/2009/03/19/1416364.html
2014-12-10 20:30:01 531
原创 su: cannot set user id: Resource temporarily unavailable
ulimit是限制进程对资源的使用,nproc可用 ulimit -u 查询;nofile可用 ulimit -n 查询 一、hadoop 集群新加了一台机器,昨天下班前做了start-banlancer.sh,连接不上用户usa,报错。使用root执行 su usa,报错su: cannot set user id: Resource temporarily unavailable
2014-12-10 12:10:54 2522
原创 集群 各个目录占有量和整个集群总空间占有量为什么不一致
今天有同事很好奇的发现一个问题:Filesystem Size Used Available Use%hdfs://ns1 106.3 T 76.8 T 23.9 T 72%5.1 T /data20.0 G /hbase924.5 M /home16.3 M /lib0 /output0 /system37.2 G /tmp25.7 T /user很奇怪为什么各个目录
2014-12-08 17:38:51 617
转载 Hive使用一段时间后Hadoop集群占用空间暴增的原因
Hive使用一段时间后Hadoop集群占用空间暴增的原因 转载:http://sishuok.com/forum/blogPost/list/5410.html我使用的是hive。所有的数据也是在hive中 load data inpath 导入的导入的数据时保存到虚拟路径 hdfs:////user/hive/warehouse以一个表一个
2014-12-08 16:24:13 1682
原创 异常 Caused by: org.apache.hadoop.util.DiskChecker$DiskErrorException: Could not find any valid local
查看你的配置文件,找到mapred.local.dir这个参数,查看这个参数对应的文件夹的状态,如容量,可读性等设置mapred-site.xmlproperty>name>mapred.local.dirname>value>/data/hadoop/mapred/localvalue>property>mapred.l
2014-12-04 16:38:18 3532
原创 awk如何打印出除了第一列以外的其他列
awk如何打印出除了第一列以外的其他列:a 文本内容1,2,3,4,5,6,73,4,5,6,7,8,94,5,6,7,8,9,9技巧:替换第一个分隔符为其他分隔符,再输出第二列cat a|sed 's/,/ /'|awk '{print $2}'结果:2,3,4,5,6,74,5,6,7,8,95,6,7,8,9,9
2014-12-03 15:44:21 4495
转载 strings in documents must be valid UTF-8: '\xbf\xcd\xbb\
http://windkeepblow.blog.163.com/blog/static/1914883312013988185783/遇到这种问题千万不要用什么 “python编码” “unicode中文编码” “unicode解码”这样的关键字去搜,一大堆网页出来毫不相关。如题,其实我的问题很简单,就是在写爬虫的时候拿到网页的信息包含类似“\u65b0\u6d6a\
2014-12-02 14:14:22 6416 1
深度学习-介绍最成熟的深度学习算法
2018-05-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人