原创
文章平均质量分 74
码路刺客
某股份制银行大数据开发攻城狮,主营数据仓库开发,数据模型设计,研发过程管理。
展开
-
jdbc连接sybase数据库的问题
问题:开发jsp应用,测试用的sqlserver数据库,原创 2014-05-07 11:42:06 · 4031 阅读 · 1 评论 -
【Hive】日期从整形转为Date类型
在建表的时候我们常将日期字段设置为INT类型,将诸如20180601这样的数字值来表示日期,这样在做日期比较等操作时没有问题,但是要进行某些日期计算,就要先转成日期类型才能进行计算了,怎么转换呢?数据准备下面在Hive中先建一个表,含有一个INT类型的日期字段,插入两行数据。create table tb (dt INT);insert into tb values (201...原创 2018-07-28 09:48:46 · 16747 阅读 · 1 评论 -
Aqua Data Studio 执行HiveSql的问题
连接Hive的客户端有很多,Aqua Data Studio是不错的一个,之前用过DbVisualizer,多个Sql语句都是用;结束的,运行没问题,但是到了Aqua里就报错了:>[Error] Script lines: 1-1 -------------------------- Error while compiling statement: FAILED: ParseExc...原创 2018-07-28 09:55:30 · 2294 阅读 · 1 评论 -
Python连接数据库将结果转换为DataFrame(列名和表字段一致)
很多时候,我们用Python处理数据,需要连接到Mysql、Postgresql等数据库,获取表数据,再构建pandas的DataFrame进行进一步处理。但是查询数据库结果集是没有表字段名称的,我们希望构建的DataFrame的列名和表字段一样。直接上代码这里以Postgresql数据库为例,Mysql数据库差不多,其他的自行改造。先封装一个查询类,查询返回的结果是一个字典,head是表列...原创 2019-02-27 14:23:06 · 4018 阅读 · 0 评论 -
Atom编辑器中使用Hydrogen切换Python虚拟环境
使用Anaconda的集成Python环境,自带的Jupyter代码编辑器很不错,可以进行代码交互运行。后来折腾Atom编辑器,在Atom中安装Hydrogen插件也可以达到交互运行目的,而且在Atom中编写代码体验稍微好点。有时候我们会在自己的项目中创建Python虚拟环境,Hydrogen连接Anaconda中的python内核,如何增加python虚拟环境的内核给Hydrogen使用呢?环...原创 2019-02-27 14:38:11 · 2539 阅读 · 0 评论 -
Python多个数组合并
Python中多个数组合并为一个数组的方法整理。extend方法该方法可以扩展数组,会改变原始数组。a = [1,2,3,4,7,5,6]b = ['a','b']c = ['h',12,'c']a.extend(b)a.extend(c)print(a)#结果:[1, 2, 3, 4, 7, 5, 6, 'a', 'b', 'h', 12, 'c']直接相加用+将各数组...原创 2019-02-27 14:39:47 · 39943 阅读 · 0 评论 -
【Atom】autocomplete-python插件报乱码异常问题
autocomplete-python插件可以帮助在写python代码时给出丰富的提示并且自动补全代码,换电脑重装该插件后发现按下键盘后,atom右上角总弹出autocomplete-python traceback output:的提示,提示信息还是乱码。解决方式是设置Python Executable Paths进入Atom设置Packages,找到该插件,进入Settings在Py...原创 2019-02-27 14:42:07 · 1248 阅读 · 0 评论 -
类Jupyter notebook编辑器桌面版nteract
Jupyter notebook是一款学习和科研的神奇,相信很多小伙伴已经利用它在学术科研、研究开发的道路上收获了便捷易用、可视直观的优点。我们使用的Jupyter notebook都是网页形式的,在浏览器中进行操作,保存的文件格式是.ipynb的。似乎在其他编辑器工具中打不开这种格式。有没有不想在网页中的Jupyter notebook编写代码,也可以直接编辑.ipynb格式的文件的方法呢?有...原创 2019-02-27 14:46:38 · 4128 阅读 · 0 评论 -
常用的JScript代码整理
目录准备遍历文件夹遍历所有文件获取文件MD5值创建Excel文件JScript并不是我们熟知的JavaScript,但是跟JavaScript很像,如果要在Windows环境中做一些自动化工作,比直接写BAT批处理脚本要简单些。JScript是由微软公司开发的活动脚本语言,是微软对ECMAScript规范的实现。JScript最初是随Internet Explorer 3.0于1996年8月...原创 2019-02-27 13:53:35 · 917 阅读 · 0 评论 -
Atom插件aligner冒号(:)对齐的问题
最近在折腾Atom编辑器,写Python进行交互运行还是很方便的,代码提示什么的比Jupyter也好一些,还可以配置一堆插件,定制自己的开发环境。对于代码整齐性来说,aligner插件是不能错过的。atom-aligner是干什么的呢,就是用来对齐的,比如我们写这样一段变量赋值的程序:var_a =1 #我是变量1b = [1,2,3,4]#我是变量2cccc=(1,2,3)#注释ddd...原创 2019-02-27 14:07:58 · 915 阅读 · 0 评论 -
SQL如何实现查找节点依赖
SQL如何运用递归查找有向无环图的节点依赖呢?问题是这样的例如我有以上的两个图,节点b的前置节点是a,节点c的前置节点是b和d,以此类推。给出一个节点,需要找出以此节点为前置节点的所有链条节点。比如给出a,那出来的结果就是a,b,c,d,e,给出f,那出来的结果就是f,g,h,i,j,k。数据准备创建表以及插入数据,多个前置节点用,隔开,注意,使用的是PostgreSQL数据库。-- ...原创 2019-02-27 14:20:33 · 507 阅读 · 0 评论 -
理解Python函数闭包
本文主要介绍什么是闭包,Ptyhon中使用闭包时容易出现的变量问题。闭包闭包指延伸了作用域的函数,其中包含函数定义体中引用、但是不在定义体中定义的非全局变量。函数是不是匿名的没有关系,关键是它能访问定义体之外定义的非全局变量。举个栗子def make_averager(): series = [] def averager(new_value): ...原创 2019-03-29 15:12:49 · 472 阅读 · 0 评论 -
CentOS Hbase-1.2.0 安装配置
本篇介绍在四个节点的集群中安装Hbase,Hbase依赖于zookeeper,Hbase的安装包内自带zookeeper,本篇将配置使用单独安装的zookeeper。最后启动时遇到Master is initializing、error telling master we are up的异常,通过修改hosts文件得以解决。安装环境虚拟机:VMware Workstation 12 ...原创 2018-01-24 22:07:57 · 1003 阅读 · 0 评论 -
CentOS上zookeeper集群模式安装配置
本篇介绍在四个节点的集群中搭建zookeeper环境,zookeeper可配置三种模式运行:单机模式,伪集群模式,集群模式,本文使用集群模式搭建。安装环境虚拟机:VMware Workstation 12 PlayerLinux版本:CentOS release 6.4 (Final)zookeeper版本:zookeeper-3.4.5-cdh5.7.6.tar.gz集群节点原创 2018-01-23 15:00:20 · 505 阅读 · 0 评论 -
【ORACLE】常用物化视图相关元数据查询语句
对物化视图的状态等信息进行查询,监控和管理时,需要对系统视图进行查询,以下列出了常用的物化视图状态、依赖关联,批量维护时能用到的查询语句,根据具体情况进行适当修改。原创 2018-01-03 23:23:11 · 5035 阅读 · 0 评论 -
Bootstrap Tour引导向导提示插件只能打开一次的解决方法
http://bootstraptour.com/原创 2014-05-29 11:38:22 · 2255 阅读 · 0 评论 -
Zend Framework中header下载文件的问题及解决
问题描述:在使用Zend Framework框架开发过程中需要用户下载excel文件的功能。之前看过PHP的header()函数可以下载文件,于是便查了一下header函数,W3School中给出的用法是:header(string,replace,http_response_code)参数描述string必需。规定要发送的报头字符串原创 2014-03-04 03:42:39 · 1054 阅读 · 0 评论 -
Pentaho 6.0 安装与启动教程
本文主要介绍了开源BI工具Pentaho 6.0社区版的安装与启动,安装环境为虚拟机+Win server 2008 r2,一起来体验下吧。原创 2016-03-08 20:30:27 · 5092 阅读 · 1 评论 -
在SSIS 中使用 Web Service 以及 解析XML 数据
本文将演示调用美国一个查询城市编码的Webservice接口,将查询到的信息保存到我们自己数据库的表中。http://www.webservicex.net/uszip.asmx是一个查询美国城市编码信息的Webservice接口,例如我们点击GetInfoByCity方法,输入New York,调用后返回XML格式的文件。原创 2016-05-16 20:46:42 · 6620 阅读 · 0 评论 -
SSIS中Foreach循环容器处理XML数据
上一篇文章 《在SSIS 中使用 Web Service 以及 解析XML 数据》中介绍了使用SSIS的WebService控件解析XML数据,最后也提到对于返回的XML数含有数组类型的时候需要一点额外的处理。本示例将介绍在SSIS中用Web服务任务组件调用天气预报Web服务的接口查询城市的天气等信息,因为返回XML格式的数据含有数组,原创 2016-05-16 20:50:32 · 1428 阅读 · 0 评论 -
Play Framework 2.5 环境搭建与新建项目(一)
简介Play Framework是啥?引用下百度百科的说法: Play!是一个full-stack(全栈的)Java Web应用框架,包括一个简单的无状态MVC模型,具有Hibernate的对象持续,一个基于Groovy的模板引擎,以及建立一个现代Web应用所需的所有东西。原创 2016-09-25 11:33:22 · 4469 阅读 · 2 评论 -
Play Framework 2.5 环境搭建与新建项目(二)
activator ui 方式打开命令行窗口,输入以下命令:activator ui 浏览器中打开一个页面,类似于一个IDE,实际上也是一个网页版的IDE。选择 Seeds->Play Java Seed,在右下角选择项目创建到的文件夹路径,然后点 Create app 完成创建。原创 2016-09-25 11:39:15 · 2697 阅读 · 0 评论 -
Markdown使用table标签创建表格的问题
使用Markdown写东西有时需要插入表格,方式有两种:1.使用Markdown的表格语法2.使用html的<table>标签来创建表格但是某些Markdown编辑器中使用<table>标签会出现表格前有空行的情况。原创 2017-12-10 14:54:41 · 4092 阅读 · 0 评论 -
【ORACLE】物化视图相关元数据视图字段说明
当需要对物化视图的状态等信息进行查询,监控和管理时,就要用到相关的系统元数据表了,本文介绍了Oracle物化视图相关的元数据系统视图的表结构,这些视图有:`ALL_VIEWS`,`DBA_MVIEWS`,`USER_MVIEWS`,`ALL_MVIEW_ANALYSIS`,`DBA_MVIEW_ANALYSIS`,`USER_MVIEW_ANALYSIS`,`ALL_MVIEW_AGGREGATES`等。翻译 2017-12-10 15:14:10 · 3265 阅读 · 0 评论 -
【ORACLE】物化视图快速刷新限制条件
快速刷新的物化视图创建比较麻烦,限制条件比较多,本文参考Oracle 11g 11.2版本官方文档,总结一般情况、含有联接、含有聚合计算、UNION ALL等情况下的限制条件。原创 2017-12-06 17:01:09 · 4014 阅读 · 0 评论 -
【cmd】IF ELSE 复制(copy)文件问题
cmd中复制文件COPY命令一般都不会有问题,但是如果把COPY放在IF ELSE中可能导致批处理文件无法运行。原创 2017-11-28 12:21:46 · 1309 阅读 · 0 评论 -
Jupyter notebook/nteract/Atom中配置scala交互式编程环境
Jupyter notebook是一款学习和科研的神奇,相信很多小伙伴已经利用它在学术科研、研究开发的道路上收获了便捷易用、可视直观的优点。大部分时候我们都是Jupyter notebook中编写python脚本,其实,可以额外安装相关语言的Kernel,让Jupyter notebook支持交互式执行相关语言代码,本文中介绍配置运行Scala代码的过程。前提条件安装Scala,找到Othe...原创 2019-04-14 16:49:00 · 1400 阅读 · 0 评论