- 博客(321)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 【Linux】Centos防火墙命令
查看防火墙状态：systemctl status firewalld.service临时关闭防火墙：systemctl stop firewalld.service永久关闭防火墙：systemctl disable firewalld.service
2019-01-25 21:13:42
285
原创 【Postgresql】pg掉电后无法重启
机房断电后重启pg数据库，报如下错误：< 2019-01-01 22:42:59.240 EST >LOG: database system was interrupted while in recovery at 2019-01-01 22:00:58 EST< 2019-01-01 22:42:59.240 EST >HINT: This probably ...
2019-01-02 12:07:10
2523
原创 【Python】AxisError: axis 0 is out of bounds for array of dimension 0
报错代码：print(np.sort(zip(etr.feature_importances_, boston.feature_names), axis=0))原意是想把zip后的列表，使用sort按列（axis=0）排序。报错原因：zip 方法在 Python 2 和 Python 3 中的不同：在 Python 3.x 中为了减少内存，zip() 返回的是一个对象。如需展示列...
2018-12-26 18:46:29
7407
原创 【Python】AttributeError: 'Series' object has no attribute 'order'
新版本的pandas中的Series不再支持order()，用sort_values()替代。sort_values()文档查看这里
2018-12-19 15:18:32
1483
原创 【Python】检测字符串的方法
1. isalnum()语法： str.isalnum()返回值：如果 string 至少有一个字符并且所有字符都是字母或数字则返回 True,否则返回 Falsestr1 = 'this2018'str2 = 'hello world!'print(str1.isalnum())print(str2.isalnum())实例输出结果为：TrueFalse...
2018-12-12 20:41:35
2781
1
原创 【Python】ix，loc，iloc的区别
ix：通过行标签或行号索引行数据；loc：通过行标签索引；iloc：通过行号索引；注意：pandas0.20.0版本开始，python不建议使用ix，而推荐使用更为精确的 iloc或者 loc。from pandas import Seriesimport numpy as npdata = Series(np.random.randn(10), ...
2018-12-12 11:19:08
586
原创 【Python】ModuleNotFoundError: No module named 'pandas.io.data'
pandas.io.data已经用不成了，得替换为pandas_datareader，pip3 install pandas_datareader 安装就可以了。
2018-11-28 18:32:12
3905
原创 【Python】安装IPython和IPthon Notebook
1. 安装相关包pip install IPythonpip install urllib3 （安装IPython Notebook的依赖）pip install jupyter （安装IPython Notebook）pip install numpypip install matplotlibpip install pandaspip install scipypip in...
2018-11-28 10:14:07
2060
原创 【SQL】SQL的执行顺序
FROM <left_table>ON <join_condition><join_type> JOIN <right_table>WHERE <where_condition>GROUP BY <group_by_list>HAVING <having_condition>SELECTDISTIN
2018-11-06 10:12:33
234
原创 【Python】pymysql.err.InternalError: (1236, 'Misconfigured master - server_id was not set')
使用python连接mysql报错：pymysql.err.InternalError: (1236, 'Misconfigured master - server_id was not set')报错原因：my.cnf文件中没有设置server_id查找文件命令：whereis my.cnf...
2018-10-19 14:31:36
2517
原创 【C】输出乘法口诀表
#include <stdio.h>int main(){ int i = 0; int j = 0; for (i=1;i<=9;i++){ for (j=1;j<=i;j++){ printf("%dx%d=%d\t",i,j,i*j); } printf("\n"...
2018-08-06 14:45:02
286
原创 【SQL】substr截取结果和想象中有差异？
今天在处理员工信息，其中身份证号需要截取后四位，于是，我使用了substr函数：substr(card_no,-1,4)心中默念：“从最后一位截取，负号代表从右向左，截取四位，对，没毛病！！”但结果，擦，却是只截取了最后一位！！！之前都是正序截取，没想到逆序截取还出这情况，网上搜了下，下面小哥写的很好：点击打开链接...
2018-07-05 17:30:28
1068
原创 【Python】BeautifulSoup导入lxml报错
报错的程序:content = bs4.BeautifulSoup(response.content.decode("utf-8"), "lxml")报错如下：bs4.FeatureNotFound: Couldn't find a tree builder with the features you requested: lxml. Do you need to install a parser...
2018-06-28 14:25:50
3064
3
原创 【Python】Pycharm中plot绘图不能显示
《利用Python进行数据分析》书中例子都是用IPython作为开发环境，问我一直在用Pycharm，这导致了plot还不能显示绘图。出错的代码如下：import jsonimport pandas as pdfrom pandas import DataFrame,Seriespath = r'C:\Users\long\Desktop\python\pydata-book-2nd-ed...
2018-06-26 16:15:14
20106
4
原创 【SQL练习题】排序
原表如下：建表脚本：CREATE TABLE districtproducts ( district varchar(255), name varchar(255), price int(255));INSERT INTO districtproducts VALUES ('东北', '橘子', 100);INSERT INTO districtproducts VALUES ...
2018-06-21 18:28:10
511
原创 【Kettle】如何解决Excel输出卡死或太慢
当Excel输出大量数据时（10w+），此步骤可能会卡死导致真个转换报错。只需勾选如下即可解决：
2018-06-21 16:06:25
6210
5
原创 【SQL练习题】case when实现按要求排序
表中key列，数据如下：如何实现如下输出效果:建表语句：CREATE TABLE order1 ( key varchar(255)); INSERT INTO order1 VALUES ('A'); INSERT INTO order1 VALUES ('B'); INSERT INTO order1 VALUES ('C'); INSERT INTO orde...
2018-06-19 15:48:29
1716
原创 【SQL练习题】1. 多列数据求最大值
一列多行，很容易得出最大值，但多列多行如何取最大值呢？从下表中取得每行的最大值：最终实现如下效果：建表语句：CREATE TABLE greatests ( key varchar(255), x int(5), y int(5), z int(5));INSERT INTO greatests VALUES ('A', 1, 2, 3);INSERT INTO great...
2018-06-15 18:32:55
5157
原创 【Kettle】血统分析
在转换中，血统就是说你要知道一个数据是从哪里来的，在哪个步骤中，增加了或修改了这个数据，最后输出到哪个数据库表中。本篇通过job，先把资源库导出成xml文件，然后通过分析xml文件，把想要的信息输入到数据库表中进行保存。当要查询表来源时，只需要查询存储资源库的表即可。job：job中的转换：1. 导出资源库到XML文件2. Get data from XML（解析导出的资源库XML文件）输出的字段...
2018-06-12 17:27:12
5662
原创 【Kettle】如何输出固定格式报表
我的工作是为公司分析部门提供数据，其中一部分是固定时间点提取的报表，这些报表的格式固定，每次机械化的修改参数→提取数据→复制粘贴，实在是繁琐。下面介绍一个我工作中使用kettle输出固定格式报表的例子，希望能帮到有需要的小伙伴们。背景：固定格式报表如表1，其中还有excel公式嵌套在里面，分析部门提供的原始模板如表2（其中为0和#DIV/0！的单元格中嵌套了公式）： ...
2018-06-11 15:21:47
4331
原创 【Python】Python中文编码
如果Python程序中有中文字符，运行会报错：print "你好，世界！";SyntaxError: Non-ASCII character '\xe4' in file D:/tools/pycharm/untitled/hello.py on line 1, but no encoding declared; see http://www.python.org/peps/pep-0263....
2018-06-05 16:44:13
555
原创 【SQL】正则表达式-校验数字，字符，特殊需求等
一、校验数字的表达式1 数字：^[0-9]*$ 2 n位的数字：^\d{n}$ 3 至少n位的数字：^\d{n,}$ 4 m-n位的数字：^\d{m,n}$ 5 零和非零开头的数字：^(0|[1-9][0-9]*)$ 6 非零开头的最多带两位小数的数字：^([1-9][0-9]*)+(.[0-9]{1,2})?$ 7 带1-2位小数的正数或负数：^(\-)?\d+(\.\d{1,2})?$ 8 正...
2018-05-31 10:41:40
19724
1
原创 【Java】Exception in thread "main" java.lang.Error: Unresolved compilation problem
使用eclipse编译Java程序出现错误：Exception in thread "main" java.lang.Error: Unresolved compilation problem，是因为没有在程序开始位置指定包名称（指定包例子：package test; ）。...
2018-05-31 10:10:49
4285
原创 【SQL】update中使用case when
1.创建测试表及数据CREATE TABLE graduates ( name varchar(255) , income int4(255) ); INSERT INTO graduates VALUES ('桑普森', '400000'); INSERT INTO graduates VALUES ('迈克', '30000'); INSERT INTO...
2018-05-25 16:46:37
58662
7
原创 【Python 2.7】xlrd读取Excel文件
这篇博文参考于《Python 数据处理》读取Excel文件需要用到xlrd模块，模块下载地址：xlrd下载地址本博文中Excel文件下载地址：SOWC 2014 Stat Tables_Table 9.xlsx下面我们使用xlrd模块提取Excel文件中的童工和童婚比例："""这是用来分析童工和童婚数据的脚本。 本脚本中用到的Excel文件可以在以下链接中获取：https://github....
2018-05-15 16:50:28
3340
3
原创 【Kettle】创建资源库用户
在生产中，我们一般都会先连接资源库，然后再去编辑作业或者转换。连接之前会有用户名和密码的输入：这里的用户名和密码可以在kettle里面新建，(lll￢ω￢)，之前我是不知道的，一直都在用admin用户操作。添加用户操作如下：使用admin用户（资源库创建后的默认用户admin和guest）登陆，密码默认是admin，登陆以后依次点击“工具”→“资源库”→“探索资源库”→“安全”然后点“+”添加用户...
2018-04-23 10:27:46
3663
原创 【Kettle】job中设置自动发送邮件
背景：业务每周六需要固定格式的数据，手工跑脚本太麻烦，为了偷懒，设计了job，定时启动job，并把数据自动发送到对方邮箱。一 kettle服务器定时任务如下：每周六上午九点执行脚本调度job0 9 * * 6 source /etc/profile;/opt/program_etl/weekly_jss_jingsuanshi_taibaorenewal_trace.pyweekly_jss_...
2018-04-19 14:18:25
3128
原创 【Kettle】date类型不能被excel输出
背景：kettle7.0，连接PG9.6数据库，我想把查询出来的结果excel输出到本地。结果其他字段都可正常导出，唯独日期类型导出为空。最终解决办法：查询结果在输出之前要转换成文本或字符串类型。如果使用SQL写的表输入步骤，可以在SQL里做字段类型转换。如我的修改为：...
2018-04-19 13:50:48
2909
原创 【Kettle】Kitchen和Pan的命令行参数
参数语法：[/-]name [[:=]value]参数以斜线（/）或者横线（-）开头，后面跟参数名称。大部分参数后面都要有参数值。参数和参数值之间用冒号（：）或者（=）连接，参数值里面如果有空格，参数值必须用单引号或双引号引起来。Kitchen和Pan共有的参数如下：参数名参数含义作用norep rep资源库名称要连接的资源库名称user资源库用户要连接的资源库用户pass资源库用户密码要连接的...
2018-04-11 13:53:11
5530
原创 【Kettle】作业和转换中的内置变量
在作业和转换参数中使用Kettle内置变量，可以更方便的工作。下面是Kettle中常用的内置变量：变量描述Internal.Kettle.Version这是kettle的版本号，比如4.0.0Internal.Kettle.Build.Version这是kettle源代码的SVN的修订号Internal.Kettle.Build.Date这是kettle的build日期Internal.Job.F...
2018-04-11 11:42:36
3667
1
原创 【MySQL-5.7】日期与时间类型
MySQL中的日期与时间类型，主要包括：YEAR、TIME、DATE、DATETIME、TIMESTAMP，下表中列出了这几种类型的属性。类型名称日期格式日期范围占用空间YEARYYYY1901 ~ 21551字节TIMEHH:MM:SS-838:59:59 ~ 838:59:59 3字节DATEYYYY-MM-DD1000-01-01 ~ 9999-12-33字节DATETIMEYYYY-MM-...
2018-03-28 13:30:29
4514
原创 【Python-2.7】多种方式删除列表元素
1. pop()：括号中不加参数表示删除列表最后一个元素，也可以加下标参数删除players = ['charles','martina','michael','florence','eli']players.pop()print players运行结果如下：['charles', 'martina', 'michael', 'florence']2. remove()：按元素删除，括号中加入...
2018-03-27 16:12:33
3516
原创 【Python-2.7】如何判断对象是否为可迭代？
对于一个对象，如果可以通过for循环遍历它，那么就称这个对象为“可迭代”的。其实我们已经知道list和tuple类型是可迭代的，但是有没有一种方法可以直观的判断出来呢？这就用到了collenctions模块的Iterable类型。首先导入collections模块下的Iterable类型，然后通过isinstance返回boolean值。“可迭代”返回“True”，“不可迭代”返回“False”。...
2018-03-12 14:31:30
1280
原创 【Kettle】Win7启动Spoon.bat闪退
我遇到的情况：Win7系统安装完成Kettle7.1，安装了JDK1.8，启动spoon.bat文件出现一闪而过，不能正常启动Kettle。解决办法：打开spoon.bat文件，其中参数：if "%PENTAHO_DI_JAVA_OPTIONS%"=="" set PENTAHO_DI_JAVA_OPTIONS="-Xms1024m" "-Xmx2048m" "-XX:MaxPermSize=25...
2018-03-11 09:48:57
1645
原创 【PostgreSQL-9.6.8】序列
1. 创建序列语法：CREATE [ TEMPORARY | TEMP ] SEQUENCE name [ INCREMENT [ BY ] increment ] [ MINVALUE minvalue | NO MINVALUE ] [ MAXVALUE maxvalue | NO MAXVALUE ] [ START [ WITH ] start ] [ CACHE cach...
2018-03-09 18:12:27
602
原创 【PostgreSQL-9.3.17】CentOS-6.7安装PostgreSQL-9.3.17
安装CentOS-6.7过程略，完成安装后需要配置linux连接外网，因为需要yum安装缺少的安装包。Linux连接外网方法1. 下载源码包https://www.postgresql.org/ftp/source/v9.3.17/2. 创建postgres用户及dba组,创建soft目录，并修改soft的属主属组useradd -g dba postgresmkdir /softchown -R...
2018-03-08 22:06:20
339
原创 【Postgresql-9.6.8】触发器实例（记录增、删、改）
这个触发器的作用是：当对表中数据进行INSERT、DELETE、UPDATE时，同时更新另一张表中的相关字段。（此实例参考于PG官方文档）--主表 - 时间维度和销售事实。create table time_dimension(time_key integer not null,day_of_week integer not null,day_of_month integer...
2018-03-08 14:12:07
4227
原创 【PL/SQL】测试函数时，日期参数的输入格式
如果在PL/SQL中测试，输入格式为xxxx/xx/xx；如果使用select function_name(xx,xx) from dual; 测试函数时，日期参数需要使用to_date('xxxx-xx-xx','YYYY-MM-DD') 或者date'xxxx-xx-xx' 进行类型转换。下面是一个函数例子，函数中V_QRP_RQ参数类型为date：--创建测试表，并插入数据CR
2018-01-31 11:25:43
5199
原创 【Kettle】crt中运行spoon.sh报错
安装完成kettle，启动spoon.sh时报错如下：[root@kettle data-integration]# ./spoon.sh org.eclipse.swt.SWTError: No more handles [gtk_init_check() failed] at org.eclipse.swt.SWT.error(Unknown
2018-01-27 21:17:27
3303
Python Indent插件
2017-09-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人