自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 Hive查询技巧

先说一下需求: 有批次表A和批次表B,现在需要查询在A中而不在B中的记录。 hive语句: select a.* FROM A a left outer join B b on a.qq = b.qq WHERE b.qq is null;

2017-11-29 19:50:55 561 0

原创 shell示例

#!/bin/bash DATE_FROM=`date -d "$1" +%Y%m%d` DATE_TO=`date -d "$2" +%Y%m%d` FILE_NAME_START="icore-pnbsWII3830-" FILE...

2017-10-09 18:46:44 1145 1

原创 《Python机器学习及实践》----模型实用技巧

本片博客是根据《Python机器学习及实践》一书中的实例,所有代码均在本地编译通过。数据为从该书指定的百度网盘上下载的,或者是sklearn自带数据下载到本地使用的。 代码片段:measurements = [{'city': 'Dubai','...

2017-09-13 15:11:33 3161 0

原创 《Python机器学习及实践》----无监督学习之特征降维

本片博客是根据《Python机器学习及实践》一书中的实例,所有代码均在本地编译通过。数据为从该书指定的百度网盘上下载的,或者是sklearn自带数据下载到本地使用的。 代码片段:# coding: utf-8 import numpy as np M = np.array([[1, 2], [...

2017-09-12 17:31:54 3193 0

原创 《Python机器学习及实践》----无监督学习之数据聚类

本片博客是根据《Python机器学习及实践》一书中的实例,所有代码均在本地编译通过。数据为从该书指定的百度网盘上下载的,或者是sklearn自带数据下载到本地使用的。 代码片段:# coding: utf-8 # 分别导入numpy、matplotlib以及pandas,用于数学运算、作图以及...

2017-09-12 16:48:22 3468 0

原创 《Python机器学习及实践》----监督学习经典模型

本片博客是根据《Python机器学习及实践》一书中的实例,所有代码均在本地编译通过。数据为从该书指定的百度网盘上下载的,或者是sklearn自带数据下载到本地使用的。 代码片段:import pandas as pd import numpy as np column_names = [�...

2017-09-12 16:05:57 2935 0

原创 《Python机器学习及实践》----良/恶性乳腺癌肿瘤预测

本片博客是根据《Python机器学习及实践》一书中的实例,所有代码均在本地编译通过。数据为从该书指定的百度网盘上下载的。 代码片段:import pandas as pd import matplotlib.pyplot as plt import numpy as np from sklear...

2017-09-11 17:06:41 5029 3

原创 《利用Python进行数据分析》笔记---第11章金融和经济数据应用

写在前面的话:实例中的所有数据都是在GitHub上下载的,打包下载即可。 地址是:http://github.com/pydata/pydata-book还有一定要说明的:我使用的是Python2.7,书中的代码有一些有错误,我使用自己的2.7版本调通。# coding: utf-8 impo...

2017-08-11 11:24:26 3306 0

原创 《利用Python进行数据分析》笔记---第10章时间序列

写在前面的话:实例中的所有数据都是在GitHub上下载的,打包下载即可。 地址是:http://github.com/pydata/pydata-book还有一定要说明的:我使用的是Python2.7,书中的代码有一些有错误,我使用自己的2.7版本调通。# coding: utf-8 from...

2017-08-10 16:13:35 2793 0

原创 《利用Python进行数据分析》笔记---第9章数据聚合与分组运算

写在前面的话:实例中的所有数据都是在GitHub上下载的,打包下载即可。 地址是:http://github.com/pydata/pydata-book还有一定要说明的:我使用的是Python2.7,书中的代码有一些有错误,我使用自己的2.7版本调通。# coding: utf-8 from...

2017-08-10 14:34:19 2630 1

原创 《利用Python进行数据分析》笔记---第8章绘图和可视化

写在前面的话:实例中的所有数据都是在GitHub上下载的,打包下载即可。 地址是:http://github.com/pydata/pydata-book还有一定要说明的:我使用的是Python2.7,书中的代码有一些有错误,我使用自己的2.7版本调通。# coding: utf-8 from...

2017-08-09 17:48:53 2743 0

原创 《利用Python进行数据分析》笔记---第7章数据规整化:清理、转换、合并、重塑

写在前面的话:实例中的所有数据都是在GitHub上下载的,打包下载即可。 地址是:http://github.com/pydata/pydata-book还有一定要说明的:我使用的是Python2.7,书中的代码有一些有错误,我使用自己的2.7版本调通。# coding: utf-8 from...

2017-08-09 15:53:27 2831 1

原创 《利用Python进行数据分析》笔记---第6章数据加载、存储与文件格式

写在前面的话:实例中的所有数据都是在GitHub上下载的,打包下载即可。 地址是:http://github.com/pydata/pydata-book还有一定要说明的:我使用的是Python2.7,书中的代码有一些有错误,我使用自己的2.7版本调通。# coding: utf-8 from...

2017-08-08 13:42:42 2930 0

原创 《利用Python进行数据分析》笔记---第5章pandas入门

写在前面的话:实例中的所有数据都是在GitHub上下载的,打包下载即可。 地址是:http://github.com/pydata/pydata-book还有一定要说明的:我使用的是Python2.7,书中的代码有一些有错误,我使用自己的2.7版本调通。# coding: utf-8 from...

2017-08-07 17:49:22 2730 0

原创 Cause: org.postgresql.util.PSQLException: ERROR: cached plan must not change result type的前因后果

首先说明一下遇到的问题: PG数据库,对其中的某张表增加一列后,应用报错,信息如下: 应用使用相关框架如下:SpringBoot、MyBatis。### Cause: org.postgresql.util.PSQLException: ERROR: cached plan must not ...

2017-08-07 10:49:49 5065 1

原创 Java判断String类型变量是否可以转换数字类型

正则表达式首先要import java.util.regex.Pattern 和 java.util.regex.Matcherpublic boolean isNumeric(String str){ Pattern pattern = Pattern.compile(&q...

2017-08-07 10:26:16 8234 0

原创 解决Uploadify上传控件加载导致的GET 404 Not Found问题

使用Uploadify创建上传文件,当打开上传页面没有做任何事情时,报了一个404错误!错误页面如下图: 经过各方查找资料,找到原因如下: Uploadify调用供支持Flash上传用的,但是其没有对button_image_url进行判断,导致如果button_image_url为空的话...

2017-08-03 16:41:47 2597 0

原创 《利用Python进行数据分析》笔记---第4章NumPy基础:数组和矢量计算

写在前面的话:实例中的所有数据都是在GitHub上下载的,打包下载即可。 地址是:http://github.com/pydata/pydata-book还有一定要说明的:我使用的是Python2.7,书中的代码有一些有错误,我使用自己的2.7版本调通。# coding: utf-8 impo...

2017-08-02 19:17:38 3722 0

原创 《利用Python进行数据分析》笔记---第2章--1880-2010年间全美婴儿姓名

写在前面的话:实例中的所有数据都是在GitHub上下载的,打包下载即可。 地址是:http://github.com/pydata/pydata-book还有一定要说明的:我使用的是Python2.7,书中的代码有一些有错误,我使用自己的2.7版本调通。# coding: utf-8 impo...

2017-08-01 10:16:49 3931 1

原创 《利用Python进行数据分析》笔记---第2章--MovieLens 1M数据集

写在前面的话:实例中的所有数据都是在GitHub上下载的,打包下载即可。 地址是:http://github.com/pydata/pydata-book还有一定要说明的:我使用的是Python2.7,书中的代码有一些有错误,我使用自己的2.7版本调通。# coding: utf-8 impo...

2017-08-01 10:14:16 4700 0

原创 《利用Python进行数据分析》笔记---第2章--来自bit.ly的1.usa.gov数据

写在前面的话:实例中的所有数据都是在GitHub上下载的,打包下载即可。 地址是:http://github.com/pydata/pydata-book还有一定要说明的: 我使用的是Python2.7,书中的代码有一些有错误,我使用自己的2.7版本调通。# coding: utf-8 imp...

2017-08-01 10:11:42 5159 1

原创 TypeError: pivot_table() got an unexpected keyword argument 'rows'

利用Python进行数据分析》第二章,处理MovieLens 1M数据集,有句代码总是报错:mean_rating = data.pivot_table('rating', rows='title', cols='gender', agg...

2017-07-31 16:06:32 3815 0

原创 Python报错IOError: [Errno 22] invalid mode ('r') or filename

IOError: [Errno 22] invalid mode (‘r’) or filename: 这种错误的出现是在使用built-in函数file()或者open()的时候。 或者是因为文件的打开模式不对,或者是文件名有问题。 前者的话只需要注意文件是否可读或者可写就可以了。 后者...

2017-07-31 15:38:42 9676 0

原创 Java数据封装类

项目中用到,比较好用!! 用户前端与后台的交互数据,这个封装类中包含分页、数据、错误码、状态码等信息!! 亲测好用哦!一个类DataWrapperpublic class DataWrapper<T>{ private CallStatusEnum callStatus; ...

2017-07-27 17:21:45 1799 0

原创 index、noindex、follow、nofollow的使用说明

爬虫是目前最常见的网络程序,曾经有过统计,说是目前的网络流量有一半以上是爬虫使用的。虽然爬虫程序随处可见,但是并不代表这种做法就是合理合法的。 在抓取网页时,我们要让自己的爬虫遵守Robot.txt协议。一般网站有两种方式声明不想被爬虫爬取按:第一种是在站点的根目录下增加一个纯文本文件,例如ht...

2017-07-27 14:16:06 3095 0

原创 数据库连接池----Druid配置详解

什么是连接池?数据库连接池出现的原因在数据库连接资源的低效管理,使用数据库连接池是基于设计模式中的资源池的概念,从而解决资源频繁是分配、释放所造成的问题。 数据库连接池的基本思想就是为数据库连接建立一个“缓冲池”。预先在缓冲池中放入一定数量的连接,当需要建立数据库连接时,只需从“缓冲池”中取出一...

2017-07-27 13:44:18 2233 0

原创 使用sessionStorage实现页面间传值与传对象

问题描述:业务从A页面跳转到B页面,需要由A页面向B页面传入一个对象。B页面解析对象中的值,然后根据这些值做具体的业务逻辑。 一般的传值方法如下: A页面跳转到B页面时: b.html?xxx=xxxxxx&qqqq=qqqqq B页面使用jquery直接可以get到相应的key的...

2017-07-19 19:46:16 11307 0

原创 PostgreSQL递归查询

首先看一下表结构:CREATE TABLE ide_iedp_project ( project_id integer NOT NULL , project_code character varying(50), project_name character varying(255),...

2017-07-19 19:25:28 1835 0

原创 HTTP返回结果状态码小结

HTTP 状态码负责表示客户端 HTTP 请求的返回结果、标记服务器端的处理是否正常、通知出现的错误等工作。一、状态码的类别状态码的职责是当客户端向服务器端发送请求时,描述返回的请求结果。借助状态码,用户可以知道服务器端是正常处理了请求,还是出现了错误。 状态码中的数字的第一位指定了响应类别,后...

2017-07-07 15:11:13 1786 0

原创 Eclipse查看方法被哪些地方调用的快捷方式

以前查看方法被哪些地方调用,总是Ctrl + H,显得很笨。尤其是在项目很大的时候,搜索的效率很低。 一下几个方法是在网上看到的,亲测好用,尤其是第一个。 一、双击选中该方法,Ctrl+Alt+H 如果你想知道一个类的方法到底被那些其他的类调用,那么请选中这个方法名,然后按“Ctrl+Al...

2017-07-04 18:39:46 7366 0

原创 基于Netty4构建HTTP服务----浏览器访问和Netty客户端访问

基于Netty构建HTTP访问分为两类,使用浏览器访问的和使用Netty客户端访问。在介绍之前,先简单说一下如何使用Netty实现Http服务的。 Netty的Http服务的流程是: 1、Client向Server发送http请求。 2、Server端对http请求进行解析。 3、Serv...

2017-06-14 18:41:21 21100 1

原创 对Java多线程在Netty中的应用的理解

对共享的可变数据同步经常使用Java的老司机都知道,synchronized关键字可以保证同一时刻只有一个线程执行某个方法或者代码块。同步的作用不仅仅是互斥,也是共享可变数据。当一个线程修改可变数据并释放锁后,其他线程可以获得修改后的新值。 下面以ServerBootstrap类为例来分析,该类...

2017-06-13 21:02:09 1759 0

原创 Linux文件删除后磁盘没有释放

问题描述: 使用SpringBoot开发,使用log4j2保存日志,日志级别是INFO,保存全量日志。 系统运行一段时间后,日志文件大小达到20G,公司运营发出报警邮件,要求检查问题。 检查后发下文件太大,所以通过rm -rf xxxxxxxxxx指令删除文件。 删除文件后,报警并未解除。...

2017-06-13 20:07:06 2251 0

原创 Netty的分隔符解码器的使用

TCP以流的方式进行数据传输,上层的应用协议为了对消息进行区分,采用消息长度固定、以回车换行符作为结束标志、特殊分隔符作为结束标志、消息头中定义长度等方式。Netty对于这几种方式做了统一的抽象,分别提供四种解码器解决。 在这里,我使用DelimiterBasedFrameDecoder解码器来...

2017-06-09 15:32:48 1792 0

原创 基于Netty解决TCP的粘包拆包问题

TCP是一个流协议,即TCP的数据时没有界限的一串数据。而这样的数据方式必然会导致数据粘包。为了解析TCP数据,我们相对应的也要对数据进行拆包。 粘包的原因: 1. 应用程序write的字节大于套接口发送缓冲区大小; 2. 进行MSS大小的TCP分段; 3. 以太网帧的payload大于M...

2017-06-08 18:00:41 2935 2

原创 Netty简单示例----客户端与服务器通信

本例实现功能为客户端获取服务器的时间并显示,参考《Netty权威指南》一书,不过书中使用Netty5实现的,考虑到Netty已经下架5,本例子使用Netty4.1.6版本。 首先服务器端,包括TimeServer、TimeServerHandler两个类: TimeServerimport i...

2017-06-08 11:14:31 5409 0

原创 SpringBoot数据库密码动态配置

一般的开发,我们都习惯把数据库密码配置在属性文件中,这样配置方便好用,但是缺点也是很明显的。这样配置的密码是静态的、明文的。一般都安全要求比较严格的公司,这些密码都会被统一管理,定期修改。我们需要动态获取密码。下面是结合SpringBoot实现动态获取密码的一个简单例子:首先是applicatio...

2017-06-07 20:48:37 8556 4

原创 SpringBoot应用监控

SpringBoot提供了运行时的应用监控与系统管理功能,一般可以通过http、JMX、SSH协议来进行操作。SpringBoot提供的监控和管理的端点如下: actuator—-所有EndPoint的列表,需要加入Spring Hateoas的支持; autoconfig—-当前应用的所有自...

2017-05-30 16:27:26 4401 0

原创 成长,从你发现自己写的代码很LOW开始

这几天在赶项目,一个人单双周的版本迭代,表示压力很大。其实这对于刚刚工作不到一年的小菜来说,是极大的锻炼机会。正应了那句话痛并快乐着的话,其实我是痛并成长着。 这几天修改之前写的接口,其实间隔时间并不长,差不多一个月之前写的吧。由于业务方修改需求,需要在原来接口基础上增加多种自定义异常判断处理及...

2017-05-27 17:23:04 2498 0

原创 SpringBoot整合ElasticSearch

ElasticSearch作为基于Lucene的搜索服务器,既可以作为一个独立的服务部署,也可以签入Web应用中。SpringBoot作为Spring家族的全新框架,使得使用SpringBoot开发Spring应用变得非常简单。本文要介绍如何整合ElasticSearch与SpringBoot。实...

2017-05-22 16:25:22 6687 0

提示
确定要删除当前文章?
取消 删除