2017年07月_T_白日梦想家

转载 sklearn进行数据预处理-归一化/标准化/正则化

一、标准化（Z-Score），或者去除均值和方差缩放实现原理：公式为：(X-mean)/std 计算时对每个属性/每列分别进行。将数据按期属性（按列进行）减去其均值，并处以其方差。得到的结果是，对于每个属性/每列来说所有数据都聚集在0附近，方差为1。实现方式：使用sklearn.preprocessing.scale()函数，可以直接将给定数据进行标准化。from sklearn import

2017-07-31 15:56:25 2260

原创 Python数据分析常用函数笔记

1、生成随机数列表import numpy as nparray = np.random.permutation(20)结果： array([12, 18, 16, 8, 10, 17, 1, 2, 9, 7, 3, 6, 15, 13, 11, 5, 4, 0, 14, 19])2、合并两个pandas.DataFrame数据集import pandas as pddata1

2017-07-27 21:24:31 1200

原创 Python数据分析之pandas统计分析

pandas模块为我们提供了非常多的描述性统计分析的指标函数，如总和、均值、最小值、最大值等，我们来具体看看这些函数：1、随机生成三组数据import numpy as npimport pandas as pdnp.random.seed(1234)d1 = pd.Series(2*np.random.normal(size = 100)+3)d2 = np.random.f(2,4,siz

2017-07-27 11:03:58 68834 1

这里的查询数据相当于R语言里的subset功能，可以通过布尔索引有针对的选取原数据的子集、指定行、指定列等。我们先导入一个student数据集：student = pd.io.parsers.read_csv('C:\\Users\\admin\\Desktop\\student.csv')查询数据的前5行或末尾5行：student.head()student.tail()查询指定的行：stude

2017-07-26 21:21:18 15907

转载 Python数据分析之pandas基础

1、Series的创建序列的创建主要有三种方式：1）通过一维数组创建序列import numpy as np, pandas as pdarr1 = np.arange(10)arr1type(arr1)s1 = pd.Series(arr1)s1type(s1)2）通过字典的方式创建序列dic1 = {'a':10,'b':20,'c':30,'d':40,'e':50}dic1t

2017-07-26 21:11:06 671

原创 Python文件操作

python中对文件、文件夹（文件操作函数）的操作需要涉及到os模块和shutil模块。os.getcwd()得到当前工作目录，即当前Python脚本工作的目录路径os.listdir(path)返回指定目录下的所有文件和目录名例：os.listdir(“D://”) 返回D盘下的文件及目录名称列表os.remove(path)删除一个文件例：os.remove(“D://a

2017-07-26 15:25:16 410

原创 Hive将txt、csv等文本文件导入hive表

1、将txt文本文件放置hdfs目录下2、登录hive并进入到指定数据库3、创建表create external table if not exists fun_user_external ( tid INT, userid STRING, pwd STRING, create_time BIGINT, email STRING ...) ROW

2017-07-25 15:38:28 30147 6

原创 Python脚本报错AttributeError: ‘module’ object has no attribute’xxx’解决方法

最近在编写Python脚本过程中遇到一个问题比较奇怪：Python脚本完全正常没问题，但执行总报错"AttributeError: 'module' object has no attribute 'xxx'"。这其实是.pyc文件存在问题。问题定位：查看import库的源文件，发现源文件存在且没有错误，同时存在源文件的.pyc文件问题解决方法：1、命名py脚本时，不要与python预留字，模块名等

2017-07-20 20:06:41 31532 3

原创 Hessian的使用

Hessian是一种高效简洁的远程调用框架，它采用的是二进制RPC协议（Binary），具有轻量、传输量小、平台无关的特点，特别适合于目前网络带宽比较小的手机网络应用项目。Hessian类似于WebService，不过不使用SOAP协议，而是用Binary RPC协议，相比webservice而言更简单、快捷。它把协议报文封装到http封包中，通过HTTP信道传输。Hessian是通过servlet

2017-07-20 17:26:38 890

原创 Python下实现Logger打印功能

Python中有专门用于logger打印的套件叫logging，但是该套件logger仅接收一个字符串类型的logger打印信息。因此，我们在使用是需要先提前将要打印的信息拼接成一个字符串之后才行，这样对于代码的整洁性并不好。我在logging的基础上实现了一个类似于Java的logback的logger打印工具，实现比较简单，能够应对一些简单的logger打印需求，希望对大家能有帮助。Logger

2017-07-20 16:46:36 1974

原创 Eclipse下多个Python项目关联开发

在实际开发中，经常会遇到多个项目关联开发的情况，即项目A调用项目B中的方法。那么在Eclipse中如何进行项目关联的配置呢？项目运行环境：EclipseWinPython配置步骤：1、在Eclipse中右键点击项目名称，再点击最后一项Properties，弹出下面这个界面： 2、点击PyDev - PYTHONPATH，在出现的页面中点击中间一项External Libraries，出现下面

2017-07-20 14:55:28 793

原创 Python模块(套件)安装

当需要安装某个模块(套件)的时候，可以直接通过 pip、easy_install 方法轻松安装。若此方法不行，则可到网站：https://pypi.python.org/pypi/et_xmlfile/1.0.0 搜索需要的模块套件，下载到某个目录中并解压，然后进入解压后的模块套件所在目录，执行 python(或者 python3) setup.py install进行安装。easy_install

2017-07-20 12:01:30 1066

原创整合Spring+SpringMVC+Hibernate配置信息

spring-servlet.xml该配置文件主要是Spring相关的配置<mvc:annotation-driven /><context:annotation-config /><context:component-scan base-package="com.slient.ssh.test"> <context:inclu

2017-07-18 11:28:23 1286

原创 java性能优化

尽量指定类、方法的final修饰符 Java编译器会寻找机会内联所有的final方法，内联对于提升Java运行效率作用重大，具体参见Java运行期优化。此举能够使性能平均提高50%。尽量重用对象比如String，尽量使用Stringbuilder/StringBuffer尽量使用局部变量及时关闭流尽量减少对变量的重复计算for (int i = 0; i < list.size()

2017-07-18 09:58:59 298

原创 JPush极光推送 Errcode含义

public enum ErrorCodeEnum { //没有错误，发送成功 NOERROR(0), //系统内部错误 SystemError(10), //不支持GET请求 NotSupportGetMethod(1001), //缺少必须参数 MissingRequiredParameters(1002), //参数值不合法

2017-07-16 23:36:13 4494 1

原创 JPush极光推送服务器端API

jpush初始化：1、对android和ios设备发送JPushClient jpush = new JPushClient(masterSecret, appKey);2、对android和ios设备发送,同时指定离线消息保存时间JPushClient jpush = new JPushClient(masterSecret, appKey, timeToLive);3、指定某种设备发送JPush

2017-07-16 23:35:04 1473

原创 Linux wget断点续传，限速下载

未安装wget，联网执行以下命令即可：yum install wget 1、断点续传，只需要添加 -c 参数即可wget -c http://mirrors.163.com/ubuntu-releases/9.10/ubuntu-9.10-desktop-amd64.iso2、限速下载，只需要添加 -limit-rate=300k 合理参数即可wget -c --limit-rate=300k ht

2017-07-16 17:29:55 12037 2

原创 Mail Java实现邮件发送（带附件）

发送邮件代码：public void sendEmail(EmailData data) { if(data.getAttachmentList().size() <= 0) { logger.error("[EmailService] [sendEmail] attachment is empty!!"); return;

2017-07-16 17:25:15 793

原创 Servlet 3.0异步处理请求

一、servlet3.0异步请求相关方法startAsync(servletRequest, servletResponse)传入指定的request和response对象，便于在AsyncContext中重复使用（这样被Filter、Servlet包装过的请求、相应对象才会在异步的环境下继续生效）。startAsync()若request或者response被包装，将失去预期的效果。isAsync

2017-07-16 17:21:20 1855

原创 java性能优化

尽量指定类、方法的final修饰符 Java编译器会寻找机会内联所有的final方法，内联对于提升Java运行效率作用重大，具体参见Java运行期优化。此举能够使性能平均提高50%。尽量重用对象比如String，尽量使用Stringbuilder/StringBuffer尽量使用局部变量及时关闭流尽量减少对变量的重复计算for (int i = 0; i < list.size()

2017-07-15 18:02:21 303

原创 JAVA实现远程执行SSH2主机的SHELL命令

/** * 利用JSch包实现远程主机SHELL命令执行 * @param ip 主机IP * @param user 主机登陆用户名 * @param psw 主机登陆密码 * @param port 主机ssh2登陆端口，如果取默认值，传-1 * @param privateKey 密钥文件路径 * @param passphrase 密钥的密码 */ publicstati

2017-07-14 11:23:15 1918 2

原创微信服务号生成带参数二维码

为了满足用户渠道推广分析和用户帐号绑定等场景的需要，公众平台提供了生成带参数二维码的接口。使用该接口可以获得多个带不同场景值的二维码，用户扫描后，公众号可以接收到事件推送。目前有2种类型的二维码：1、临时二维码，是有过期时间的，最长可以设置为在二维码生成后的30天（即2592000秒）后过期，但能够生成较多数量。临时二维码主要用于帐号绑定等不要求二维码永久保存的业务场景2、永久二维码，是无过期时间

2017-07-14 11:21:04 4652 3

原创微信服务号自定义服务器配置及验证

公众号自定义URL配置及验证接口配置信息登录微信公众平台，点击左侧导航栏上的基本配置按钮，会出现如下图信息：在这个界面，我们可以设置微信服务号的自定义服务器地址URL、Token、消息加解密秘钥，并且可以获取到该服务号的AppID、AppSecret信息。点击修改配置按钮(第一次开启时该按钮名称叫启用)，可以修改和配置URL信息，如下图：这样，当配置了服务器信息之后，通过微信服务号发送的消息就能

2017-07-14 11:11:19 2483

原创微信网页JSSDK开发流程

1、绑定域名登录微信公众后台之进入公众号设置的功能设置，填写JS接口安全域名。2、引入JS文件<link rel="stylesheet" type="text/css" href="front/css/weui.css"/><script type="text/javascript" src="front/js/jweixin-1.0.0.js"></script>3、通过config接口注

2017-07-14 10:59:46 1345

原创微信服务号页面实现分享操作流程

1、进页面需要先加载wx.config，并添加需要使用的 JS接口列表：wx.config({ debug: false, appId: '${app_id}', timestamp: "${timestamp}", nonceStr: "${nonceStr}", signature: "${signature}", jsApiList: ['pre

2017-07-14 10:36:35 1585

转载 Python模块学习：threading 多线程控制和处理

threading.ThreadThread 是threading模块中最重要的类之一，可以使用它来创建线程。有两种方式来创建线程：一种是通过继承Thread类，重写它的run方法；另一种是创建一个threading.Thread对象，在它的初始化函数（_ init _）中将可调用对象作为参数传入。下面分别举例说明。先来看看通过继承threading.Thread类来创建线程的例子：import t

2017-07-10 17:40:47 913

原创 java使用FileFilter筛选文件

我们创建了一个FileFilter类，此类根据文件名的扩展名是否为.txt来筛选文件。创建FileFilter实例之后需要将此实例作为参数传给File的listFiles(fileFilter)方法，此方法会返回符合条件文件的数组。public class FileUtil { public void myListFiles(String dir) { File directo

2017-07-10 14:36:23 6993

原创使用wrapper包装器对request进行处理

有时候我们需要在获取到request请求时对request中的请求信息做一些预处理，或者对URI等信息做一些处理之后，再交由下面的流程处理。这时候，我们可以通过Request Wrapper来对request进行操作。此处通过举例来描述如何通过RequestWrapper进行Request预处理例子1：使用wrapper时，需要新建一个类，并继承 HttpServletRequestWrapper

2017-07-10 10:50:30 5187 1

原创 Java 线程池框架核心代码分析

多线程编程中，为每个任务分配一个线程是不现实的，线程创建的开销和资源消耗都是很高的。线程池应运而生，成为我们管理线程的利器。Java 通过Executor接口，提供了一种标准的方法将任务的提交过程和执行过程解耦开来，并用Runnable表示任务。下面，我们来分析一下 Java 线程池框架的实现ThreadPoolExecutor。生命周期ThreadPoolExecutor中，使用CAPACITY的

2017-07-10 10:40:50 455

原创 SpringMVC JSP与Freemarker视图解释器整合

Spring MVC中如果只使用JSP做视图，可以使用下面这段即可解决：<bean class="org.springframework.web.servlet.view.InternalResourceViewResolver"> <property name="prefix" value="/WEB-INF/views/"/> <property n

2017-07-10 10:23:21 770

原创 Freemarker教程

FreeMarker的模板文件并不比HTML页面复杂多少,FreeMarker模板文件主要由如下4个部分组成:文本:直接输出的部分注释:<#– … –>格式部分,不会输出插值:即${…}或#{…}格式的部分,将使用数据模型中的部分替代输出 FTL指令:FreeMarker指定,和HTML标记类似,名字前加#予以区分,不会输出下面是一个FreeMarker模板...

2017-07-07 16:32:49 507

原创使用Spring+Quartz实现定时任务

一、所需jar包1、若quartz-all.jar版本为2.x,则spring版本必须为3.1以上。2、若spring版本为3.0之前，则只需spring.jar、quartz-all-1.x.jar、jta.jar、commons-collections-3.1.jar3、若spring版本为3.0之后，且quartz-all.jar版本为1.x,则springjar文件需要以下jar包：spr

2017-07-07 15:55:41 1000

转载 SpringMVC 注解实现操作

一、SpringMVC基础入门，创建一个HelloWorld程序1.首先，导入SpringMVC需要的jar包。2.添加Web.xml配置文件中关于SpringMVC的配置<servlet> <servlet-name>springmvc</servlet-name> <servlet-class>org.springframework.web.servlet.DispatcherS

2017-07-07 15:39:42 449

转载 SpringJDBC 事务管理

Spring对事务的管理有丰富的支持,Spring提供了编程式配置事务和声明式配置事务:一种是使用Annotation注解的方式(官方推荐) 一种是基于Xml的方式采用任何一种方式我们都需要在我们的bean.xml中添加事务支持:<?xml version="1.0" encoding="UTF-8"?> <beans xmlns="http://www.springframework.org/

2017-07-07 12:14:50 402

转载 HBase －建表语句解析

像所有其他数据库一样，HBase也有表的概念，有表的地方就有建表语句，而且建表语句还很大程度上决定了这张表的存储形式、读写性能。比如我们熟悉的MySQL，建表语句中数据类型决定了数据的存储形式，主键、索引则很大程度上影响着数据的读写性能。虽然HBase没有主键、索引这些概念，但在HBase的世界里，有些东西和它们一样重要！建表语句：create 'NewsClickFeedback',{NAME=>

2017-07-07 12:07:18 1404

原创 AeroSpike配置及Java Client使用

一、AeroSpike配置1、配置文件位置：/etc/aerospike/aerospike.conf2、注意事项： <1> bin key名称限制字节数，不超过14个字节 <2>集群内的每个节点有一个配置文件aerospike.conf，每个节点配置文件中的namespace配置参数必须一致 <3>复制因子（replication factor）是一个配置参数，不能超过集群

2017-07-07 12:02:27 3159

原创 AeroSpike安装及启动

下载AeroSpike安装文件：aerospike-amc-community-3.6.13-el6.x86_64.rpmaerospike-server-community-3.11.1.1-el7.tgz一、安装Servertar -xvf aerospike-server-community-3.11.1.1-el7.tgzcd aerospike-server-community-3.11

2017-07-07 11:56:03 4570

转载 Flume使用简介

flume是分布式的日志收集系统，把收集来的数据传送到目的地去。flume里面有个核心概念，叫做agent。agent是一个java进程，运行在日志收集节点。agent里面包含3个核心组件：source、channel、sink。3.1 source组件是专用于收集日志的，可以处理各种类型各种格式的日志数据,包括avro、thrift、exec、jms、spooling directory、ne

2017-07-07 11:50:41 863

原创 Flume单Channel多Sink配置

多sink可以直接按常规配置，这样的话每个sink会启动一个sinkrunner，相当于每个线程一个sink，互不干扰，负载均衡是通过channel实现的，效率会提高为n倍，如果在此基础上加入sinkgroup，则sinkgroup会启动一个sinkrunner,就是单线程，sinkgroup从channel中读取数据，然后分发到下面挂载的sink中，效率和单sink一样，没有提高，但是可以实现两个

2017-07-07 11:32:08 7246

原创 springMVC 注解及配置文件详解

spring-servlet.xml 配置：<context:annotation-config />  <context:component-scan base-package="com.mvc.controller" /> <!-- 启动Spring MVC的注解功能，完成请求和注解POJO的映射 -

2017-07-07 11:26:48 1397 1

struts文件上传代码

空空如也