2017年07月_Gpwner

原创 Hive1.2.1<常用操作示例>

版本：apache-hive-1.2.1 使用到的数据：链接：http://pan.baidu.com/s/1c2xmk1M 密码：uucs1. train 01.创建10min数据托管表。create table TenminData_tg ( `DATASOURCE` string ,`FAN_NO` string ,`DATA_DATE` string,`FAN_STATUS`

2017-07-01 21:39:09 1220

原创 Python<H2o使用分布式随机森林建模分类>

1.安装H2ocmd:输入pip install h2o2.启动pythonimport h2oh2o.init()启动成功之后可以在浏览器中输入：localhost:54321 3.数据准备使用到的数据在我的github 3.建模a.读入数据 b.解析文件 c.查看Job d.创建模型 e.选择随机森林 f.选择特征，响应列，其他参数按需调整 g.参数填好之后，建模h.

2017-07-01 13:34:03 3764 2

原创 <算法>基于三路划分的链表快速排序

此算法基于三路划分的快速排序的思想，如果不懂请先看我之前的博客： http://blog.csdn.net/gpwner/article/details/76039533但是又不完全和之前将的三路划分完全一样下面开始进入正题：首先得到一个链表之后，我们将链表拆分为小于、等于、大于头结点的子链表：然后再递归调用算法，将小链表和大链表进行排序，最后再将链表连接成一个与原来的链表一样的链表。递归

2017-07-31 16:41:27 532

原创 Java<链表引用置为null是否能删掉一个节点>

链表的节点的定义如下：public class ListNode { int val; ListNode next; ListNode(int x) { val = x; }}主函数：package leetcode;/** * @version 2017/7/29.21:17 */public class Main { public s

2017-07-30 22:03:24 1263

原创算法<翻转链表的指定区间>

要求：翻转一个链表的指定区间，比如链表1->2->3->4->5,翻转第二个元素到第四个元素之后的新链表为：1->4->3->2->5思路：首先找到要翻转的第一个元素的前一个元素，比如现在我要翻转的区间是[2,4]，那我首先要找到节点1。然后节点2置为翻转区间的头结点（在整个翻转过程中整个元素是不变的）。这里以翻转2、3节点为例子：首先将节点1的next指针指向节点3，然后将节点2的next

2017-07-30 20:35:32 729

博主之前没有接触过Django,最近有一个项目需求要做一个可视化的展示，但是一直无法加载static文件下的JS和CSS，经过一番折腾，最后终于搞定了。下面是完整的过程：1.我的项目结构：2.在与settings.py文件的统计目录下，新建static文件夹，然后在新建两个子目录（static_dirs、static_root）,然后在settings.py文件中添加以下代码：STATIC_URL

2017-07-25 11:49:23 1450

原创算法<基于三路划分的快速排序>

当待排序元素序列中有大量的重复排序码时，简单的快速排序算法的效率将会降到非常之低。一种直接的想法就是将待排序列分成三个子序列：一部分是排序码比基准元素排序码小的；一部分是与基准元素排序码等值的；一部分是比基准元素排序码大的，如下图所示：但是，如果我们直接据此思想去编写实现算法的话，会让我们面临很大的困难。与基准元素等值的元素到底有多少？以及如何最快速有效地确定划分的边界？所以，完成这样的三路划分

2017-07-24 23:35:31 1498

原创算法<Permutation Sequence>

问题描述：给定1-n个整数，将这N个数字做全排列，求第K个排列，结果用String形式返回。分析：对于{1，2，3，4}的全排列来说，可以是： 1+{2，3，4}的全排列； 2+{1，3，4}的全排列； 3+{1，2，4}的全排列； 4+{1，2，3}的全排列；假如我们要求第十五个全排列，那么我们的流程应该是k=15-1i=1;14/3!=2=>数组{1,2,3,4}中第三个数字是3，

2017-07-22 22:50:21 400

原创算法<Next Permutation问题>

此问题描述如下：给定一个数组，首先从后向前找出最长的递减序列的前一个元素，比如数组{1, 5, 8, 4, 7, 6, 5, 3, 1}中，从后向前最长递减序列是{ 7, 6, 5, 3, 1}，这个序列的前一个元素就是4，然后再递减序列中找到最后一个比这个数（4）大的数字（就是5），然后将5与4交换，得到新的数组{1, 5, 8, 5, 7, 6, 4, 3, 1}，然后将交换过后的递减序列进

2017-07-21 23:06:26 429

原创 OpenCV<在windows下OpenCV与anaconda的集成>

到官网上下载对应的版本，然后解压（我是用的是anaconda2，选在的是opencv2.4.13）http://opencv.org/opencv-v2-4-2-released.html http://opencv.org/releases.html 下载之后解压，在解压目录下找到D:\opencv\build\python\2.7\x64\cv2.pyd并将其拷贝到anaconda安装目录下

2017-07-19 17:10:44 1743

原创算法<含相同元素数组的全排列>

可以借鉴我的上一篇博客（http://blog.csdn.net/gpwner/article/details/75212890）来简单得得到答案：import java.util.ArrayList;import java.util.List;import java.util.stream.Collectors;import java.util.stream.IntStream;/** *

2017-07-17 11:01:50 664

原创算法<不含相同元素数组的全排列>

这里只考虑元素是各不相同的情况思路：全排列其实可以从前往后，分别将每一个数字与其后面的数字进行交换，从而得到所有的结果。比如由1，2，3可以得到1，2，3、2，1，3、3，2，1三种，然后有1，2，3可以得到1，2，3和1，3，2，依次类推。化成图就是下面的结果：代码如下：import java.util.ArrayList;import java.util.List;import ja

2017-07-16 22:53:56 636

原创 Java8<使用流API优雅地将int[]转换为ArrayList>

import java.util.List;import java.util.stream.Collectors;import java.util.stream.IntStream;public class Test1 { public static void main(String[] args) { int[] nums = {1, 2, 3, 4};

2017-07-16 22:31:09 1826

原创算法<异或操作交换两个数的坑>

相信大多数人能很快地写出交换两个数的代码,so easy： private static void swapTwoNum(int[] A, int i, int j) { System.out.println("交换前：" + A[i] + " " + A[j]); int temp = A[i]; A[i] = A[j]; A[j]

2017-07-16 22:02:08 729

原创算法<递归与非递归方式翻转单链表>

链表的节点定义：public class ListNode { int val; ListNode next; ListNode(int x) { val = x; }}1.递归：public class Demo { public ListNode reverseList(ListNode head) { //当前节点翻转过

2017-07-14 23:26:40 453

原创 Storm1.1.0<trident+window+Hbase集成实现词频统计TopN>

1.温故而知新，使用词频统计实现TopN，以下是使用到的依赖：<dependencies> <dependency> <groupId>org.apache.storm</groupId> <artifactId>storm-core</artifactId> <version>1.1.0</version>

2017-07-10 16:10:06 1454

原创 Kafka 0.10.2<auto.offset.reset和enable.auto.commit>

温故而知新，重新复习一下Kafka的这两个参数这个两个参数官网也有介绍，不过来自己实践一遍才能更好地理解 https://kafka.apache.org/0102/documentation.html 1.Kafka tool先介绍一个这个工具http://www.kafkatool.com/ 这个东西可以很直观地看出Kafka的各个维度地信息还能看到消费者的消费offsetstar

2017-07-06 09:26:31 10787

原创 MariaDB<Access denied for user 'root'@'172.17.11.85' (using password: YES)>

今天通过JDBC连接MariaDB的时候出现了这个问题：`` java.sql.SQLException: Access denied for user 'root'@'172.17.11.85' (using password: YES) 大致一说是root用户在172.17.11.85这台机器上没有权限登录MariaDB 解决办法:进入MariaDB CLI: grant all pri

2017-07-03 19:53:18 2269

原创 Storm1.1.0<消息的可靠性机制>

Storm允许用户在spout中发射一个新的源tuple时为其指定一个message id, 这个message id可以是任意的object对象。多个源tuple可以共用一个message id，表示这多个源 tuple对用户来说是同一个消息单元。 storm中记录级容错的意思是说， storm会告知用户每一个消息单元是否在指定时间内被完全处理了。那什么叫做完全处理呢，就是该message id绑

2017-07-03 09:53:02 601

原创 Storm1.1.0<温故而知新-网站用户使用的浏览器统计>

软件环境：storm1.1.0使用一个600多兆的网站日志来模拟网站每天产生的日志信息120.197.87.216 - - [04/Jan/2012:00:00:02 +0800] "GET /home.php?mod=space&uid=563413&mobile=yes HTTP/1.1" 200 3388 "-" "-"123.126.50.73 - - [04/Jan/2012:00:00

2017-07-03 09:26:43 939

原创 Storm1.1.0<组件的并行度和组件的实例个数的关系>

软件环境：Apache-storm-1.1.0一个组件类的并行度与其实例化的个数有什么关系？来探索一下，首先我配置控制台的输出，只输出日志的WARN级别以上和标准输出的信息http://blog.csdn.net/gpwner/article/details/74170806然后利用storm-starter的例子：import java.util.Map;import org.apache.

2017-07-03 08:35:31 729

原创 Storm1.1.0<控制台输出指定Log信息>

写storm的时候，有的时候控制台会输出很多很多的“INFO”信息，造成自己写的System.out.println之类的信息会被冲刷掉，做接下来的配置能够有效地输出指定Log信息。参考：https://logging.apache.org/log4j/2.x/manual/configuration.html在classpath下新建一个log4j2.xml文件，里面填充一下内容：<?xml ve

2017-07-03 08:24:15 3112

原创 Storm1.1.0<Error preparing HdfsBolt: No FileSystem for scheme: hdfs>

当打包拓扑到集群中运行的时候，如果你得到了这么一个错误：Error preparing HdfsBolt: No FileSystem for scheme: hdfs原因在这里： http://storm.apache.org/releases/0.10.0/storm-hdfs.html大概是说，如果使用到hadoop client相关的，要使用maven-shade-plugin插件来代替m

2017-07-02 22:44:44 1519

原创 Storm1.1.0<温故而知新--hdfs和storm的集成>

1.环境apache-storm-1.1.0Hadoop 2.8.0使用到的依赖：<dependencies> <dependency> <groupId>org.apache.storm</groupId> <artifactId>storm-core</artifactId> <version>1.1.0<

2017-07-02 21:47:04 2029

原创 Hive1.2.1<UDF与UDAF>

pom:<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.ap

2017-07-02 12:59:59 920

Gpwner的博客