Datuqiqi的博客

原创 Storm部署

Storm 集群部署Author：kangqiVersion：1.0.0Date：2016.8.17一、 storm简介Storm是一个免费开源、分布式、高容错的实时计算系统。Storm令持续不断的流计算变得容易，弥补了Hadoop批处理所不能满足的实时要求。Storm经常用于在实时分析、在线机器学习、持续计算、分布式远程调用和ETL等领域。Storm的部署管理非常简单，而且，在同类的流式计算工具，

原创 相对全面的SLURM集群的配置、安装及一些小问题的解决

年前做了slurm集群的安装与配置，这里写出来与大家分享一下。安装配置的时候在网上找了很多资料，发现网上的版本都比较简单，很多东西没有说清楚，这里为大家一一详细说明，希望能对需要的朋友们有所帮助。同时我如有写错的地方请大家予以纠正，谢谢！联系QQ：1192625541Slurm安装教程OS：centos7 machine:master(主节点，也是计算节点),slaver1,slave

原创 阿里天池大数据之移动推荐算法大赛总结及代码全公布

移动推荐算法比赛已经结束了一个多星期了，现在写一篇文章来回顾一下自己的参赛历程。首先，对不了解这个比赛的同学们介绍一下这个比赛（引用自官网）：赛题简介2014年是阿里巴巴集团移动电商业务快速发展的一年，例如2014双11大促中移动端成交占比达到42.6%，超过240亿元。相比PC时代，移动端网络的访问是随时随地的，具有更丰富的场景数据，比如用户的位置信息、用户访问的时间规律等。本次

原创 Andrew NG机器学习课程笔记（十二）

原创 Andrew NG机器学习课程笔记（十一）

原创 hadoop初级班（五）

参考炼数成金课程及hadoop权威指南本次课程主要讲述pigpig可以看做是hadoop的客户端软件，可以连接到hadoop集群进行数据分析工作。pig方便不熟悉java的用户，使用一种较为简便的类似于SQL的面向数据流的语言pig Latin进行数据处理，是一种轻量级的脚本语言。pig可以看成是个映射器，pig latin是被映射成mapreduce来执行的。下载：在官网上下

转载 《Java编程思想》学习笔记15——对象序列化

Java的对象序列化是一个轻量级的持久化过程，序列化时，可以将java对象以字节序列形式写入硬盘、数据库或者通过网络传输到另一个JVM等等，反序列化是读取序列化的文件，将其在JVM中还原为java对象的过程。1.简单的序列化和反序列化：最简单的序列化是对象实现Serializable序列化接口，这个接口是一个标记接口，不需要实现任何方法。下面的小例子简单展示java对象序列

转载 《Java编程思想》学习笔记16——枚举

1.在枚举中添加方法：Java中的枚举是一种特殊的类，不但可以添加字段，构造方法，普通方法，甚至可以添加main()方法，例子如下：[java] view plaincopypublic enum Test{      //调用枚举构造方法创建枚举对象      WEST(“Go west”), NORTH(“Go north”), 

转载 《Java编程思想》学习笔记14——I/O高级

1.内存映射文件：内存映射文件允许把比内存大的文件读入内存中创建和修改，使用内存映射文件，可以像使用内存中数组一样在内存中访问整个文件，例子如下：[java] view plaincopyimport java.nio.*;  import java.nio.channels.*;  import java.io.*;    

转载 《Java编程思想》学习笔记13——Java new I/O(二)

1.数据转换：使用字节缓冲区时，向字节缓冲区写入或者从字节缓冲区读取内容时，如果内容是字符类型，写入时指定字符编码集对内容进行编码，读取时指定字节编码集对内容解码。每次从字节缓冲区中读取一个字节，程序中还需要对读取的字节进行类型转换才可以使用，如果使用视图缓冲区就可以直接获取所需的数据类型，例子如下：[java] view plaincopy

转载 《Java编程思想》学习笔记12——Java new I/O(一)

为了提高Java I/O的速度和效率，从JDK1.4开始引入了java.nio.*包，即java new I/O(NIO)。    事实上，为了利用java nio的速度和效率优势，原来的java I/O包中相关的类已经使用java nio重新实现，因此在编程中即使没有显式地使用java nio的代码，使用传统java I/O还是利用了nio的速度和效率优势。Java nio的速度提高主要在：

转载 《Java编程思想》学习笔记11——Java I/O

Java中使用流来处理程序的输入和输出操作，流是一个抽象的概念，封装了程序数据于输入输出设备交换的底层细节。JavaIO中又将流分为字节流和字符流，字节流主要用于处理诸如图像，音频视频等二进制格式数据，而字符流主要用于处理文本字符等类型的输入输出。1.字节输入流InputStream输入流InputStream负责从各种数据/文件源产生输入，输入源包括：数组，字符串，文件，管道，一

转载 《Java编程思想》学习笔记10——文件和目录常用操作

1.文件目录的List操作：Java中，File类其实代表文件的路径，它既可以代表一个特定文件的文件，也可以代表一个包含多个文件的目录名称。如果File代表目录，可以使用List列出目录中文件。[java] view plaincopyimport  java.util.regex.*;  import  java.io.*;  im

转载 《Java编程思想》学习笔记8——泛型编程高级

1.泛型边界：Java泛型编程时，编译器忽略泛型参数的具体类型，认为使用泛型的类、方法对Object都适用，这在泛型编程中称为类型信息檫除。例如：[java] view plaincopyclass GenericType{      public static void main(String[] args){       

转载 《Java编程思想》学习笔记9——集合容器高级

1.Arrays.asList()方法产生的List是一个固定长度的数组，只支持不改变长度的操作，任何试图改变其底层数据结构长度的操作(如，增加，删除等操作)都会抛出UnsupportedOperationException异常。为了使Arrays.asList()方法产生的List集合长度可变，可以将其作为集合容器的构造方法参数，如：Set set = new HashSet(A

转载 《Java编程思想》学习笔记6——Java动态代理

代理是一种常用的程序设计模式，如同网络代理一样，代理是介于调用者和真正调用目标对象之间的中间对象，代理在调用真正目标对象时提供一些额外或者不同的操作，真正的对目标对象的操作还是通过代理调用目标对象来完成。    简单的代理例子如下：[java] view plaincopy//接口  interface Interface{     

转载 《Java编程思想》学习笔记7——泛型编程基础

一般的类和方法都是针对特定数据类型的，当写一个对多种数据类型都适用的类和方法时就需要使用泛型编程，java的泛型编程类似于C++中的模板，即一种参数化类型的编程方法，具体地说就是将和数据类型相关的信息抽象出来，主要提供通用的实现和逻辑，和数据类型相关的信息由使用时参数决定。1.泛型类/接口：(1).泛型接口：如一个提供产生指定类的接口：[java] view

转载 《Java编程思想》学习笔记5——正则表达式量词匹配

Java正则表达式有3中量词匹配模式：1.贪婪量词：先看整个字符串是否匹配，如果没有发现匹配，则去掉最后字符串中的最后一个字符，并再次尝试，如果还是没有发现匹配，那么，再次去掉最后一个字符串的最后一个字符，整个匹配过程会一直重复直到发现一个匹配或者字符串不剩任何字符。简单量词都是贪婪量词。贪婪量词匹配时，首先将整个字符串作为匹配的对象，然后逐步从后向前移除不匹配的字符，尽可

转载 《Java编程思想》学习笔记4——集合容器

1.集合中添加另一个集合的方法：(1).Collection.addAll(被添加的Collection对象)方法：如：list1.addAll(list2);(2).Collections.addAll(添加到的目标Collection对象，可变参数的集合或者对象)方法：如：Collections.addAll(list1, new Object1(), new

转载 《Java编程思想》学习笔记3——内部类

1.java中，可以将一个类的定义放在另一个类的内部，这种叫做内部类。内部类允许编程人员将逻辑上相关的类组织在一起，并且控制内部类对其他类的可见性。2.在外部类的非静态方法中创建内部类的对象语法：外部类类名.内部类类名 对象名 = 外部类对象.new 内部类类名();如：[java] view plaincopypub

转载 《Java编程思想》学习笔记2——对象初始化和面向对象特性

1.java类的初始化顺序：(1).在一个类中，初始化顺序由变量在类中的声明定义顺序决定，成员变量(非set方法和构造方法的初始化)的初始化发生在方法调用之前，包括构造方法。(2).静态变量在整个存储区只保留一份拷贝，本地变量不能使用静态关键字，基本类型的静态变量不需要初始化，它会根据类型获得初始化值，引用类型的静态变量默认初始化为null。静态变量的初始化发生在需要使用的

转载 《Java编程思想》学习笔记1——面向对象和JVM基础

1.java中的4种访问制权限：(1).public：最大访问控制权限，对所有的类都可见。(2).protect：同一包可见，不在同一个包的所有子类也可见。(3).default：包访问权限，即同一个包中的类可以可见。默认不显式指定访问控制权限时就是default包访问控制权限。(4).private：最严格俄访问控制权限，仅该类本身可见，对外一切类都不可以访问(反

原创 Andrew NG机器学习课程笔记（十）

规则化和模型选择两个问题的引入：模型选择问题：对于一个学习问题，可以有多种模型选择。比如要拟合一组样本点，可以使用线性回归，也可以使用多项式回归。那么使用哪种模型好呢？参数选择问题：如果我们想使用带权值的回归模型，那么怎么选择权重W公式里的参数？假设可选的模型集合是M={M1,M2,...Md}，比如我们想分类，那么SVM、logistic回归、神经网络等模型都包含

原创 Andrew NG机器学习课程笔记（九）

本次课程主要讲述了模型评估与模型选择的一些东西这次的课程笔记就不再敲公式了，主要是理解统计学习的目的是使学到的模型不仅对已知数据而且对未知数据都能有很好的预测能力，不同的学习方法会给出不同的模型，当损失函数给定时，基于损失函数的模型的训练误差和模型的测试误差就自然称为学习方法的评估标准。注意，统计学习方法具体采用的损失函数未必是评估时使用的损失函数，当然，让两者一致是比较理想的。训练误

原创 Andrew NG机器学习课程笔记（八）

原创 hadoop初级班（四）

这一节来介绍hadoop中的数据库hbase他是一个列式数据库，根据行健来进行查询，有时间戳，所以根据时间查很方便。比如删除或更新这种操作，是加入一个删除的记号，某个行键某个时刻被删除了，这主要是因为他是基于HDFS的，HDFS对于修改来说是很麻烦的，所以hbase采用了新建一个文件这种奇怪的方式。hbase的安装：采用伪分布模式：1.下载及解压hbase的安装包（tar包，安

转载 微博背后的那些算法

转载自http://www.infoq.com/cn/articles/the-algorithm-behind-weibo引言微博是一个很多人都在用的社交应用。天天刷微博的人每天都会进行着这样几个操作：原创、转发、回复、阅读、关注、@等。其中，前四个是针对短博文，最后的关注和@则针对的是用户之间的关系，关注某个人就意味着你成为他的粉丝，而他成为你的好友；@某个人意味着你想要他看到

原创 Andrew NG机器学习课程笔记（七）

最优间隔分类器回想前面我们提到我们的目标是寻找一个超平面，使得离超平面比较近的点能有更大的间距。也就是我们不考虑所有的点都必须远离超平面，我们关心求得的超平面能够让所有点中离它最近的点具有最大间距。形象的说，我们将上面的图看作是一张纸，我们要找一条折线，按照这条折线折叠后，离折线最近的点的间距比其他折线都要大。形式化表示为： 这里用||w||=1规约w，使得wTx+b是几何

转载 无约束最优化方法——牛顿法、拟牛顿法、BFGS、LBFGS

转自http://blog.csdn.net/lansatiankongxxc/article/details/45873597这是前一段时间写的博客，然后又重新整理了一下最速下降法牛顿法拟牛顿法SR1BFGSDFPLBFGS【最速下降法】无约束最优化方法不涉及约束条件，所以都是介绍如何寻找搜索方向以及搜索步长。 无约束最优化问题的目标函

原创 hadoop初级班（二）

详细解读wordcount程序本次内容将详细介绍wordcount程序：word count 源代码：package ustc.hilab.wordcount;import java.io.exception;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import

原创 hadoop初级班（三）

本教程主要参考hadoop实战在一个全配置的集群上，运行hadoop意味着在网络分布的不同服务器上运行一组守护进程。这些守护进程有特殊的角色，一些仅存在与单个服务器上，一些则运行在多个服务器上，他们包括：NameNode(名字节点)、DataNode（数据节点）、Secondary NameNode（次名字节点）、JobTracker（作业跟踪节点）、TaskTracker（任务跟踪节点）

原创 hadoop初级班（一）

hadoop的部署1.Linux安装（1）如果你的电脑操作系统是Windows7或Windows8的话，请先安装一个Ubuntu系统。安装办法：下载自己可以快速下载的Ubuntu的镜像，我的用的是Ubuntu12.04，来源于中科大自己的http://mirrors.ustc.edu.cn/，下载下来后建个文件夹，将下载的ISO文件拖入，然后解压，解压完成后如图所示双击wubi.exe

原创 KNN算法及其实现

K邻近算法，或者说K最近邻(kNN，k-NearestNeighbor)分类算法是数据挖掘分类技术中最简单的方法之一。所谓K最近邻，就是k个最近的邻居的意思，说的是每个样本都可以用它最接近的k个邻居来代表。kNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。该方法在确定分类决策上只依据最邻近的一个或者

原创 Andrew NG机器学习课程笔记（六）

支持向量机（1）1.这一节Andrew老师回顾了上一节的朴素贝叶斯，然后提了下神经网络，接着就是重头戏支持向量机了。支持向量机是一种二分类模型，他的基本模型时定义在特征空间上的间隔最大的线性分类器，间隔最大使他有别于感知机，支持向量机还包括核技巧，这使他成为实质上的非线性分类器。支持向量机的学习策略就是间隔最大化，可形式化为一个求解凸二次规划的问题。支持向量机的学习算法是求解凸二次

原创 Andrew NG 机器学习课程笔记（五）

生成学习算法本次课Andrew老师主要讲述了生成学习算法的定义，并详细描述了高斯判别分析的例子。之后对比了生成学习算法和判别学习算法的不同，介绍了一个适合对文本分类的算法，朴素贝叶斯。并借此介绍了一种平滑技术——拉普拉斯平滑。生成学习算法的定义：这里借用李航博士《统计学习方法》中的一段话生成方法由数据学习联合概率分布P(x,y)，然后求出条件概率分布P(Y|X)作为

翻译 深度学习将替代机器学习并淘汰它们吗？

原文链接：http://www.kdnuggets.com/2014/10/deep-learning-make-machine-learning-algorithms-obsolete.html第一次翻译英文文章，水平有限，如有缺失，敬请指正！中文译文：深度学习将代替机器学习并淘汰它们吗，在简单问题上深度学习是不是显得太复杂了呢？我们就这个

转载 大数据分析：机器学习算法实现的演化

转载自并发编程网 – ifeve.com         http://ifeve.com/bigdataanalyticsbeyondhadoop_evolutionofmlrealizaton/大数据分析：机器学习算法实现的演化本文翻译自《BIG DATA ANALYTICS BEYOND HADOOP》我将会对机器学习算法的不同的实现范式进行讲解，既有来自文献中的

转载 论战Yann LeCun：谁能解释极限学习机（ELM）牛X在哪里？

论战Yann LeCun：谁能解释极限学习机（ELM）牛X在哪里？Yann LeCun、黄广斌、David_Wang2015转载自http://www.csdn.net/article/2015-05-07/2824636　　被认为学习速度快、泛化性能好的Extreme Learning Machine(ELM，极限学习机)，在国内颇有市场，但大神Yann LeCun近日质

原创 Andrew NG 机器学习课程笔记（四）

牛顿法以及广义线性模型   1.牛顿法 之前使用的解最大似然估计的方法是梯度上升法,本节课讲了牛顿法,这使得结果能够迅速收敛NG老师上来从求解f(theta)=0这个方程开始讲起，如果想找到零点，我们可以采取下面的策略： 如上图所示，蓝色的曲线是f(theta),横坐标是theta，纵坐标是f(theta)，1这个点处对应的X是theta的初值（自己赋的

原创 HashMap实现原理

1.HashMap的数据结构　　数组的特点是：寻址容易，插入和删除困难；而链表的特点是：寻址困难，插入和删除容易。那么我们能不能综合两者的特性，做出一种寻址容易，插入删除也容易的数据结构？答案是肯定的，这就是我们要提起的哈希表，哈希表有多种不同的实现方法，我接下来解释的是最常用的一种方法—— 拉链法，我们可以理解为“链表的数组” ，如图：　　从上图我们可以发现哈希表是由数组