scl1991-CSDN博客

转载机器学习中各种熵的定义及理解

机器学习领域有一个十分有魅力的词：熵。然而究竟什么是熵，相信多数人都能说出一二，但又不能清晰的表达出来。而笔者对熵的理解是：“拒绝学习、拒绝提升的人是没有未来的，也只有努力才能变成自己想成为的人”。下图是对熵的一个简单描述：熵可以理解为是一种对无序状态的度量方式。那么熵又是如何被用在机器学习中呢？在机器学习领域中，量化与随机事件相关的预期信息量以及量化概率分布之间的相似性是常见...

2019-09-08 15:29:33 541

转载 adaboost算法

Adaboost 算法的原理与推导0 引言一直想写Adaboost来着，但迟迟未能动笔。其算法思想虽然简单“听取多人意见，最后综合决策”，但一般书上对其算法的流程描述实在是过于晦涩。昨日11月1日下午，邹博在我组织的机器学习班第8次课上讲决策树与Adaboost，其中，Adaboost讲得酣畅淋漓，讲完后，我知道，可以写本篇博客了。

2017-10-23 21:57:27 370

转载梯度下降（Gradient Descent）小结

在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。这里就对梯度下降法做一个完整的总结。1. 梯度　　　　在微积分里面，对多元函数的参数求∂偏导数，把求得的各个参数的偏导数以向量的形式写出来，就是梯度。比如函数f(x,y), 分别对x,y求偏导数，求得的梯度向量就是(∂f/∂x, ∂f/∂

2017-09-24 10:20:13 479

原创向zendDesk发送ticket

use Yii;use yii\helpers\Json;use yii\console\Controller;use api\models\zuser\User;use api\models\zuser\Company;use api\models\zuser\TrialRequest;use api\models\socialpeta\sp_biz\UserPermission;

2017-06-07 17:38:55 503

原创 Storm 集群监控报警-问题排查记录

Storm 集群监控报警-问题排查记录1. 问题一、cpu繁忙1.1. 报警信息PROBLEM P0 Endpoint:xxx Metric:cpu.idle Tags: all(#3): 12.84751⇐20 Note:cpu繁忙 Max:3, Current:1 Timestamp:2016-07-27 15:10:

2016-08-24 12:19:56 1590

原创 storm ack机制//

1、原理\\Storm实现一组特殊的'acker’ task来track每一个spout tuple, 同时acker task的个数你可以根据tuple的数量来配置,所有被产生的tuple都会有一个随机的64bit的id用于被track。tuple之间通过emit时的anchor形成tuple tree, 并且每个tuple都知道产生它的spout tuple的id (通过不断的copy传递

2016-07-29 10:09:16 1263

转载 Storm高级原语（一） --Transactional topology

Storm高级原语（一） --Transactional topologyTransactional topology是一个0.9版本中被弃用的原语，取而代之的是trident框架。（关于trident请参考：《Storm高级原语（三） --Trident topology 》） Storm通过保证每个tuple至少被处理一次来提供可靠的数据处理。关于这一点最常被问到的问题就是“既然t

2016-07-26 14:54:42 1105

转载配置hadoop时，Linux主机名称不要带有下划线

Linux主机名称不要带有下划线啊，否则报ERRORorg.apache.hadoop.hdfs.server.namenode.NameNode: java.lang.IllegalArgumentException: Does not contain a valid host;port authority原来不知道，到最后启动的时候才发现NameNode启动不起来：2013-10-

2016-07-23 21:46:16 1986

转载 storm Trident

一、概要 1.1 Storm(简介) Storm是一个实时的可靠地分布式流计算框架。具体就不多说了，举个例子，它的一个典型的大数据实时计算应用场景：从Kafka消息队列读取消息（可以是logs,clicks,sensor data）、通过Storm对消息进行计算聚合等预处理、把处理结果持久化到NoSQL数据库或者HDFS做进一步深入分析。1.2 Tri

2016-07-22 16:52:01 340

原创 storm DRPC问题

一、配置集群storm.yaml文件，配置drpc.server。二、开启drpc服务，storm drpc。三、编写DrpcTopology程序。如下：import org.apache.storm.Config;import org.apache.storm.LocalCluster;import org.apache.storm.LocalDRPC;import org.a

2016-07-22 10:54:10 2386 4

转载 drpc详解

1. DRPC介绍Storm是一个分布式实时处理框架,它支持以DRPC方式调用.可以理解为Storm是一个集群,DRPC提供了集群中处理功能的访问接口.其实即使不通过DRPC，而是通过在Topoloye中的spout中建立一个TCP/HTTP监听来接收数据，在最后一个Bolt中将数据发送到指定位置也是可以的。这是后话，后面再进行介绍。而DPRC则是Storm提供的一套开发组建，

2016-07-21 16:27:57 4169

转载 Windowing support&&State Management

Short Description:In this article we explore the support for windowing operations and stateful processing that were recently added to Apache Storm.ArticleIntroductionApache Storm is a fr

2016-07-19 10:35:33 830

原创 storm 1.0新功能-Tuple Sampling and Debugging 数据采集

11. Tuple Sampling and Debugging11.1. 功能介绍在调试Topology的过程中，很多Strom用户添加了“debug”Bolt或者Trident功能，以记录流经Topology的数据信息，在生产部署的时候移除或者禁用它们。如今Storm UI包含这一功能，可以使你直接通过Storm UI对流经Topology或者单个组

2016-07-18 21:07:23 741

原创 storm 1.0新功能--Windowing Support in Core Storm滑动窗口

6. Native Streaming Window API6.1. 功能介绍storm 1.0.X支持在窗口里处理一组tuple,窗口需要给定两个参数：窗口长度和滑动间隔。窗口计算的典型例子是可用于计算过去一小时最热门的Twitter话题storm提供两种类型的窗口： Sliding Window：一组Tuple被包含在一个窗口里，随着滑

2016-07-18 20:59:55 1371

转载动态改变storm的并发度

How to change the parallelism of a running topology, 动态的改变并发度Storm支持在不restart topology的情况下, 动态的改变(增减)worker processes的数目和executors的数目, 称为rebalancing. 通过Storm web UI, 或者通过storm rebalance命令, 见下面的例

2016-07-15 16:30:30 1667

转载 colojure语法规则

; 分号作为注释的开始 ; Clojure 用一种把元素用括号括起来的像列表一样的方式来书写，元素之间用空格隔开; clojure 解释器会把第一个元素当做是函数或者宏调用，其他的都作为参数; 下面这个函数用于设置当前的命名空间(ns test) ; 更多基本的例子： ; str 函数会用它所有的参数创

2016-07-14 11:28:16 528

原创安装storm1.0.1后worker启动不起来 nimbus.log中显示executor循环not alive

默认安装storm1.0.1之后，启动一个topology任务后storm ui页面没有emit数据，查看了下nimbus日志，显示如下：2016-07-09 06:45:41.239 o.a.s.d.nimbus [INFO] desired replication count of 1 not achieved but we have hit the max wait time 60 so m

2016-07-11 12:18:39 3092

转载 colojure语言基础入门

2016-07-07 11:39:42 2242

原创 storm中declareOutputFields方法的使用规则及与fieldsGrouping方法的联系

public class Output extends BaseBasicBolt{ @Override public void execute(Tuple tuple, BasicOutputCollector arg1) { String str=tuple.getString(0); String str1=tuple.getString(1); arg1.emit(new

2016-07-04 18:52:10 8956 7

转载 Linux下SSH的配置

SSH 为 Secure Shell 的缩写，由 IETF 的网络工作小组（Network Working Group）所制定；SSH 为建立在应用层和传输层基础上的安全协议。SSH 是目前较可靠，专为远程登录会话和其他网络服务提供安全性的协议。常用于远程登录，以及用户之间进行资料拷贝。利用 SSH 协议可以有效防止远程管理过程中的信息泄露问题。SSH 最初是 UNIX 系统上的一

2016-07-04 15:56:46 668 1

转载 spout的生命周期

1、在定义Topology实例过程中，定义好Spout实例和Bolt实例2、在提交Topology实例给Nimbus的过程中，会调用TopologyBuilder实例的createTopology()方法，以获取定义的Topology实例。在运行createTopology()方法的过程中，会去调用Spout和Bolt实例上的declareOutputFields()方法和getCompone

2016-07-03 18:27:16 1233

转载 storm中 worker executor task之间的关系

Storm在集群上运行一个Topology时，主要通过以下3个实体来完成Topology的执行工作：1. Worker（进程）2. Executor（线程）3. Task下图简要描述了这3者之间的关系：1个worker进程执行的是1个topology的子集（注：不会出现1个worker为多个topology服务）。1个worker进程会启动1个或多个executor

2016-07-03 11:20:34 695

转载 storm入门

Storm是一个分布式的、高容错的实时计算系统。Storm对于实时计算的的意义相当于Hadoop对于批处理的意义。Hadoop为我们提供了Map和Reduce原语，使我们对数据进行批处理变的非常的简单和优美。同样，Storm也对数据的实时计算提供了简单Spout和Bolt原语。Storm适用的场景：1、流数据处理：Storm可以用来用来处理源源不断的消息，并将处理之后的结果保存到持久化

2016-07-03 10:44:23 809

原创 unix进程间的通信方式

unix进程间的通信方式（1）管道（Pipe）：管道可用于具有亲缘关系进程间的通信，允许一个进程和另一个与它有共同祖先的进程之间进行通信。（2）命名管道（named pipe）：命名管道克服了管道没有名字的限制，因此，除具有管道所具有的功能外，它还允许无亲缘关系进程间的通信。命名管道在文件系统中有对应的文件名。命名管道通过命令mkfifo或系统调用mkfifo来创建。（3）信号（S

2016-03-11 23:36:51 350

原创 linux 文件删除原理

很多时候，我们都会发现，某个进程在对当前文件读写，但是我们依然能够rm，是不是很奇怪？而windows下面，肯定会报错，”当前文件正在被使用“，这就得从linux下面删除文件的原理说起了。　　 Linux是通过link的数量来控制文件删除的，只有当一个文件不存在任何link的时候，这个文件才会被删除。一般来说，每个文件都有2个link计数器:i_count 和 i_nlink。

2016-03-10 23:14:27 1261

原创脏读，不可重复读，幻读

1. 脏读：脏读就是指当一个事务正在访问数据，并且对数据进行了修改，而这种修改还没有提交到数据库中，这时，另外一个事务也访问这个数据，然后使用了这个数据。2. 不可重复读：是指在一个事务内，多次读同一数据。在这个事务还没有结束时，另外一个事务也访问该同一数据。那么，在第一个事务中的两次读数据之间，由于第二个事务的修改，那么第一个事务两次读到的的数据可能是不一样的。这样就发生了在一个事务内两次

2016-01-13 20:24:28 779

原创 ssh整合问题：启动tomcat时报错org.springframework.beans.factory.BeanCreationException

BeanCreationException: Error creating bean with name 'sessionFactory' defined in ServletContext resource [/WEB-INF/classes/config/spring/spring-baseConfig.xml]: Invocation of init method failed; nes

2016-01-11 20:29:47 3775

转载 <s:hidden>标签的使用

标签的使用hidden标签用来向action传递参数，其中hidden的name属性值必须与action中的属性名相对应，否则不能正确传递。例如：则在action中必有名字为categoryList的List类型的属性名，而cate.id是循环取值时的临时变量，如果，需要传递的参数不用在页面赋值，则直接用如

2015-12-17 17:29:53 2515

转载 truncate 和delete 的区别

相同点：1.truncate和不带where子句的delete、以及drop都会删除表内的数据。2.drop、truncate都是DDL语句(数据定义语言),执行后会自动提交。不同点：1. truncate 和 delete 只删除数据不删除表的结构(定义)drop 语句将删除表的结构被依赖的约束(constrain)、触发器(trigger)、索引

2015-10-09 10:30:20 293

原创 Html中input标签中的disabled属性要放在标签的最后面，否则结合隐藏标签使用时出错。

Html中input标签中的disabled属性要放在标签的最后面，否则结合隐藏标签使用时出错" disabled="disabled"/> "/>。

2015-07-04 23:51:35 808

原创 IE浏览器地址栏输入中文乱码问题

猎豹浏览器和chrome浏览器传递参数时是按utf-8传递的，而IE浏览器传递参数时采用编码为gb2312，所以地址栏中输入http://127.0.0.1:8080/Aweb/Test?name=中国&like=哈哈，中文是以gb2312编码的，然后传递给服务器，服务器接收时是按照iso8859-1解码的，解决方案是：String value=request.getParameter(name)

2015-07-02 21:55:34 3163

原创关于ServletContext中getAttributeNames()方法类型转换的问题

初学ServletContext，用getAttribute（）方法设置了两个属性和对应的属性值，本来想用getAttributeNames（）方法获得，由于设置的两个值是String，于是直接把getAttribute()强转为String，运行时候出现错误。Enumeration en=con.getAttributeNames(); while(en.hasMoreElements())

2015-07-02 13:45:45 8861

转载 ServletConfig对象与ServletContext区别

ServletContext对象：servlet容器在启动时会加载web应用，并为每个web应用创建唯一的servlet context对象，可以把ServletContext看成是一个Web应用的服务器端组件的共享内存，在ServletContext中可以存放共享数据。ServletContext对象是真正的一个全局对象，凡是web容器中的Servlet都可以访问。servletConf

2015-07-02 11:50:05 361

原创 JavaBean类 cannot be resolved to a type的解决方法

由于Java规定JavaBean一定要放在命名包里，不能放在默认包里，否则Bean文件将无法解析。所以，解决Bean文件无法解析的方法，也就是在Bean文件的开头添加“package　包名;”字段，并将Bean文件放入对应class文件目录下即可。

2015-06-27 15:10:13 2913

原创 response和request的setCharacterEncoding

response和request的setCharacterEncoding一、request.setCharacterEncoding（）：是设置从request中取得的值或从数据库中取出的值。指定后可以通过getParameter()则直接获得正确的字符串，如果不指定，则默认使用iso8859-1编码。值得注意的是在执行setCharacterEncoding()之前，不能执行任

2015-06-25 20:52:43 600

转载静态代码块

（一）java 静态代码块静态方法区别一般情况下,如果有些代码必须在项目启动的时候就执行的时候,需要使用静态代码块,这种代码是主动执行的;需要在项目启动的时候就初始化,在不创建对象的情况下,其他程序来调用的时候,需要使用静态方法,这种代码是被动执行的. 静态方法在类加载的时候就已经加载可以用类名直接调用比如main方法就必须是静态的这是程序入口两者的区别就是:静态代码块是自动执

2015-06-23 22:06:15 402

转载 Java

this.getClass().getClassLoader().getResourceAsStream（）仍能读取到数据，并且数据和服务器启动时读取到的数据完全一样，查看了源代码，发现this.getClass().getClassLoader().getResourceAsStream（）首先从java虚拟机中查找文件，如果找不到，再按文件路径查找，找到后放到虚拟机中，也就是说第一次读取的时候

2015-06-21 23:10:57 447

原创泛型上下限

1.Toy类public class Toy {}2.SubToy类public class SubToy extends Toy{}3.SubToy2类public class SubToy2 extends Toy{}4.main类import java.util.ArrayList;import java.util.List

2015-06-07 23:32:26 492

原创 BufferedWriter通过字符数组来缓冲数据，当缓冲区满或者用户调用flush()函数时，它就会将缓冲区的数据写入到输出流中。

BufferedWriter通过字符数组来缓冲数据，当缓冲区满或者用户调用flush()函数时，它就会将缓冲区的数据写入到输出流中。默认大小是8K。

2015-04-23 21:27:02 1125

原创 Socket编程InputStream中的read（）方法的问题！！！

while(is.read(buf)!=-1)//服务器端程序 { String str=new String(buf); System.out.println("来自客服端："+str); os.write(str.toUpperCase().getBytes()); }while((str=bw.readLine())!=null)//客户端程序{os.

2015-04-23 19:27:54 3395 1

mindnode 2.5.6 完全破解版 支持macos high sierra

空空如也

mindnode 2.5.6 完全破解版支持macos high sierra