Java API 生产和消费Kafka消息

在我的文章 Kafka集群搭建中,展示了如何创建一个单机版的Kafka服务,在此基础上我们可以利用Java程序来对Kafka服务进行生产和消费消息。1. 创建Maven程序首先在 Intellij IDEA中创建一个maven程序,在pom.xml文件中加入如下的依赖和插件: o...
阅读(839) 评论(7)

Kafka集群搭建

本文测试环境: 操作系统: CentOS release 6.8 Java 版本: 1.7.0_71 kafka版本: kafka_2.11-0.10.1.0.tgz 1. 单机模式1.1 解压缩包> tar -xzf kafka_2.11-0.10.1.0.tgz > cd kafka_2.11-0.10.1.01.2 启动ZooKeeper服务       Kafka使用ZooKeeper因...
阅读(333) 评论(3)

Java 机器学习库Smile实战(二)AdaBoost

1. AdaBoost算法简介      Boost 算法系列的起源来自于PAC Learnability(PAC 可学习性)。这套理论主要研究的是什么时候一个问题是可被学习的,当然也会探讨针对可学习的问题的具体的学习算法。这套理论是由Valiant提出来的,也因此(还有其他贡献哈)他获得了2010年的图灵奖。下面是他的照片:![这里写图片描述](http://my.csdn.net/uploads...
阅读(586) 评论(9)

Java 机器学习库Smile实战(一)SVM

本文不会介绍SVM的基本原理,如果想了解SVM基本原理,请参阅相关书籍。1. 二分类       Smile 库的SVM类是一个泛型类型,默认情况下进行二分类,选择参数为核函数类型和惩罚项参数。import smile.classification.SVM; import smile.math.kernel.GaussianKernel; double gamma = 1.0; double C...
阅读(1384) 评论(7)

Redis登录认证密码

Redis默认配置是不需要密码认证的,也就是说只要连接的Redis服务器的host和port正确,就可以连接使用。这在安全性上会有一定的问题,所以需要启用Redis的认证密码,增加Redis服务器的安全性。1. 修改配置文件Redis的配置文件默认在/etc/redis.conf,找到如下行:#requirepass foobared去掉前面的注释,并修改为所需要的密码:requirepass my...
阅读(728) 评论(6)

Intellij IDEA使用Maven管理Scala项目

1. 安装Scala插件      打开IDEA,点击file —> Settings 如下图所示: 接下来点击 Install JetBrains Plugins,搜索 Scala ,点击安装,下图是安装完的结果:2. 创建Maven的Scala工程       依次选择 File –> New Project —> Maven 然后勾选右侧的”Create from archetype”...
阅读(669) 评论(10)

Java中的String、StringBuilder、StringBuffer

1. 继承关系图当使用文本数据时,Java提供了三种类别,包括String, StringBuffer和StringBuilder。当使用大数据来工作时,你应该用StringBuffer或StringBuilder来优化效率。基本上这三个类有许多相似之处。 String 是不可变的(这个概念的更多详细信息,在文档中)。它不允许子类的存在。 StringBuffer, StringBuilder 是可...
阅读(275) 评论(7)

Spark RDD API详解

1. RDD简单介绍      RDD是Spark中的抽象数据结构类型,任何数据在Spark中都被表示为RDD。从编程的角度来看,RDD可以简单看成是一个数组。和普通数组的区别是,RDD中的数据是分区存储的,这样不同分区的数据就可以分布在不同的机器上,同时可以被并行处理。因此,Spark应用程序所做的无非是把需要处理的数据转换为RDD,然后对RDD进行一系列的变换和操作从而得到结果。本文为第一部分,...
阅读(496) 评论(7)

用JAVA程序调用LibSVM API

1. LibSVM简介       LibSVM是台湾著名教授陈智仁团队的杰作。具有各个语言版本的接口,包括C/C++、Java、Python、Matlab、C# 等等。这套库运算速度还是挺快的,可以很方便的对数据做分类或回归。由于libSVM程序小,运用灵活,输入参数少,并且是开源的,易于扩展,因此成为目前国内应用最多的SVM的库。       这套库可以从http://www.csie.ntu....
阅读(1077) 评论(5)

机器学习(四)经验风险与结构风险

1. 偏差与方差(bias and variance)      在回归问题中,我们用一个简单的线性模型来拟合样本,称为线性回归,如图1;或者用更复杂,高维的函数来拟合,比如二次函数得到图2,六次函数得到图3.      我们可以看出来, 六次函数完美地拟合了六个点,误差为0.但是,当我们用这样的拟合模型来进行预测的时候,效果反而不好.通过观察我们发现,二次的模型也许能够更好地拟合这些样本分布.虽然...
阅读(655) 评论(10)

Java与正则表达式

1. Java正则表达式的使用1.1 典型用法//将一个字符串编译成Pattern对象Pattern p = Pattern.compile("a*b");//使用Pattern对象创建Matcher对象Matcher m = p.matcher("aaaaab");boolean b = m.matches();//返回true1.2 简洁用法上面定义的Pattern对象可以重复使用,如果某个正则...
阅读(262) 评论(9)
    我的公众号

    关注微信公众号,专

    为机器学习入门者
    个人资料
    • 访问:146410次
    • 积分:3352
    • 等级:
    • 排名:第10749名
    • 原创:86篇
    • 转载:6篇
    • 译文:4篇
    • 评论:765条
    博客专栏
    最新评论