当前搜索:

Scala解析Json字符串

1. 添加相应依赖       Json解析工具使用的 json-smart,曾经对比过Java的fastjson、gson。Scala的json4s、lift-json。其中 json-smart 解析速度是最快的。 <dependency> &l...
阅读(3223) 评论(4)

CentOS端口重定向

1. CentOS下配置端口转发 将80端口请求转发至8080 在root账户下面运行一下命令:iptables -t nat -A PREROUTING -p tcp --dport 80 -j REDIRECT --to-port 8080另外如果防火墙重新启动,该命令就会失效,可以使用下面的...
阅读(626) 评论(4)

Linux免密码远程登录

如何通过一台linux ssh远程其他linux服务器时,不要输入密码,可以自动登入。提高远程效率,不用记忆各台服务器的密码。1. 首先登入一台linux服务器,此台做为母机(即登入其他linux系统用这台做为入口);执行一行命令生成key文件:ssh-keygen -t rsa ,然后一直回车...
阅读(456) 评论(4)

Java中继承thread类与实现Runnable接口的区别

本文转载自 http://mars914.iteye.com/blog/1508429Java中线程的创建有两种方式:1. 通过继承Thread类,重写Thread的run()方法,将线程运行的逻辑放在其中 2. 通过实现Runnable接口,实例化Thread类       在实际应用中,...
阅读(457) 评论(4)

Linux上查看和停止所有java进程

1. Linux下查看和停止所有java进程 在Linux下查看所有java进程命令:ps -ef | grep java 停止所有java进程命令:pkill - 9 java 停止特定java进程命令:kill -9 java进程序号
阅读(9530) 评论(5)

Java API 生产和消费Kafka消息

在我的文章 Kafka集群搭建中,展示了如何创建一个单机版的Kafka服务,在此基础上我们可以利用Java程序来对Kafka服务进行生产和消费消息。1. 创建Maven程序首先在 Intellij IDEA中创建一个maven程序,在pom.xml文件中加入如下的依赖和插件: <de...
阅读(1560) 评论(7)

Kafka集群搭建

本文测试环境: 操作系统: CentOS release 6.8 Java 版本: 1.7.0_71 kafka版本: kafka_2.11-0.10.1.0.tgz 1. 单机模式1.1 解压缩包> tar -xzf kafka_2.11-0.10.1.0.tgz > cd ka...
阅读(462) 评论(3)

Java 机器学习库Smile实战(二)AdaBoost

1. AdaBoost算法简介      Boost 算法系列的起源来自于PAC Learnability(PAC 可学习性)。这套理论主要研究的是什么时候一个问题是可被学习的,当然也会探讨针对可学习的问题的具体的学习算法。这套理论是由Valiant提出来的,也因此(还有其他贡献哈)他获得了201...
阅读(888) 评论(9)

Java 机器学习库Smile实战(一)SVM

本文不会介绍SVM的基本原理,如果想了解SVM基本原理,请参阅相关书籍。1. 二分类       Smile 库的SVM类是一个泛型类型,默认情况下进行二分类,选择参数为核函数类型和惩罚项参数。import smile.classification.SVM; import smile.math.k...
阅读(2173) 评论(8)

Redis登录认证密码

Redis默认配置是不需要密码认证的,也就是说只要连接的Redis服务器的host和port正确,就可以连接使用。这在安全性上会有一定的问题,所以需要启用Redis的认证密码,增加Redis服务器的安全性。1. 修改配置文件Redis的配置文件默认在/etc/redis.conf,找到如下行:#r...
阅读(1392) 评论(7)

Intellij IDEA使用Maven管理Scala项目

1. 安装Scala插件      打开IDEA,点击file —> Settings 如下图所示: 接下来点击 Install JetBrains Plugins,搜索 Scala ,点击安装,下图是安装完的结果:2. 创建Maven的Scala工程       依次选择 File ...
阅读(897) 评论(10)

Java中的String、StringBuilder、StringBuffer

1. 继承关系图当使用文本数据时,Java提供了三种类别,包括String, StringBuffer和StringBuilder。当使用大数据来工作时,你应该用StringBuffer或StringBuilder来优化效率。基本上这三个类有许多相似之处。 String 是不可变的(这个概念的更多...
阅读(415) 评论(7)

Spark RDD API详解

1. RDD简单介绍      RDD是Spark中的抽象数据结构类型,任何数据在Spark中都被表示为RDD。从编程的角度来看,RDD可以简单看成是一个数组。和普通数组的区别是,RDD中的数据是分区存储的,这样不同分区的数据就可以分布在不同的机器上,同时可以被并行处理。因此,Spark应用程序所...
阅读(644) 评论(7)

用JAVA程序调用LibSVM API

1. LibSVM简介       LibSVM是台湾著名教授陈智仁团队的杰作。具有各个语言版本的接口,包括C/C++、Java、Python、Matlab、C# 等等。这套库运算速度还是挺快的,可以很方便的对数据做分类或回归。由于libSVM程序小,运用灵活,输入参数少,并且是开源的,易于扩展,...
阅读(1603) 评论(5)

机器学习(四)经验风险与结构风险

1. 偏差与方差(bias and variance)      在回归问题中,我们用一个简单的线性模型来拟合样本,称为线性回归,如图1;或者用更复杂,高维的函数来拟合,比如二次函数得到图2,六次函数得到图3.      我们可以看出来, 六次函数完美地拟合了六个点,误差为0.但是,当我们用这样的...
阅读(1168) 评论(10)

Java与正则表达式

1. Java正则表达式的使用1.1 典型用法//将一个字符串编译成Pattern对象Pattern p = Pattern.compile("a*b");//使用Pattern对象创建Matcher对象Matcher m = p.matcher("aaaaab&qu...
阅读(370) 评论(9)

Java与JSON互转

Jackson 使用遇到 Unrecognized field, not marked as ignorable Jackson是一个可以轻松的将Java对象转换成json对象和xml文档,同样也可以将json、xml转换成Java对象的框架。非常方便,同时也很高效。最近在使用时,将前台传递的J...
阅读(523) 评论(9)

机器学习常见算法优缺点

1. K近邻       算法采用测量不同特征值之间的距离的方法进行分类。 1.1 优点 简单好用,容易理解,精度高,理论成熟,既可以用来做分类也可以用来做回归; 可用于数值型数据和离散型数据; 训练时间复杂度为O(n);无数据输入假定; 对异常值不敏感。 1.2 缺点 计算复杂性高;空间复...
阅读(1790) 评论(9)

ElasticSearch性能优化

1. 亿级规模的ES查询优化实战 能用filter就不用query filter拿到相应的doc后不计算score不用排序 query会对符合条件的doc计算score并进行排序 filter的查询速度比query快很多 2. 增加相关cache的配置 indices.cache.filte...
阅读(2444) 评论(9)

SparkContext的parallelize

在一个Spark程序的开始部分,有好多是用sparkContext的parallelize制作RDD的,是ParallelCollectionRDD,创建一个并行集合。例如sc.parallelize(0 until numMappers, numMappers)创建并行集合的一个重要参数,是sl...
阅读(816) 评论(10)
    机器学习公众号

    关注微信公众号,专

    为机器学习入门者
    个人资料
    专栏达人 持之以恒
    等级:
    访问量: 27万+
    积分: 5152
    排名: 6739
    博客专栏
    最新评论