- 博客(4)
- 收藏
- 关注
RSS订阅原创 java实现皮尔逊相关系数
皮尔逊相关系数的定义为两个变量之间的协方差和标准差的商公式如下：上式定义了总体相关系数，常用希腊小写字母 作为代表符号。估算样本的协方差和标准差，可得到皮尔逊相关系数，常用英文小写字母 代表：化简为单流程计算公式为：使用java实现如下：private double caculatePearson(Map<BigInteger, Double> mapX, Map<BigIn...
2018-04-13 14:27:09
3849
原创 mapreduce实现数据库输出
如果mapreduce需要实现数据库输出,需要定义数据表实体类,在jobconf中设置好数据库驱动类,数据库连接参数,并将reduce的输出key设置为数据表的实体类1. 数据表实体类：数据表实体类需要实现Writable, DBWritable这两个接口,并实现以下方法public void write(PreparedStatement statement) throws SQLExcepti...
2018-04-12 16:45:31
893
原创 mapreduce demo实现
mapreduce主要的实现需要三个类:主方法类、map类、reduce类。1. 主方法类：public class BreadPointDriver { /** * * @param args * @throws IOException * @throws ClassNotFoundException * @throws Interrup...
2018-04-12 16:11:45
799
原创 hadoop部署
1. 安装jdk2. 上传并解压hadoop3. 配置免密登录如果是集群模式,localhost替换为其他服务器的ip地址或主机名,所有的服务器之间均需要配置免密登陆$ ssh-keygen$ ssh-copy-id root@localhost4. 配置${hadoop_home}/etc/hadoop/core-site.xml<configuration><prop...
2018-04-12 14:58:30
175
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人