![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大规模与大数据
文章平均质量分 62
Rosun_
风暖
展开
-
Ubuntu16.04下伪分布式环境搭建之hadoop2.6.0、jdk1.7、Hbase0.98的安装与配置
Ubuntu16.04下伪分布式环境搭建之hadoop2.6.0、jdk1.7、Hbase0.98的安装与配置原创 2017-03-21 12:17:57 · 5394 阅读 · 5 评论 -
Spark安装与配置
1.Spark安装先安装scala,并配置好环境变量,然后下载Spark,安装并配置环境变量。2.Spark使用3.Eclipse开发Spark程序(scala)Download Scala IDE for Eclipse下载链接如下: http://scala-ide.org/download/sdk.html原创 2017-04-23 22:52:17 · 550 阅读 · 0 评论 -
MapReduce编程实例之source-destination-count-avertime
//Hw2Part1.java/** * Statistic the average time and the number of communication between source and destination * Author:Rosun * date: 2017/4/8 */package org.apache.hadoop.examples;import java.io原创 2017-04-13 18:00:45 · 954 阅读 · 0 评论 -
MapReduce编程实例之WordCount
1.MapReduce计算框架2.实例WordCountpackage org.apache.hadoop.examples;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Pa原创 2017-04-13 17:58:23 · 933 阅读 · 0 评论 -
同步图运算框架GraphLite实例之KCore算法
1.KCore子图一个图G的 KCore 是G的子图 这个子图的每个顶点的度≥K 2.GraphLite图运算系统的KCore算法实现/** * @file Hw2KCore.cc * @author Rosun * @version 0.1 * @section LICENSE * 2017/04/11 */#include <stdio.h>#include <string原创 2017-04-13 15:44:52 · 6285 阅读 · 0 评论 -
同步图运算框架GraphLite实例之PageRank算法
1.PageRank算法介绍PageRank,网页排名,又称网页级别、Google左侧排名或佩奇排名,是一种由[1] 根据网页之间相互的超链接计算的技术,而作为网页排名的要素之一,以Google公司创办人拉里·佩奇(Larry Page)之姓来命名。Google用它来体现网页的相关性和重要性,在搜索引擎优化操作中是经常被用来评估网页优化的成效因素之一。Google的创始人拉里·佩奇和谢尔盖·布林于原创 2017-04-13 15:43:21 · 2480 阅读 · 0 评论 -
标准输出方式显示Hadoop文件系统的文件实例
一:通过URLStreamHandler实例以标准输出方式显示Hadoop文件系统文件程序读取hdfs://localhost/user/hadoop/quangle.txt的内容,以标准方式输出1.源程序如下:import java.io.InputStream; import java.net.URL; import org.apache.hadoop.fs.FsUrlStreamHan原创 2017-03-21 19:59:37 · 772 阅读 · 0 评论 -
Hbase0.98使用遇到.jar包与hadoop中的.jar包冲突问题
Hbase0.98使用遇到.jar包与hadoop中的.jar包冲突问题1.问题描述SLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:/usr/local/hbase/lib/slf4j-log4j12-1.6.4.jar!/org/slf4j/impl/StaticLoggerB原创 2017-03-21 21:39:58 · 1783 阅读 · 1 评论 -
Hbase0.98基本使用
Hbase0.98基本使用1.表的创建表、插入操作hbase(main):003:0> create 'test1','data' #创建表0 row(s) in 0.4000 seconds=> Hbase::Table - test1hbase(main):004:0> put 'test1','row1','data:1','value1' 0原创 2017-03-21 22:15:09 · 638 阅读 · 0 评论 -
大规模图计算框架之GraphLite
3.C++ API这一节主要介绍Pregel C++ API中最重要的几个方面,暂时忽略相关其他机制。编写一个Pregel程序需要继承Pregel中已预定义好的一个基类——Vertex类(见图3)。 Pregel: A System for Large-Scale Graph Processing(译) - 星星 - 银河里的星星 该类的模版参数中定义了三个值类型参数,分别表示顶点,边和消息。原创 2017-04-10 21:03:46 · 3207 阅读 · 0 评论 -
Hadoop之MapReduce计算框架
1.相关类介绍1.1StringTokenizer类StringTokenizer是一个用来分隔String的应用类,属于:Java.util包。1.1.1构造方法public StringTokenizer(String str)public StringTokenizer(String str, String delim)public StringTokenizer(String str,原创 2017-04-06 21:03:48 · 970 阅读 · 0 评论 -
浅谈SVD分解和CUR分解
1.Power iterationIn mathematics, the power iteration (also known as power method) is an eigenvalue algorithm: given a matrix AA, the algorithm will produce a number λ\lambda , which is the greatest (in原创 2017-05-26 00:00:26 · 6872 阅读 · 0 评论