- 博客(10)
- 问答 (1)
- 收藏
- 关注
RSS订阅转载 HBase技术介绍
0 原文章地址1 HBase简介 HBase：Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。Hadoop HDFS为HBase提供了高可靠性的底层存储支持；Hadoop MapReduce为HBase提供了高性能的计算能力；Zookeeper为HBase提供了稳定服务和failover
2016-10-18 13:15:43
394
原创 scala学习(数组，元组)
1. 数组相关操作 如果需要一个长度不变的数组，可以用Scala中的Array，提供初始值时不要使用new val nums = new Array[Int](10) //10个整数的数组，所有元素初始化为0 val s = Array("hello","world") //提供初始值时，不需要使用new 对于长度按需要变化的数组，可以使用Scala中的ArrayBuffer
2015-12-23 22:19:45
6241
1
原创 Scala学习（基础，控制结构）
1. 基础 以val定义的值是常量 val a = 0 //a的值是不可变的 以var定义的值是变量 var b = 0 //b的值是可变的 不需要给出值或变量的类型，这个信息可以从你用来初始化它得表达式推断出来，声明值或变量但不做初始化会报错 在Scala中，变量或者函数的类型总是写在变量或者函数的后面 val c: String = "hello"
2015-12-23 21:13:07
976
原创 Spark机器学习3
3. Spark上数据的获取、处理与准备3.1 获取公开数据集MovieLens数据集：包含表示多个用户对多部电影的10万次评级数据，也包含电影元数据和用户属性信息。 下载数据集，解压 unzip ml-100k.zip 会创建一个名为ml-100k的文件夹，进入文件夹 cd ml-100k其中重要的文件有u.user（用户属性文件）、u.item（电影元数据）和u.data（用户对电影的评级）
2015-11-18 17:31:56
1847
原创 Spark机器学习5
5. Spark构建分类模型 分类是监督学习的一种形式，我们用带有类标记或者类输出的训练样本训练模型。 5.1 分类模型的种类 Spark中常见的三种分类模型：线性模型、决策树和朴素贝叶斯模型。 线性模型：简单而且相对容易扩展到非常大的数据集 决策树：一个强大的非线性技术，训练过程计算量大而且较难扩展，但是在很多情况下性能很好。 朴素贝叶斯模型：简单，易训练，并且具有高效和并行的优点
2015-11-02 12:17:23
2032
原创 Spark机器学习1
1. Spark的环境搭建与运行 Spark的本地模式与集群模式完全兼容，本地编写和测试过的程序仅需增加少许设置便能在集群上运行。 任何Spark程序的编写都是从SparkContext（或用Java编写时的JavaSparkContext）开始的。SparkConf对象包含了Spark集群配置的各种参数，SparkContext的初始化需要一个SparkConf对象。 要想通过Scala来使
2015-10-13 14:14:45
1020
1
转载 Spark1.0.2 Standalone 模式部署
节点说明 IP 用户名 主机名 角色 10.6.2.109 hadoop client Spark客户端 10.6.2.111 hadoop master HDFS(NameNode,SecondNameNode)；Spark（Master,Worker） 10.6.2.112 hadoop worker1 HDFS（DataNode）；
2015-09-12 17:17:21
489
原创 hadoop HDFS常用文件操作命令
hadoop HDFS常用文件操作命令 命令基本格式:hadoop fs -cmd 1.ls hadoop fs -ls / 列出hdfs文件系统根目录下的目录和文件 hadoop fs -ls -R / 列出hdfs文件系统所有的目录和文件 2.put hadoop fs -put hdfs file的父目录一定要存在，否则命令不会执行 hado
2015-04-17 10:02:24
639
空空如也
hadoop MapReduce 路径输入
2015-04-17
TA创建的收藏夹 TA关注的收藏夹
TA关注的人