- 博客(11)
- 收藏
- 关注
转载 spark的安装和使用
a.先到官网下载安装包注意第二项要选择和自己hadoop版本相匹配的spark版本,然后在第4项点击下载。若无图形界面,可用windows系统下载完成后传送到centos中。b.安装spark保存后,Spark 就可以启动了。b.spark的简单使用在 ./examples/src/main 目录下有一些 Spark 的示例程序,有 Scala、Java、Python、R 等语言的...
2019-05-25 22:50:27 392
原创 HiveQI语句实现:word count
Hive实现wordCount程序a. 创建一个数据库,如create database word;b. 建表create external table word_data(line string) row format delimited fields terminated by ‘\n’ stored as textfile location ‘/home/hadoop/worddat...
2019-05-25 22:39:29 182
转载 Redis和mongodb常用命
Redis常用命令整理 doc 环境下使用命令:keys 命令 ? 匹配一个字符 * 匹配任意个(包括0个)字符 [] 匹配括号间的任一个字符,可以使用 "-" 符号表示一个范围,如 a[b-d] 可以匹配 "ab","ac","ad" \x 匹配字符x,用于转义符号,如果要匹配 "?" 就需要使用 \?判断一个键值是否存在 ...
2019-05-25 21:43:02 173
原创 Hbase+eclipse实现建表
开发准备: jdk1.8.45 hbase-1.2.2(windows下和linux个留一份) hadoop-2.7.2(linux一份) Linux系统(centos或其它) Hadoop安装环境 HBase安装环境具体操作步骤如下:Eclipse中新建Maven项目, type为maven-archetype-quickstart,工程名为MyHBase将...
2019-05-25 18:07:11 1143
转载 eclipse+mavey运行hdfs
一、准备工作 (1)Hadoop2.7.2 在linux部署完毕,成功启动dfs和yarn,通过jps查看,进程都存在 (2)安装maven二、最终效果 在windows系统中,直接通过Run as Java Application运行wordcount,而不需要先打包成jar包,然后在linux终端运行三,操作步骤 1、启动dfs和yarn 终端:HADOOPHOME/sbin/...
2019-05-25 17:02:50 181
转载 Hdfs知识要点
1、HDFS的设计HDFS是什么:HDFS即Hadoop分布式文件系统(Hadoop Distributed Filesystem),以流式数据访问模式来存储超大文件,运行于商用硬件集群上,是管理网络中跨多台计算机存储的文件系统。HDFS不适合用在:要求低时间延迟数据访问的应用,存储大量的小文件,多用户写入,任意修改文件。2、HDFS的概念HDFS数据块:HDFS上的文件被划分为块大小的多个分块...
2019-05-25 16:31:21 159
原创 Hadoop集群环境搭建
搭建步骤如下: 一、首先是搞好master 1、创建用户组 groupadd hadoop 添加一个组 useradd hadoop -g hadoop 添加用户 2、jdk的安装 这里安装的版本是jdk-7u9-linux-i586.tar.gz ,使用 tar -zsvf jdk-7u9-linux-i586.tar.gz -C /o...
2019-05-25 16:23:17 91
原创 Hadooph集群搭建
阅读目录(Content)一、Hadoop的三种运行模式(启动模式)1.1、单机模式(独立模式)(Local或Standalone Mode)1.2、伪分布式模式(Pseudo-Distrubuted Mode)1.3、全分布式集群模式(Full-Distributed Mode)二、搭建伪分布式集群的前提条件2.1、能够正常运行的Ubuntu操作系统2.2、安装JDK,并配置环境...
2019-05-25 16:12:59 163
转载 Hadoop起源以及Google三论文
一、什么是大数据?1.1 大数据核心的问题有:1、海量数据如何存储?2、海量数据如何计算?121.2 大数据解决了以上两个问题。举两个例子:List item1、大型电商网站的商品推荐,海量的历史的售卖数据如何存储?如何从海量的历史售卖数据中计算出盈利最大化的数据推荐给用户?2、天气预报,海量的天气数据如何存储?如何从海量的历史数据中计算预测出未来的天气?12二、传统...
2019-05-22 16:19:27 691
原创 浅谈大数据
大数据就像前两年的云计算一样,是一个时下被炒得很火的概念。那么什么是大数据,大数据是如何定义的,大数据处理技术有哪些,大数据能给我们带来什么益处?虽然我不知道现在这些概念是如何被炒作的,但是作为一名互联网行业的从业者,作为一个大数据技术的实践者,根据自己的理解和经验发表一点浅显的认识,理解肯定有不到位之处请大家批评指正。无论是大数据技术还是云计算技术,其实这些技术都不是突然冒出来的,而是随着互联...
2019-05-21 20:53:21 352
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人