- 博客(11)
- 收藏
- 关注
RSS订阅转载 spark的安装和使用
a.先到官网下载安装包注意第二项要选择和自己hadoop版本相匹配的spark版本，然后在第4项点击下载。若无图形界面，可用windows系统下载完成后传送到centos中。b.安装spark保存后，Spark 就可以启动了。b.spark的简单使用在 ./examples/src/main 目录下有一些 Spark 的示例程序，有 Scala、Java、Python、R 等语言的...
2019-05-25 22:50:27
368
原创 HiveQI语句实现：word count
Hive实现wordCount程序a. 创建一个数据库，如create database word;b. 建表create external table word_data(line string) row format delimited fields terminated by ‘\n’ stored as textfile location ‘/home/hadoop/worddat...
2019-05-25 22:39:29
161
转载 Redis和mongodb常用命
Redis常用命令整理 doc 环境下使用命令：keys 命令 ? 匹配一个字符 * 匹配任意个（包括0个）字符 [] 匹配括号间的任一个字符，可以使用 "-" 符号表示一个范围，如 a[b-d] 可以匹配 "ab","ac","ad" \x 匹配字符x，用于转义符号，如果要匹配 "?" 就需要使用 \?判断一个键值是否存在 ...
2019-05-25 21:43:02
150
原创 Hbase+eclipse实现建表
开发准备： jdk1.8.45 hbase-1.2.2（windows下和linux个留一份） hadoop-2.7.2（linux一份） Linux系统（centos或其它） Hadoop安装环境 HBase安装环境具体操作步骤如下：Eclipse中新建Maven项目， type为maven-archetype-quickstart，工程名为MyHBase将...
2019-05-25 18:07:11
1120
转载 eclipse+mavey运行hdfs
一、准备工作 （1）Hadoop2.7.2 在linux部署完毕，成功启动dfs和yarn，通过jps查看，进程都存在 （2）安装maven二、最终效果 在windows系统中，直接通过Run as Java Application运行wordcount，而不需要先打包成jar包，然后在linux终端运行三，操作步骤 1、启动dfs和yarn 终端：HADOOPHOME/sbin/...
2019-05-25 17:02:50
171
转载 Hdfs知识要点
1、HDFS的设计HDFS是什么：HDFS即Hadoop分布式文件系统（Hadoop Distributed Filesystem），以流式数据访问模式来存储超大文件，运行于商用硬件集群上，是管理网络中跨多台计算机存储的文件系统。HDFS不适合用在：要求低时间延迟数据访问的应用，存储大量的小文件，多用户写入，任意修改文件。2、HDFS的概念HDFS数据块：HDFS上的文件被划分为块大小的多个分块...
2019-05-25 16:31:21
152
原创 Hadoop集群环境搭建
搭建步骤如下： 一、首先是搞好master 1、创建用户组 groupadd hadoop 添加一个组 useradd hadoop -g hadoop 添加用户 2、jdk的安装 这里安装的版本是jdk-7u9-linux-i586.tar.gz ，使用 tar -zsvf jdk-7u9-linux-i586.tar.gz -C /o...
2019-05-25 16:23:17
83
原创 Hadooph集群搭建
阅读目录(Content)一、Hadoop的三种运行模式（启动模式）1.1、单机模式（独立模式）（Local或Standalone Mode）1.2、伪分布式模式（Pseudo-Distrubuted Mode）1.3、全分布式集群模式（Full-Distributed Mode）二、搭建伪分布式集群的前提条件2.1、能够正常运行的Ubuntu操作系统2.2、安装JDK，并配置环境...
2019-05-25 16:12:59
132
转载 Hadoop起源以及Google三论文
一、什么是大数据？1.1 大数据核心的问题有：1、海量数据如何存储？2、海量数据如何计算？121.2 大数据解决了以上两个问题。举两个例子：List item1、大型电商网站的商品推荐，海量的历史的售卖数据如何存储？如何从海量的历史售卖数据中计算出盈利最大化的数据推荐给用户？2、天气预报，海量的天气数据如何存储？如何从海量的历史数据中计算预测出未来的天气？12二、传统...
2019-05-22 16:19:27
664
原创 浅谈大数据
大数据就像前两年的云计算一样，是一个时下被炒得很火的概念。那么什么是大数据，大数据是如何定义的，大数据处理技术有哪些，大数据能给我们带来什么益处？虽然我不知道现在这些概念是如何被炒作的，但是作为一名互联网行业的从业者，作为一个大数据技术的实践者，根据自己的理解和经验发表一点浅显的认识，理解肯定有不到位之处请大家批评指正。无论是大数据技术还是云计算技术，其实这些技术都不是突然冒出来的，而是随着互联...
2019-05-21 20:53:21
324
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人