Hadoop
北徯
QQ:981715157
展开
-
Hadoop学习笔记(10)-Spqrk实现TopN(Python)
Spqrk实现TopN实验要求数据准备预期结果相关类以及算子介绍findsparkpyspark:SparkContext:parallelize(*c*, *numSlices=None*)collect()textFile(*name*, *minPartitions=None*, *use_unicode=True*)map(*f*, *preservesPartitioning=False*)cache()sortBy(keyfunc, *ascending=True*, *numPartition原创 2020-06-15 16:41:07 · 1267 阅读 · 0 评论 -
Hadoop学习笔记(9)-Spark的jupyter notebook开发环境搭建
Spark的jupyter notebook开发环境搭建安装Pythonjupyter notebook介绍与安装jupyter notebook简介jupyter notebook的安装连接jupyter与spark安装Python更新软件包,以免有些安装包找不到。sudo apt-get update安装 python3,默认 python3 将安装最新版本,一般Ubuntu都自带python在 /usr/local目录下sudo apt-get install python3安装pyt原创 2020-06-02 16:05:18 · 1260 阅读 · 0 评论 -
Hadoop学习笔记(8)-Spark介绍以及环境搭建
Spark最初由美国加州伯克利大学(UC Berkeley)的AMP ( Algorithm, Machine and People)实验室于2009年开发, 是基于内存计算的大数据并行计算框架,可用于构建大型 的、低延迟的数据分析应用程序。2013年Spark加入Apache孵化器项目后发展迅猛,如今已 成为Apache软件基金会最重要的三大分布式计算系统开源 项目之一(Hadoop、Spark、Storm)原创 2020-05-28 17:17:54 · 819 阅读 · 0 评论 -
Hadoop学习笔记(2)-HDFS的基本操作(Shell命令)
在这里我给大家继续分享一些关于HDFS分布式文件的经验哈,其中包括一些hdfs的基本的shell命令的操作,再加上hdfs java程序设计。在前面我已经写了关于如何去搭建hadoop这样一个大数据平台,还没搭好环境的童鞋可以转到我写的这篇文章Hadoop在Ubuntu的安装,接下来就开始我们本次的经验分享啦。HDFS的Shell命令操作HDFS的格式化与启动首次使用HDFS时,需要使用fo...原创 2020-04-20 13:12:37 · 1606 阅读 · 1 评论 -
Hadoop学习笔记(1)-Hadoop在Ubuntu的安装和使用
由于小编在本学期有一门课程需要学习hadoop,需要在ubuntu的linux系统下搭建Hadoop环境,在这个过程中遇到一些问题,写下这篇博客来记录这个过程,并把分享给大家。Hadoop的安装方式单机模式:Hadoop默认模式为非分布式模式(本地模式),无需 进行其他配置即可运行。非分布式即单 Java 进程,方便进行调试伪分布式模式:Hadoop可以在单节点上以伪分布式的方式运行, H...原创 2020-04-20 13:21:53 · 1094 阅读 · 0 评论 -
Hadoop学习笔记(3)-HDFS的Java编程方法
HDFS的Shell命令仅能实现本地的简单文件操作任务,如果小伙伴还没有了解基本的HDFS的Shell命令操作,可以参考小编写的这篇文章Hadoop学习笔记(2)-HDFS的基本操作(Shell命令),然而更高效的方法 是使用Java程序进行HDFS文件的访问,这篇文章就给大家介绍一下HDFS的Java编程方法。Ubuntu中下载安装Eclipse IDE的Java编程环境关于配置Java j...原创 2020-04-27 16:05:10 · 725 阅读 · 0 评论 -
Hadoop学习笔记(4)-Hbase的安装及其配置
Hbase的安装下载Hbase首先我们需要下载Hbase: 官方下载地址http://mirror.bit.edu.cn/apache/hbase/顺带附上Hbase官方文档 http://abloz.com/hbase/book.html安装配置我选择的是hbase-2.2.0-bin.tar.gz版本的,下载好之后移动到 /usr/local 目录解压。sudo tar -xzvf...原创 2020-05-09 12:37:24 · 404 阅读 · 0 评论 -
Hadoop学习笔记(5)-HBase常用Shell命令
status 查看系统状态hbase(main):001:0> status1 active master, 0 backup masters, 1 servers, 0 dead, 2.0000 average loadTook 2.7304 secondsversion 查看版本号hbase(main):002:0> version2.2.0, rUnknown, Tue Jun 11 04:30:30 UTC 2019Took 0.0171 secondstable_h原创 2020-05-09 14:07:45 · 301 阅读 · 0 评论