大数据实验
简单介绍Windows下使用Hadoop的方法,重点介绍Linux下配置和使用Hadoop。例如HDFS、MapReduce、HBase等。
风云诀4
千里之行,始于足下。
展开
-
Hadoop自动安装脚本
Hadoop自动安装脚本文章目录Hadoop自动安装脚本前言脚本说明脚本截图后记前言最近在学习大数据的相关知识,对于 Hadoop的安装这一块,身边不少同学安装都存在许多问题,不行安装 SSH啦、不会配置环境变量啦之类的,网上的教程五花八门,大家配置的过程总是出现问题。我也耐心地一个一个地帮忙,但是 Hadoop的配置过程本就繁琐,一个同学的配置往往要花掉几个小时才能弄好,三四个同学一帮,...原创 2020-05-07 22:13:35 · 916 阅读 · 0 评论 -
简单的MongoDB实践
简单的MongoDB实践文章目录简单的MongoDB实践操作环境MongoDB认识查看配置文件MongoDB与SQL术语MongoDB外部命令常用Shell命令使用MongoDB的Shell命令创建数据库查看当前数据库向已创建的数据库中插入任意文档查看已插入的文档更新文档中任意字段值删除刚创建的文档、集合和数据库常见问题参考文章操作环境操作系统:Ubuntu 16.04MongoDB版本...原创 2020-04-23 11:37:25 · 291 阅读 · 0 评论 -
Ubuntu16.04在线安装MongoDB详细教程
Ubuntu16.04在线安装MongoDB详细教程文章目录Ubuntu16.04在线安装MongoDB详细教程前言安装流程信任MongoDB公钥创建列表文件安装MongoDB常见问题参考文章前言根据【百度百科】对 MongoDB 数据库的定义:MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。Mongo...原创 2020-04-17 23:47:56 · 2424 阅读 · 2 评论 -
简单的HBase实践
简单的HBase实践文章目录简单的HBase实践操作环境HBase常用shell命令使用HBase的shell命令命令行启动HBase并预置数据1.列出 HBase 中所有的表2.打印出指定的表的所有记录数据3.向已经创建好的表添加和删除指定的列族或列4.清空指定的表的所有记录数据5.统计表的行数HBase常用JavaAPI使用HBase的JavaAPI创建工程并导入JAR包编写Java程序运行...原创 2020-04-13 15:42:57 · 530 阅读 · 0 评论 -
Ubuntu安装HBase2.2.4并进行单机/伪分布式配置
Ubuntu安装HBase2.2.4并进行单机/伪分布式配置文章目录Ubuntu安装HBase2.2.4并进行单机/伪分布式配置前言版本兼容性详细流程安装HBase2.2.4HBase单机配置HBase伪分布式配置常见问题参考文章前言Hadoop安装以后,只包含 HDFS和 Mapreduce,并不包含 HBase,因此我们需要在 Hadoop之上继续安装 HBase。HBase的运行同样...原创 2020-04-09 12:16:35 · 1932 阅读 · 0 评论 -
简单的MapReduce实践
简单的MapReduce实践文章目录简单的MapReduce实践操作环境实现文件合并和去重操作新建项目新建Java程序打包程序运行程序参考文章操作环境操作系统:Ubuntu 16.04JDK 版本:1.8Hadoop 版本:Hadoop 3.1.3Java IDE:Eclipse我的 Hadoop安装目录是“/usr/local/hadoop”,环境变量 HDAOOP_HOME也...原创 2020-03-21 15:51:45 · 2185 阅读 · 0 评论 -
简单的HDFS操作
简单的HDFS操作文章目录简单的HDFS操作HDFS常用Shell命令使用HDFS的Shell命令输出HDFS某一个目录下所有文件详细信息向HDFS中上传任意文本文件将HDFS中指定文件的内容输出到终端从HDFS中下载指定文件删除HDFS中指定的文件HDFS常用JavaAPI使用HDFS的JavaAPI创建工程并导入JAR包向HDFS上传任意文本文件从HDFS下载指定文件参考文章HDFS常用S...原创 2020-03-10 12:09:25 · 3177 阅读 · 0 评论 -
Ubuntu系统安装Hadoop3.1.3并进行单机/伪分布式配置
Ubuntu系统安装Hadoop3.1.3并进行单机/伪分布式配置文章目录Ubuntu系统安装Hadoop3.1.3并进行单机/伪分布式配置前言详细流程创建Hadoop用户安装Java配置SSH免密登陆安装Hadoop3.1.3Hadoop单机配置Hadoop单机运行实例Hadoop伪分布式配置Hadoop伪分布式运行实例Web访问Hadoop信息参考文章前言Hadoop官方真正支持的作业平...原创 2020-03-06 13:02:59 · 3726 阅读 · 1 评论 -
IDEA+Hadoop运行TriangleCount程序
IDEA+Hadoop运行MapReduce程序文章目录IDEA+Hadoop运行MapReduce程序IDEA新建项目项目配置新建Java类配置编译器运行程序参考博客IDEA新建项目首先,请确保电脑上已经安装了 Hadoop 并配置了环境变量。如果没有的话,请参考这篇博客 Windows下配置单机Hadoop环境首先,打开IDEA,新建一个 Java 项目(不需要从模板创建)项目名字...原创 2019-12-05 21:43:22 · 331 阅读 · 0 评论 -
Windows下配置单机Hadoop环境
Windows下配置单机Hadoop环境文章目录Windows下配置单机Hadoop环境下载Hadoop下载配置文件配置环境变量初始化HDFS启动Hadoop关闭Hadoop常见错误参考博客下载Hadoop首先,请确保电脑上已经安装了 JDK并配置了环境变量。因为 Hadoop的底层实现语言是 Java,必须在 Java 环境下 Hadoop 才能正常运行。(注意,一定要使用 64位 的 j...原创 2019-12-05 11:21:23 · 1675 阅读 · 3 评论 -
IDEA+Maven运行调试MapReduce程序
IDEA+MAven运行调试MapReduce程序文章目录IDEA+MAven运行调试MapReduce程序新建java类配置输入文件路径修改level参数添加Application配置运行调试常见报错Error:java: 不支持发行版本 5Windows下的权限问题参考博客新建java类在项目的左侧文件目录中,选择 srcsrcsrc -> mainmainmain -> j...原创 2019-12-03 12:54:08 · 1496 阅读 · 0 评论 -
Windows下使用IDEA+Maven搭建本地Hadoop环境
IDEA结合Maven搭建本地MapReduce环境文章目录IDEA结合Maven搭建本地MapReduce环境前言环境配置Maven新建项目初始化添加apache源添加Hadoop依赖前言Hadoop的开发中需要很多的依赖包,相互之间的关系较为复杂,依赖包之间复杂的关系就导致了搭建Hadoop的过程中会遇到各种报错,费心费神还调试不好,真是让人苦恼。Maven是一个依赖管理和项目构建的工...原创 2019-12-03 01:23:17 · 2027 阅读 · 0 评论 -
Windows下配置IDEA开发环境
Windows下配置IDEA开发环境文章目录Windows下配置IDEA开发环境安装JDK查看JDK是否安装下载JDK配置环境变量安装IDEA下载IDEA安装IDEA破解IDEA下载破解包IDEA初始化离线破解安装JDKIDEA是 jetbrain 公司出品的一款口碑非常好的 IDE,主要用于 JAVA 的开发工作。安装 IDEA 之前,我们需要先保证电脑上已经安装了JDK查看JDK是否安...原创 2019-12-02 18:29:30 · 8286 阅读 · 0 评论