2020年10月_假装很坏的谦谦君

10月 07月 06月 05月 04月 03月 02月 01月

原创 MappeReduce简介和使用MapReduce进行WordCount操作方法介绍

1 MapReduce概述官方网站上的定义：Hadoop MapReduce是一个软件框架（分布式计算框架），目的是为了在廉价机器组成的大集群（几千个节点）上以可靠，容错的方式，比较容易的编写处理海量数据（TB量级数据集）的并行程序。源自于谷歌的MapReduce论文，发表于2004年12月Hadoop MapReduce 是Google MapReduce的克隆版MapReduce的优点：（1）海量数据的离线处理（2）容易开发（3）容易运行。MapReduce的缺点：实时流式计算2 Map

2020-10-24 22:10:40 904

原创 Hadoop HDFS API 编程开发（使用Java）

本篇博客介绍使用Java API操作HDFS的方法。为本人的学习笔记。学习参考视频教程：https://coding.imooc.com/class/301.html方法我们想要使用Java 来操作HDFS，就要先连接到HDFS文件系统，好在Hadoop 已经有了官方的jar包可以直接使用里面的类和方法。使用下面的定义的方法要首先创建一个maven项目，导入hadoop的依赖和junit的依赖。在pom.xml文件中的<dependencies>标签下增加下面的内容：<depe.

2020-10-19 11:09:06 742

原创大数据开发 HDFS 入门

Hadoop安装目录详解以及环境配置下载Hadoop安装包到本地，解压到安装目录，添加Hadoop安装文件路径到系统“HADOOP_HOME”环境变量，然后添加$HADOOP_HOME/bin 到系统环境变量。Hadoop 软件包常见目录说明：bin目录：Hadoop客户端命令所在的目录etc目录：很多文件夹，最重要的是hadoop文件夹，里面有所有的hadoop相关配置文件。sbin目录：一些脚本，这些脚本用于启动hadoop相关进程。share目录：常用例子Hadoop环境配置：h

2020-10-14 18:21:54 510

原创配置Virtualbox上Centos7虚拟机实现远程ssh连接

记录一下如何实现主机远程ssh 连接到Virtualbox上centos7系统，方法包括NET地址转换方法和桥接网卡方法最终实现效果使用ssh可以连接到虚拟机，并且虚拟机可以连接外网，如图所示：图一一、方法有两种方法可以实现上面描述的效果：1.NET地址转换该方法只需简单修改Linux虚拟机配置文件，并在VirtualBox虚拟机软件上进行相关操作即可。2.桥接网卡模式这种模式下，虚拟机相当于是局域网的一台真机器，需要修改一下Linux虚拟机的相关配置文件。二、开始之前必须要进行.

2020-10-03 02:07:54 3903 3

原创 Centos 7设置无需输密码启动HDFS

本文实现了在Centos7系统上启动HDFS免去密码验证的效果。为什么要作此设置启动HDFS时会有多次密码验证操作，密码如果比较复杂的话会很麻烦，如图所示：此时我们如果不要密码验证，就可以简化操作，提高效率。方法依次执行如下命令：# 远程连接到自己，生成.ssh文件夹ssh root@localhost# 使用rsa算法生成公钥与私钥，一路回车即可ssh-keygen -t rsa# 进入到.ssh 文件夹cd .ssh#将公钥写进authorized_keyscat id_.

2020-10-02 23:14:50 789