- 博客(20)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 hdfs文件写入详情
一,首先我把写入流程图放在这，这些都是看hadoop中的源码得到的，可以说是很详细的流程图了，本文由版本hadoop2.7为主 二，我们把里面的一下细节详细讲一下:首先我们要了解block,paket,chuck:(借鉴https://www.jianshu.com/p/0fe0b1d2ff09)1,block是最大的单位，它值最终存储于DataNode上的...
2018-07-31 22:47:31
5186
3
原创 改变hdfs文件系统存储的块大小
在hadoop2x以后我们的文件系统大小变成了128MB，但有时候对我们初学者并不是一件太好的事情，所有我们只需要在${HADOOP_HOME}/etc/hadoop下的hdfs-site.xml目录下添加一下代码，我设置的是64MB<property> <name>dfs.blocksize</name>...
2018-07-23 20:53:48
420
1
原创 使用maven打jar包时运行报错：java.io.IOException: No FileSystem for scheme: hdfs
问题:问题分析:hadoop-common.jar中的services内容打进了最终的jar包中，而hadoop-hdfs.jar包中，services的内容被覆盖了;而在生成的最终jar包中，无法找到这个schema的实现。所以就抛出了java.io.IOException: No FileSystem for scheme: hdfs解决方案是，在设置hadoop的配置...
2018-07-22 13:32:38
1361
原创 纯java的对HDFS文件操作系统的(增删改查)
版本是2.7.4，直接亮代码! package day_01;import java.io.ByteArrayOutputStream;import java.io.DataOutputStream;import java.io.File;import java.io.FileInputStream;import java.io.FileNotFoundExceptio...
2018-07-21 22:49:20
1318
原创 Win10下Eclipse提交hadoop程序出错：org.apache.hadoop.security.AccessControlException: Permission denied:
错误如下:org.apache.hadoop.security.AccessControlException: Permission denied: user=zxz, access=WRITE, inode="/user":hadoop1:supergroup:drwxr-xr-x at org.apache.hadoop.hdfs.server.namenode.FSPermis...
2018-07-21 21:40:07
1125
转载 windows的hosts文件在哪?
hosts文件主要是为了做IP地址和机器名映射！习惯了Linux下面的位置/etc/hosts，一时间还找不到Windows的对应文件在哪。这里这里：C:\Windows\System32\drivers\etc然后，直接编辑HOSTS文件，在最后添加需要的IP地址和机器名，保存即可！ 10.1.10.1 myhostname1 10.1.10.2 myhost...
2018-07-21 13:11:51
5619
1
原创 Could not locate executable null\bin\winutils.exe in the Hadoop binaries解决方式
1. 问题：2. 问题解决： 仔细查看报错是缺少winutils.exe程序。 Hadoop都是运行在Linux系统下的，在windows下eclipse中运行mapreduce程序，要首先安装Windows下运行的支持插件（我的是hadoop2.7.4）3. 安装并配置插件(我这里还是Linux版的hadoop安装包，我们只需要下载一个winutil...
2018-07-21 10:32:18
67909
25
原创 hadoop全部jar包(小技巧)
很多刚学hadoop的老哥们，肯定对jar包感到很烦恼，因为hadoop的jar包有很多，如果少一个，肯整个项目都起不来我们有两种解决办法，1，就是我们要将的在hadoop的安装包里寻找jar包,2,就是maven，maven下次会说到好，我们言归正传!(这里我们用的是2.7.4的版本)1,把hadoop的安装包解压到我们熟悉的windows系统上,解压后我们看一下他们的目录结构:...
2018-07-21 02:02:24
25116
1
原创 hadoop基本了解
一，hadoop基本了解 1）hadoop的端口: 50070 //他是namenode在web ui的一个http端口(自然他也包括datanode里面的内容) 50075 //他是datanode在web ui的一个http端口（不经常用到） 50090 //他是second...
2018-07-21 01:35:00
254
原创 Linux系统让命令行提示符显式完整路径
1,首先编辑进入\etc\profile中 ，下滑到在最后一行(习惯性)2,编辑profile文件，添加环境变量PS1 [/etc/profile] export PS1='[\u@\h `pwd`]\$'3，在命令行下敲下:source /etc/profile（立即生效配置文件里的环境变量,重启也可以）4, 查看:OK！ ...
2018-07-21 01:06:13
303
原创 hadoop目录介绍
我们直奔话题!一,首先我们进入hadoop目录下可以看到以下文件:我们挑重要的说:1,bin： 存放的是我们用来实现管理脚本和使用的脚本的目录，我们对hadoop文件系统操作的时候用的就是这个目录下的脚本常用的命令脚本(我们忽略.cmd的文件这是windows下的使用的文件)：hdfs hadoop yarn 来执行对文件操作二，sbin: 存放的是我们管理脚本的所在目...
2018-07-19 20:34:58
9520
2
原创 Linux常用命令补充
1，帮助命令 man 加上要查看的命令 info 加上要查看的命令 命令 -h 也是帮助文档2，输出命令 echo 要输出的内容3,> 和 >> >是重定向 就是把左边的内容加载到右边里去 ,如果目标文件没有创建，则会创建一个新的文件，如果有会覆盖当前文件 例子:echo 哈哈哈 > zxz.txt >> 在一...
2018-07-19 18:36:15
184
转载 十分钟了解Hadoop核心机制
一，什么是hadoop1.Hadoop核心思想 Hadoop是在分布式服务器集群上存储海量数据并运行分布式分析应用的一个平台，其核心部件是HDFS与MapReduce HDFS是一个分布式文件系统：传统文件系统的硬盘寻址慢，通过引入存放文件信息的服务器Namenode和实际存放数据的服务器Datanode进行串接。对数据系统进行分布式储存读取。 MapReduce是一个计算框...
2018-07-19 16:38:17
301
原创 什么是大数据
一、什么是大数据? 套用官方点的解释就是: "大数据"是一个体量特别大，数据类别特别大的数据集，并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理和处理。 "大数据"首先是指数据体量(volumes)?大，指代大型数据集，一般在10TB?规模左右，但在实际应用中，很多企业用户把多个数据集放在一起，已经形成了PB级的数据量；其次是指数据类别(variety)大，数据来自...
2018-07-19 16:16:46
1196
转载 Shell脚本实例 向指定目录下不断产生指定大小的文件
一、问题描述： 向一个指定的目录下面不断产生指定大小的文件 二、解决思路： <1>、根据题目关键字 "指定目录"、 "指定大小"，所以该程序肯定有两个参数，一个参数指定目录，一个参数指定大小 <2>、还有一个关键字 "不断产生"，所以程序主体肯定是一个死循环 <3>、最后一个关键字 "
2018-07-17 12:16:11
1819
原创 Linux中shell脚本的基本语法
一、Shell中有许多预定义的特殊字符： $n ：n是一个数字（大于10则用大括号括起来，${12}），代表程序的第n个参数 $# ：总共有多少个参数 $* ：指所有的参数 $@ ：指所有的参数 $? ： 上次命令执行的返回值 注意：我们发现$*和$@的意思是一样的，其实它们两...
2018-07-17 12:14:03
8513
1
原创 Linux中使用 if 、for、while等循环来写脚本
这次来介绍一下Shell的基本语法： 一、注释 Shell中的注释标志是井号 "#"，除了脚本文件第一行的#不是注释之外，其他地方出现#，则说明#开始，到本行的末尾都是注释 二、指定脚本解释器 一般每个Shell脚本文件的第一行都是指定脚本解释器 #！/bin/bash ： 指定本脚本文件使用bash脚本解释器解释执行...
2018-07-17 12:06:11
32377
转载 什么是shell脚本?
一、什么是Shell？ shell是外壳的意思，就是操作系统的外壳。我们可以通过shell命令来操作和控制操作系统，比如Linux中的Shell命令就包括ls、cd、pwd等等。总结来说，Shell是一个命令解释器，它通过接受用户输入的Shell命令来启动、暂停、停止程序的运行或对计算机进行控制。 二、什么是脚本？ 脚本就是由Shell命令组成的文件，这些...
2018-07-17 12:03:12
24794
1
原创 企业级大数据环境搭建
企业级大数据环境搭建虚拟机仿真，与物理机设置完全相同一：系统准备1，在虚拟机中最小安装CENT OS7系统 视自己电脑内存大小而定： 虚拟机内存设置1G~2G CPU 1~4核心 硬盘20G~60G2，设置虚拟机网络 查看虚拟机网络设置，记录网段和网关 禁用IPV6 编辑 /etc/defulat/grub 在第6行添加...
2018-07-14 15:36:59
1560
原创 JAVA简介
1.java是什么？java是一种高级的面向对象的程序设计语言 。2.JVMJava Virtual Machine，是java程序跨平台的关键，不同的平台有不同的JVM，而java字节码不包含任何与平台相关的信息，不直接与平台交互，而是通过JVM间接与平台交互。应用程序在执行时，JVM加载字节码，将字节码解释成特定平台的机器码，让平台执行。任何一个应用程序都必须转化为机器码，才能...
2018-07-05 09:12:48
522
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人