Hadoop
文章平均质量分 94
appleyk
这个作者很懒,什么都没留下…
展开
-
Hadoop权威指南(第3版) 修订版(带目录书签) 中文PDF--高清晰
一、下载地址(永久有效)百度云盘下载(公开永久):Hadoop权威指南(第3版) 修订版(带目录书签) 中文PDF高清晰CSDN积分下载:Hadoop权威指南(第3版)+高清晰二、数据的存储和分析我们遇到的问题很简单:在硬盘存储容量多年来不断提升的同时,访问速度(硬盘数据读取速度)却没有与时俱进。1990年,一个普通的硬盘可以存储1370MB数据,传输速度为4.4MB/s,因此只需要5分钟就可以读...原创 2018-04-02 10:31:22 · 21823 阅读 · 1 评论 -
Hadoop集群环境启动顺序
Linux查看端口占用情况 netstat -tunlp |grep 8000 Hadoop环境启动顺序: 注:上来一定要关闭防火墙: service iptables stop 1、启动Hadoop(HDFS、ResourceManager、Yarn、MapReduce...)start-all.sh 验证HDFS是否启动成功...原创 2018-08-20 15:12:51 · 11928 阅读 · 0 评论 -
Zookeeper-3.4.10 集群的安装配置
一、Hadoop集群配置如下主机名IPJDK版本描述m1 192.168.142.1441.8.0_161 Hadoop集群2.7 NameNodes1 192.168.142.145 1.8.0_161 Hadoop集群2.7 DataNode1s2 192.168.142.1461.8.0_161 Hadoop集群2.7 DataNode2别忘了在/etc...原创 2018-07-13 12:08:58 · 9414 阅读 · 1 评论 -
Java HDFS API 追加文件写入内容异常问题的解决
最近在完善一个Java HDFS 的Api功能类,其功能列表如下(主要利用文件系统进行文件或目录的各种操作):上述功能有:1、获取当前HDFS系统的状态,如容量多少,使用了多少,剩余多少(getStatus())2、打开一个文件,并返回打开后的FS数据的输出流,便于向文件里编写内容(open(destPath))3、上传本地(local或remote)文件至HDFS文件系统(upLoadFile(...原创 2018-06-28 18:09:22 · 11926 阅读 · 4 评论 -
HBase权威指南【中文版】
一、下载地址(永久有效) 百度云盘下载(公开永久):HBase权威指南【中文版】.pdf 二、HBase产生的背景 2003年,Google发表了一篇论文,叫"The Google File System"。这个分布式文件系统简称GFS,它使商用硬件集群存储海量数据。文件系统将数据在节点之间进行冗余复制,这样的话,即使一...原创 2018-07-16 15:01:23 · 15228 阅读 · 0 评论 -
Java --本地提交MapReduce作业至集群☞实现 Word Count
还是那句话,看别人写的的总是觉得很累,代码一贴,一打包,扔到Hadoop上跑一遍就完事了????写个测试样例程序(MapReduce中的Hello World)还要这么麻烦吗,还本地打Jar包,传到Linux上,最后在用jar命令运行jar包敲一遍in和out参数,我去,我是受不了了,谁让我是急性子呢,。 我就想知道MapReduce的...原创 2018-07-03 10:52:27 · 7728 阅读 · 0 评论 -
Hadoop 3.0 开启回收站(Trash)功能
上一篇,我们利用三台虚拟机配置了Hadoop 3.0集群,配置的过程步骤很"繁琐",但是不难,由于后续我要针对Hadoop的文件系统FileSystem(Java API)整合一个工具,该工具涉及到获取文件系统指定目录下的文件状态、创建dir、删除dir、文件或目录重命名、文件移动、copy、还会涉及到回收站的功能,比如:清空回收站、恢复回收站里面的某个文件等...etc,因此,本篇有...原创 2018-06-27 11:08:47 · 9155 阅读 · 0 评论 -
CentOS 6.5 + Hadoop 3.1.0 集群环境搭建+配置+测试
网上的一些配置文章我真是无力吐槽,太杂了,也不是看不懂,就是感觉从头捋下来,累个半死,其实搭建的过程不是太难,只是对于初次搭建的同学们来说,简直就是噩梦,又是什么免密登录,又是什么设置主机名,又是什么集群添加几个slave节点的,还有什么配置core-site.xml,hdfs-site.xml的.etc,最后还要什么格式化namenode的,最最最后才是启动我们的hadoop环境,...原创 2018-06-22 16:11:26 · 9125 阅读 · 0 评论 -
什么是Hadoop的MapReduce?
摘自网上一句精简的话就是:我们要数图书馆里面的所有书,你数1号书架,我数2号书架,他数3号书架...这就叫Map其中假如把书架比作一台普通的计算机,那么整个图书馆里面的书则是由N台不太昂贵的计算机分布来存储的,而图书馆的管理员就相当于Hadoop的HDFS现在我们到一起,把所有人的统计数加在一起。这就是“Reduce”合起来就是Hadoop的MapReduce!!!但是:Spark的数据处理速度要...原创 2018-05-22 15:17:11 · 8744 阅读 · 0 评论 -
Hue安装依赖
HUE(开源 Hadoop UI系统) yum -y install python-develyum -y install libffi-develyum -y install gcc gcc-c++ kernel-develyum -y install gcc openssl-develyum -y install libxslt-develyum -y install ...原创 2018-08-20 16:14:39 · 7128 阅读 · 1 评论