MapReduce中FileInputFormat的文件切片机制

1、mapTask并行度的决定机制 一个job的map阶段并行度由客户端在提交job时决定 而客户端对map阶段并行度的规划的基本逻辑为: 将待处理数据执行逻辑切片(即按照一个特定切片大小,将待处理数据划分成逻辑上的多个split),然后每一个split分配一个mapTask并行实例处理 ...

2018-09-08 09:31:10

阅读数 524

评论数 0

编译HADOOP x64本地库教程

Hadoop2.4.0  重新编译 64  位本地库 环境:虚拟机 VirtualBox,操作系统 64 位 CentOS 6.4   下载重新编译需要的软件包 apache-ant-1.9.4-bin.tar.gz findbugs-3.0.0.tar.gz protobuf-2.5.0.ta...

2018-09-07 20:26:26

阅读数 155

评论数 0

使用JavaAPI进行HDFS文件系统的增删改查

0、事前准备。 0.1    完成HADOOP的集群安装,完成HDFS的配置和初始化。 (具体请参考https://blog.csdn.net/yumi6666/article/details/81735638) 0.2    配置好Linux或Win环境下的Java开发环境。 本文环境为...

2018-09-07 20:24:15

阅读数 324

评论数 0

Docker环境下Scrapy项目环境的搭建

0、卸载本机上已安装的Docker/OracleVM BOX/Git/Vagrant 如本机是全新安装,没有任何上述软件,可直接跳过本步骤。 0.1 Git和Vagrant在卸载时无脑下一步即可。 0.2 Docker卸载后,原安装目录会留存有项目文件夹,建议可修改文件夹名进行备份留存。 ...

2018-09-01 07:55:46

阅读数 558

评论数 0

MySQL txt库文件转储

1、安装MySQL(命令行版) 参考https://blog.csdn.net/yumi6666/article/details/81433761。 如果已安装,请确保记得密码以及能正常进入mysql命令行。检测方法: 在cmd命令行输入: net start mysql 正常情况下会...

2018-08-30 19:39:23

阅读数 104

评论数 0

HADOOP集群安装完成后的设置

验证初始化安装是否成功: 1、启动namenode,在网关验证http://namenode.hostname:50070(如http://hadoop.mini01:50070)是否能正常刷出Jetty页面 namenode机上键入命令: cd $HADOOP_HOME/sbin ha...

2018-08-16 10:24:24

阅读数 246

评论数 0

Hadoop框架无法访问50070端口页面

转载自:http://blog.csdn.net/gingerredjade/article/details/53364682   最近搭建Hadoop伪集群时 ,HDFS文件系统成功格式化,节点启动了,jps也有显示,但http://IP :50070就是访问不了。 困扰很久发现问题仅仅出...

2018-08-15 16:00:49

阅读数 2371

评论数 0

CentOS下的HADOOP集群安装

准备工作: 3台装有CentOS的虚拟机,分别命名为hadoop.mini01/02/03。推荐采用最小安装。 虚拟机上需要安装JDK(JAVA_HOME本文使用 /usr/local/jvm/jdk1.8.0_172) 本地可使用SecureCRT访问以上3台虚拟机 在hadoop.ap...

2018-08-15 15:36:51

阅读数 120

评论数 0

CentOS7 最小化安装后所需做的事

参考https://blog.csdn.net/douzi303569528/article/details/72861954 修改IP和DNS 用虚拟机装CentOS7,使用的NAT的网络模式,为了防止再次启动系统的时候网络IP发生变化,因此设置静态IP和DNS。 由于CentOS是最小化...

2018-08-15 10:00:06

阅读数 443

评论数 0

MySQL 5.7 Community Sever绿色版安装及采坑指南

(以下过程在WIN7和WIN10系统环境下均测试通过) 0、卸载原有的MySQL 参考文章:https://www.cnblogs.com/jpfss/p/6652701.html 1、下载5.7版MySQL 当前5.7.23版下载地址(注意选择32或者64位版本)   2、解压缩...

2018-08-05 20:00:49

阅读数 100

评论数 0

Ubuntu 安装 JDK8 的方法

参考原文:https://www.jb51.net/article/115507.htm 安装环境:WinVM/Ubuntu 18.04/JDK1.8.0_172     原文中的添加ppa源方法,由于该源无法连接(可能被墙)导致方法无法使用,故采用直接官网下载JDK的方式进行安装。   ...

2018-06-09 16:12:19

阅读数 876

评论数 0

提示
确定要删除当前文章?
取消 删除