XY_2017ChaseDream的博客

原创 hadoop distcp同步工具使用

日常记录：hadoop distcp数据据同步： 注意事项： 1、为避免集群带宽被全部占用，进而影响其他线上服务，在做数据迁移时应该限制占用带宽； 2、为了避免失败了map影响整体任务的同步，最好忽略失败 性能测试： 命令： hadoop distcp -p -i -m 20 -log dir -updat...

原创 Java操作FastDFS实现文件上传和下载

原创 FastDFS分布式文件系统搭建教程

一、前言随着互联网的发展，软件更新速度越来越快，但是很多博客尽管软件安装的版本随着软件的更新而更新，但是软件的配置一直参考前人的博客而停留在最初版的配置上，可能某一些配置已经随着版本的更新而完善，不再需要做无用功，所以本篇博客配置以本人自己理解的方式进行配置，尽量删除老旧版本中的无用配置文件，能力有限，不完善的地方还请指出来，多谢！1. 新建管理员用户新建虚拟机，安装Centos7...

原创 Hadoop平台搭建与应用

1. 搭建环境准备工作1. VMware虚拟机，下载地址：https://www.vmware.com/products/workstation-pro/workstation-pro-evaluation.html2. Centos7 系统，下载地址：http://mirrors.shu.edu.cn/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-170...