- 博客(4)
- 资源 (4)
- 收藏
- 关注
原创 ftp提取文件到hdfs
ftp提取文件到hdfs实际场景中,我们经常需要通过ftp协议把不同数据源的文件统一汇入到hdfs数据中心,经过实践,有以下的三种方法,分别列出其优缺点及适用场景。一、先把文件ftp到本地,然后用命令上传到HDFSHDFS上传命名hdfs dfs –put [local_path] [hdfs_path]优点:文件在本地可以进行本地化的一系列操作后,再放回hdfs中 ...
2018-02-24 18:21:11 5109
原创 hadoop2.7.3完全分布式集群搭建
hadoop2.7.3完全分布式集群搭建系统及软件配置: Centos 7 jdk-8u131-linux-x64.tar.gz hadoop2.7.3 节点: spark1(192.168.6.137) spark2(192.168.6.138) spark3(192.168.6.139)
2018-02-08 22:40:59 359
原创 vmware虚拟机安装Centos7
vmware虚拟机安装ceontos7用到的软件vmware centos7 minmal 版1.在vmware中创建新的虚拟机2.选择典型安装即可3.选择稍后安装操作系统4.选择Linux和centos 64位5.输入虚拟机名称和选择虚拟机存放位置6.设定磁盘大小,并选择将磁盘存储为单个文件7.配置自定义硬
2018-02-06 19:16:36 1360 2
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人