HDFS
文章平均质量分 59
翱翔的江鸟
转行萌新学习中
github地址:https://github.com/wxfghy
展开
-
Sqoop导入导出MySQL与HDFS数据
1. CentOS7环境下安装sqoop下载地址, 这里选择1.4.7版本sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz http://archive.apache.org/dist/sqoop/1.4.7/传输到linux中,解压缩修改系统环境变量/etc/profile, 添加sqoop/bin, 同时确保export HADOOP_HOME进入sqoo...原创 2018-06-13 17:05:30 · 2879 阅读 · 0 评论 -
windows7下java代码从远程hadoop服务上下载文件
1. 在windows7下无法下载远程hdfs服务上的文件1. 问题原因hadoop官方不支持windows平台,没有windows版本的hadoop,想在windows上运行hadoop很麻烦官方下载的hadoop安装包中缺少两个文件hadoop.dll和winutils.exe,用于支持windows2. 解决方法下载hadoop安装包并解压缩到windows硬盘中,可...原创 2018-05-25 13:28:03 · 1482 阅读 · 0 评论 -
HDFS特性和常用功能
1. 官方文档:http://hadoop.apache.org/docs/r2.9.1/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html2. 概念:Hadoop Distributed File System Hadoop的分布式文件系统3. 基本特点:高容错性,部署在低廉的硬件上,高吞吐量,适用于海量数据的可靠性存储和...原创 2018-05-24 10:21:39 · 5473 阅读 · 0 评论 -
Python连接HDFS实现文件上传下载及Pandas转换文本文件到CSV
1. 目标通过hadoop hive或spark等数据计算框架完成数据清洗后的数据在HDFS上爬虫和机器学习在Python中容易实现在Linux环境下编写Python没有pyCharm便利需要建立Python与HDFS的读写通道2. 实现安装Python模块pyhdfs版本:Python3.6, hadoop 2.9读文件代码如下from pyhdfs ...原创 2018-07-06 14:58:38 · 10415 阅读 · 0 评论