- 博客(4)
- 收藏
- 关注
RSS订阅转载 Windows中配置hadoop开发环境
本文适用的场景为在window环境中做开发，然后将完成的程序打包上床至Linux中的hadoop集群中进行运行，当然也可以直接在Windows中采用模拟单机运行。所用工具：hadoop部署包（hadoop-2.7.1） hadoop源码包（hadoop-2.7.1-src） eclipse eclipse hadoop插件 Java：jdk1.8（Windows和Linux Jav...
2018-12-31 17:06:38
406
转载 使用Linux虚拟机搭建hadoop全分布式集群（非HA）
首先声明，此内容是观看了尚学堂大数据课程视频，对其知识点的总结，并非本人的原创 此教程是搭建非HA的hadoop全分布式集群，HA和非HA集群对于个人学习HDFS、map reduce和hadoop相关组件几乎没有什么影响，但是HA的相关知识及配置步骤还是需要掌握的。HDFS和yarn的HA搭建HDFS和yarn的HA搭建。机器环境配置说明：Linux版本：CentOS 6.5 ...
2018-12-23 19:12:22
378
转载 utf-8编码的txt文件,第一行编码标识符处理问题
今天在使用python读取utf-8编码的txt文件时，发现第一行读取的字符串比后面的字符串长度多1，最后查阅资料发现是由于utf-8编码的TXT文件在第一行会自动添加一个编码标识符，因此在使用open读取时，需要进行处理，encoding参数需要按如下设置open(filename, 'r', encoding="utf-8-sig")原文地址：https://blog.csdn.ne...
2018-10-15 20:03:37
977
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人