- 博客(7)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 Hadoop & Spark 集群搭建 理念思想
版本信息：Centos7 + Hadoop 2.7.2 + Spark 1.6.2 + Scala 2.11.8 前言断断续续吭哧吭哧了好几天，终于搞定了Hadoop集群三种模式的搭建，以及Spark+Hadoop集群的搭建，使用的都是最新（稳定）版本，除了官网，网上几乎没有现成资料，也因此遇到很多大大小小的坑，使劲吭哧吭哧，终于都吭哧着爬了出来。安装过程中，顺便把安装详细步骤总结出来，强烈建议按顺
2016-07-17 10:16:34
2526
原创 Python 内建函数小结
Python 3.5.1 Anaconda 4.0.0 (64-bit) Python 内置函数 abs abs(x)：返回x的绝对值，若是复数，则返回其大小 In [67]: abs(complex(3, 4)) Out[67]: 5.0all & any all(iterable)：当iterable里所有元素都是True时才返回True，用于判断iterable是否都满足某个条件 (
2016-07-23 16:54:43
678
原创 Spark 1.6.2 + Hadoop 2.7.2 集群搭建
版本信息：Centos7 + Hadoop 2.7.2 + Spark 1.6.2 + Scala 2.11.8 Hadoop + Spark 集群搭建系列文章，建议按顺序参考： Hadoop & Spark 集群搭建 理念思想 Hadoop 2.7.2 集群搭建－预备工作 Hadoop 2.7.2 集群搭建 Spark 1.6.2 + Hadoop 2.7.2 集
2016-07-16 19:39:48
3070
原创 Hadoop 相关命令说明
版本信息: Centos7 + Hadoop 2.7.2 以下命令在 Hadoop 集群搭建一文里会有涉及，现将相关基本命令使用方法汇总如下。hadoop hadoop distcp : 并行复制文件或文件夹 hadoop jar : 运行一个 jar 文件 hadoop classname : 运行一个名字为 classname 的类 hadoop fs : Ha
2016-07-16 16:44:49
698
原创 Hadoop 2.7.2 集群搭建
版本信息：Centos7 + Hadoop 2.7.2 Hadoop + Spark 集群搭建系列文章，建议按顺序参考： Hadoop & Spark 集群搭建 理念思想 Hadoop 2.7.2 集群搭建－预备工作 Hadoop 2.7.2 集群搭建 (不用点了，就是本文) Spark 1.6.2 + Hadoop 2.7.2 集群搭建 Hadoop 共有3种运行
2016-07-14 22:46:53
3300
2
原创 Hadoop 2.7.2 集群搭建－预备工作
版本信息：Centos7 + Hadoop 2.7.2 Hadoop + Spark 集群搭建系列文章，建议按顺序参考： Hadoop & Spark 集群搭建 理念思想 Hadoop 2.7.2 集群搭建－预备工作 (不用点了，就是本文) Hadoop 2.7.2 集群搭建 Spark 1.6.2 + Hadoop 2.7.2 集群搭建 一般设置Hadoop集群最
2016-07-14 14:06:55
965
原创 /etc/profile和~/.bash_profile等文件的区别和联系
本文系统环境：Centos7 /etc/profile和~/.bash_profile等文件的区别和联系对比说明 /etc/profile：为系统的每个用户设置环境信息和启动程序，当用户第一次登录时，该文件被执行，其配置对所有登录的用户都有效。当被修改时，必须重启才会生效。英文描述：”System wide environment and startup programs, for login
2016-07-10 15:45:01
3738
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人