- 博客(5)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 hadoop与java客户端编程
开发前准备工作在windows开发环境中做一些准备工作，因为Hadoop是适用于Linux操作系统上的，所以下载的开发包也是按照Linux系统编译的，因此，要在window下开发，需要下载源码包，使用windows进行编译。否则在使用某些功能时会提示找不到HADOOP_HOME,winutils.exe等。这里有一份已经编译的精简的windows版本（约3M左右，只保留了一些必须的功能）。链接...
2019-05-30 01:14:14
1591
原创 hdfs客户端操作
客户端的理解hdfs的客户端有多种形式：网页形式 命令行形式 客户端在哪里运行，没有约束，只要运行客户端的机器能够跟hdfs集群联网文件的切块大小和存储的副本数量，都是由客户端决定！所谓的由客户端决定，是通过配置参数来定的hdfs的客户端会读以下两个参数，来决定切块大小、副本数量：切块大小的参数： dfs.blocksize副本数量的参数： dfs.replic...
2019-05-30 00:08:53
176
原创 SSH使用主机名免密登录以及异常解释
前提：已经完成主机名和IP地址映射，未完成的请在/etc/hosts下修改，并且三台主机上均有用户ws情景假设：现在我有三台主机，主机名分别是node1、node2、node3，现在我需要设置node1到node2和node3之间的免密登录，例如这样：ssh node2 便可以登录node2主机步骤一：三台主机上分别生成ssh秘钥，即在三台主机上分别执行下列代码一次，一直回车即可ssh-ke...
2019-05-27 22:14:03
1723
原创 hadoop-hdfs集群详细安装步骤
安装hdfs集群的具体步骤：一、首先需要准备N台linux服务器学习阶段，用虚拟机即可！先准备3台虚拟机：1个namenode节点 + 2 个datanode 节点二、修改各台机器的主机名和ip地址主机名：node1 对应的ip地址：192.168.223.11主机名：node2 对应的ip地址：192.168.223.12主机名：node3 对应的ip...
2019-05-27 21:38:35
2484
1
原创 spark集群安装
机器部署准备两台以上的Linux服务器，我这里准备了5台服务器，集群思路大致如下：其中Zookeper是可选项，下载spark安装包配置spark进入到Spark安装目录cd /home/ws/bigdata/spark-2.3.3-bin-hadoop2.7/进入conf目录并重命名并修改spark-env.sh.template文件cd conf/mv spa...
2019-05-26 10:59:26
194
iris数据集免费下载
2018-11-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人