hadoop
关注
分享
扫一扫
文章平均质量分 78
语旅
在学习中分享经验，使后人少走弯路。
展开
-
hadoop学习之系统选择篇
由于的在windows平台配置hadoop黄金原创 2014-07-29 15:10:28 · 601 阅读 · 0 评论 -
hadoop分布式集群配置之多台机器ssh无密码登录
系统默认没有安装ssh如果直接sudo apt-get install ssh安装，可能会提示没有找到软件包或者软件包过期。如果真的是这样，请尝试下面命令sudo apt-get updatesudo apt-get install ssh系统会自动安装，安装完成后输入ssh localhost，如果提示输入登录密码，说明成功ssh无密码登录输入ssh-原创 2014-08-29 08:54:03 · 734 阅读 · 0 评论 -
hadoop学习之hadoop安装
此篇文章hadoop的安装是基于ubutu13系统的。原创 2014-07-29 15:19:03 · 634 阅读 · 0 评论 -
FastDFS5.05集群安装部署
操作系统：redhat6.5 64位安装用户：root软件环境：安装gcc和make需要安装包：libfastcommon-master.tar.gz和fastdfs-5.05.tar.gz安装后配置文件路径：/etc/fdfs/服务器2台：tracker节点：192.168.10.12storage节点：192.168.10.13安装步骤：原创 2015-02-28 10:01:38 · 1234 阅读 · 0 评论 -
spark1.0.2分布式集群安装
环境配置:安装路径/usr/local/已经搭建好hadoop集群，也可以不用搭建HADOOP集群，搭建HADOOP集群是为了利用HDFS系统版本：ubuntu14.04jdk版本：1.8scala版本：2.11.4hadoop版本：2.2.0附：scala2.11.4的安装方法1.到官网下载scala2.11.4的安装包2.解压安装包到目录/usr/l原创 2014-12-31 16:22:28 · 558 阅读 · 0 评论 -
sqoop1.99.4的安装和使用
一.环境介绍：sqoop版本:1.99.4-hadoop200hadoop版本:hadoop2.2.0安装路径是/usr/local/sqoop二.sqoop1.99.4安装1.解压安装文件到/usr/local/sqoop目录2.修改环境变量 sudo vi /etc/profileexport SQOOP_HOME=/usr/local/sqoop exp原创 2014-12-18 09:40:44 · 2323 阅读 · 2 评论 -
hadoop学习之第一个Map/Reduce程序
写在编程前面：原创 2014-07-30 15:58:50 · 521 阅读 · 0 评论 -
hadoop学习之第二个程序求平均成绩。
上一篇写完了一个程序，我相信很多人都原创 2014-07-31 08:00:34 · 689 阅读 · 0 评论 -
hadoop学习之搭配开发环境
配合eclipse搭配Hadoop的开发环境原创 2014-07-30 08:03:17 · 648 阅读 · 0 评论 -
spark2.x shell 客户端操作sparkSQL
1.客户端启动shell进入spark安装目录bin/spark-shell --master spark://IP:7077 --executor-memory 1g2.scala操作（1）把HDFS上的文件映射为表启动sparkSession对象：val spark = org.apache.spark.sql.SparkSession.builder().原创 2017-01-07 14:04:36 · 4801 阅读 · 0 评论