Big Data
元气少女wuqh
这个作者很懒,什么都没留下…
展开
-
spark学习1——配置hadoop 单机模式并运行WordCount实例(ubuntu14.04 & hadoop 2.6.0)
1. 安装SSH hadoop是采用SSH进行通信的 ,此时要设置密码为空,即不需要密码登陆,免去每次登陆时都要输入密码,当集群较大时该步骤显得尤为重要。 $ sudo apt-get install ssh安装完成后启动服务: $ /etc/init.d/ssh start以下命令验证服务是否正常启动: $ ps -e |grep ssh设置免密原创 2015-11-19 20:55:00 · 531 阅读 · 0 评论 -
hadoop中HDFS文件系统常用命令:
1. 查看Hadoop HDFS支持的所有命令: hadoop fs2. 列出目录及文件信息:hadoop fs –ls3.循环列出目录、子目录及文件信息:hadoop fs –lsr4.将本地文件系统的test.txt复制到HDFS文件系统的/user/sunlightcs目录下:hadoop fs –put test.txt /user/sunlightcs5.将H转载 2015-11-30 19:28:46 · 2055 阅读 · 0 评论 -
ping和ssh设置中遇到的问题——hadoop 集群配置
1. ping不通虚拟机: 把VM对目标虚拟机的【网络适配器】中的【网络链接】设置为【桥接模式】,即勾选桥接模式前的圆形单选框与其子正方形复选框。 设置主机与虚拟机为自动获取ipv4地址。2. ssh虚拟机不成功: 虚拟机命令行:$ sudo ufw allow ssh 即将ssh添加为防火墙信任的规则即可。3. 已成功完成authori...原创 2015-12-01 19:22:45 · 2598 阅读 · 0 评论