Hadoop
抿一口可乐
这个作者很懒,什么都没留下…
展开
-
配置Windows下Hadoop环境
在windows系统需要配置hadoop运行环境,否则直接运行代码会出现以下问题:Could not locate executable null\bin\winutils.exe in the hadoop binaries原因: 缺少winutils.exeUnable to load native-hadoop library for your platform..using bui...原创 2020-03-27 16:27:28 · 1670 阅读 · 2 评论 -
Hadoop集群搭建
Hadoop集群搭建记得完成hadoop的搭建:https://blog.csdn.net/liu1340308350/article/details/105135800hadoop集群搭建:也就是要修改以下文件修改方法1.使用sublime文件配置方法:https://blog.csdn.net/liu1340308350/article/details/1051396692...原创 2020-03-27 16:15:09 · 456 阅读 · 0 评论 -
hdfs命令大全
http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/FileSystemShell.html原创 2020-03-27 16:13:08 · 135 阅读 · 0 评论 -
hadoop常用命令
关闭HDFS:stop-dfs.sh关闭YARN:stop-yarn.sh启动HDFS:start-dfs.sh启动YARN:start-yarn.sh启动历史服务器:mr-jobhistory-daemon.sh start historyserver原创 2020-03-27 15:56:46 · 219 阅读 · 0 评论 -
hadoop集群搭建常见错误
常见错误及解决方案1.防火墙没关闭、或者没有启动YARN*INFO client.RMProxy: Connecting to ResourceManager at hadoop02/192.168.200.135:8032*2.主机名称配置错误3.IP地址配置错误4.ssh没有配置好5.多用户启动集群不统一6.配置文件修改不细心7.未编译源码*Unable to load n...原创 2020-03-27 15:43:34 · 468 阅读 · 0 评论 -
sublime Text3 配置SFTP
1.下载SFTP链接: https://pan.baidu.com/s/1l5xy3cODvC9J5Dr6qd-B8g提取码: yusc2.解压之后,放入插件目录3.安装配置SFTP输入服务端地址,账号,密码,所对应的文件夹4.新建一个文件夹,当项目目录配置项目参数可以选择自动保存并上传5.把项目download到本地6.输入注册码,防止不断提示交钱输入{“email”...原创 2020-03-27 16:33:31 · 734 阅读 · 0 评论 -
Hadoop运行环境搭建
电脑配置要求:内存:最低8G,最好16G以上硬盘:预留100G,实际上不妨数据大概不会超过20G系统环境:Windows环境:Windows10Linux环境:CentOS-6.10-x86_64-bin-DVD1VMware:15.5.0 build-14665864检查是否开启虚拟机安装Linux1.选择自定义2.下一步3.稍后安装操作系统4.选择Linux 版...原创 2020-03-27 13:24:17 · 895 阅读 · 3 评论