大数据开发
主要包含大数据开发相关知识
「已注销」
这个作者很懒,什么都没留下…
展开
-
Hadoop Connection refused: no further information
我是在腾讯云的服务器上配置的Hadoop,本地用Java API调用的时候报错,确认不是防火墙的问题。解决:修改core-site.xml修改fs.defaultFS的配置,将localhost改为你服务器的内网IP地址,云服务也是一样,改内网地址,不是外网地址!!!<property> <name>fs.defaultFS</name>...原创 2020-04-17 11:56:16 · 393 阅读 · 0 评论 -
YARN部署
Configure parameters as followscp mapred-site.xml.template mapred-site.xmletc/hadoop/mapred-site.xmletc/hadoop/yarn-site.xmlReferencehttps://ke.qq.com/course/478249原创 2020-04-11 15:18:07 · 172 阅读 · 0 评论 -
HDFS 启动与停止
1.格式化第一次使用需要格式化bin/hdfs namenode -format2.Start NameNode daemon and DataNode daemonsbin/start-dfs.sh3.停止sbin/stop-dfs.shReferencehttps://ke.qq.com/course/478249...原创 2020-04-11 13:53:09 · 1304 阅读 · 0 评论 -
Hadoop安装与伪分布式配置
1.hadoop cdh下载地址http://archive.cloudera.com/cdh5/cdh/5/2.下载wget http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.15.1.tar.gzReferencehttps://ke.qq.com/course/478304原创 2020-04-11 09:11:08 · 160 阅读 · 0 评论