hadoop
文章平均质量分 68
年轻的学子
每天学一点,汇聚成海洋
展开
-
Hadoop作业JVM堆大小设置优化
https://www.cnblogs.com/wangq17/articles/6038406.htmlContainer is running beyond memory limitshttp://stackoverflow.com/questions/21005643/container-is-running-beyond-memory-limits` [hadoop] - Con...翻译 2018-07-24 17:24:52 · 1073 阅读 · 0 评论 -
CentOS7搭建hadoop3.0.3集群
关闭防火墙 查看防火墙状态 firewall-cmd –state 停止firewall systemctl stop firewalld.service 禁止firewall开机启动 systemctl disable firewalld.service .配置主机名 设置主机名 hostnamectl set-hostname hadoop01 查看主机名 hostnam...原创 2018-07-26 15:08:19 · 422 阅读 · 0 评论 -
Docker配置hadoop集群
1、配置网络代理(公司电脑需要设置代理)vi /etc/profilehttp_proxy=ip:porthttps_proxy=$http_proxy2、安装docker3、下载centos镜像docker pull centos4、以centos镜像为基础,配置sshvi Dockerfile-ssh -- 配置ssh====================...原创 2018-12-05 15:39:08 · 376 阅读 · 0 评论 -
Idea连接远程centos操作HDFS
1、 根据配置文件获取HDFS操作对象static { conf = new Configuration(); conf.set("fs.defaultFS", "hdfs://192.168.236.135:9000"); try { fs = FileSystem.get(conf); } catch (...原创 2018-12-11 16:22:43 · 1415 阅读 · 0 评论