hadoop
flyDeDog
这个作者很懒,什么都没留下…
展开
-
hadoop-集群管理——内存设置
hadoop-集群管理——内存设置1.内存hadoop为各个守护进程(namenode,secondarynamenode,jobtracker,datanode,tasktracker)统一分配的内存在hadoop-env.sh中设置,参数为HADOOP_HEAPSIZE,默认为1000M。大部分情况下,这个统一设置的值可能并不适合。例如对于namenode节点,1000M的内存只能存储几百万个文转载 2018-02-26 17:05:53 · 2092 阅读 · 0 评论 -
spark install
视频 https://ke.qq.com/course/238513 centos7: hadoop用户加sudo权限 http://blog.csdn.net/flydedog/article/details/78878630 配置hostname http://blog.csdn.net/flyDeDog/article/details/78883547 安原创 2018-05-23 21:03:36 · 389 阅读 · 0 评论 -
hadoop install
配置机器环境, 可参照 vmware虚拟机安装 及 scp配置 https://blog.csdn.net/flydedog/article/details/79851969 https://blog.csdn.net/flydedog/article/details/78533048 解压安装包 tar -zxf software/hadoop-2.6.5.tar.gz -C ~/app...原创 2018-05-23 21:05:42 · 365 阅读 · 0 评论 -
hadoop_api_demo
准备 配置客户端hosts 关闭防火墙 常用api import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.*; import org.apache.hadoop.fs.permission.FsPermission; import java.io.IOException; import ...原创 2018-05-23 21:06:17 · 210 阅读 · 0 评论 -
mapreduce_demo
准备 配置客户端hosts 关闭防火墙 常用api import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.*; import org.apache.hadoop.fs.permission.FsPermission; import java.io.IOException; import ...原创 2018-05-23 21:06:48 · 278 阅读 · 0 评论