hadoop开发
文章平均质量分 84
shursulei
个人github:https://github.com/shursulei/
展开
-
hadoop的调度
转载自:连接地址 连接地址 在Hadoop系统中,有一个组件非常重要,那就是调度器,它的作用是将系统中空闲的资源按一定策略分配给作业。在Hadoop中,调度器是一个可插拔的模块,用户可以根据自己的实际应用要求设计调度器。如何编写自己的调度器 Hadoop中常见的调度器有三种,分别为: (1)默认的调度器FIFO(先进先出) Hadoop中默认的调度器,它先按照作业的优先级高低,再按照到达时转载 2017-05-04 22:52:24 · 384 阅读 · 0 评论 -
hadoop-企业版环境搭建(一)-环境搭建和hadoop基本配置
一.环境的准备1.date时间同步二.原创 2017-10-06 13:27:02 · 964 阅读 · 0 评论 -
hadoop-企业版环境搭建(二)-HA搭建和zookpeer集群的搭建
开始安装hadoop原创 2017-10-06 18:48:58 · 766 阅读 · 0 评论 -
hadoop-企业版环境搭建(三)-mapreduce和yarn的安装
mapreduce和yarn的安装yarn-site.xml文件的配置<configuration><property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property>##<property> <name>yarn.re原创 2017-10-07 11:53:21 · 320 阅读 · 0 评论 -
hadoop-企业版环境搭建(五)-安装Hive
本地derby和mysql模式的安装(远端模式的安装)一、本地derby模式的安装解压 tar -zxvf apache-hive-1.2.1-bin.tar.gz [root@node1 software]# mv apache-hive-1.2.1-bin /home清空配置文件,配置hive-site.xml文件[root@node1 conf]...原创 2017-10-07 19:06:54 · 442 阅读 · 0 评论 -
hadoop-企业版环境搭建(四)-安装HBase
安装HBase(本地模式和集群模式)一、本地模式的安装 - 解压并移到指定的文件夹[root@node1 software]# mv hbase-1.1.3 /home/配置hbase-env.sh文件export JAVA_HOME=/usr/java/jdk1.7.0_79配置hbase-site.xml文件<configuration><property> <name原创 2017-10-07 13:55:43 · 485 阅读 · 0 评论 -
Please check the configured value for ha.zookeeper.quorum and ensure that ZooKeeper is running.
FATAL ha.ZKFailoverController: Unable to start failover controller. Unable to connect to ZooKeeper quorum at node1:2181,node2:2181,node3:2181. Please check the configured value for ha.zookeeper.quorum原创 2017-10-07 11:03:25 · 2135 阅读 · 0 评论 -
eclipse连接hadoop集群
1、自行编译或者去网上下载相应的插件 hadoop-eclipse-plugin-2.6.0.jar 2、拷贝到eclipse的plugins目录下。重启eclipse,打windows->open perspective->other->map/reduce 可以看到map/reduce开发视图,点击。 3、在Window–>Show View中打开Map/Reduce Locations。转载 2017-05-06 22:49:00 · 603 阅读 · 0 评论 -
Docker-hadoop的伪分布式和集群的搭建
http://tashan10.com/yong-dockerda-jian-hadoopwei-fen-bu-shi-ji-qun/ blog.csdn.net/xu470438000/article/details/50512442 cloud.51cto.com/art/201505/477851.htm 后续的擦作博主正在实验之中,请耐心等待原创 2017-07-04 11:20:48 · 665 阅读 · 0 评论 -
hadoop-ha之Hive
官方地址:http://hive.apache.org/index.html 1、hive的本质的理解是hdfs的客户端 hive:数据仓库(解释器;编译器优化器等) 官方手册:点解这里 https://cwiki.apache.org/confluence/display/Hive/LanguageManual原创 2017-05-07 17:32:16 · 426 阅读 · 0 评论 -
hadoop-cdh搭建
一、前期的环境准备参考地址 1、同步时间[root@CDHnode1 opt]# dateSat May 6 09:42:03 EDT 2017(1)、本地联机进入/usr/share/zoneinfo/Asia[root@CDHnode2 Asia]# cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime cp: overwrite原创 2017-05-06 22:12:16 · 857 阅读 · 0 评论 -
hadoop——关于网络虚拟化
1、三种虚拟网络模式 bridge|host-only|nat 2、关于多设计一个NAT模式进行一个IP地址的分配 - 以管理员的模式打开虚拟机 - 点击->虚拟网络编辑器->选择网络编辑器的NAT模式(添加网络模式) 此处可能与本地的网卡有关,本人因为只有一个网卡,所以没有试验成功,如果有为大神设置好了,求原创 2017-05-05 22:50:00 · 598 阅读 · 0 评论 -
hadoop的克隆注意点
hadoop集群克隆的时候需要注意虚拟机的IP和物理地址一样,在下图的位置进行修改! 1、修改mac的地址 2、修改IP地址:(参考地址)原创 2017-05-05 22:22:41 · 833 阅读 · 0 评论 -
hadoop--flume的安装
一、下载flume 链接:http://www.apache.org/dyn/closer.lua/flume/1.7.0/apache-flume-1.7.0-bin.tar.gz 二、安装flume 1、解压并提取flume的安装包 修改flume,复制flume-env.sh.template成flume-env.sh文件 注意:在root的权限下cp conf/flume-env.原创 2017-01-03 20:43:28 · 539 阅读 · 0 评论 -
大数据——corejava学习笔记
day1 1、ls和ls -a比较:后者比前者显示更多(隐藏的文件) 2、cd ..进入上级目录,cd 回到最初的点,pwd查看路径 3、mkdir d1建立新目录,touch hello.java建新文件,cat hello.java查看文件内容 4、cat /etc/passwd与more /etc/passwd都是,只是后者可以利用空格键帮助浏览暂停 5、grep root /etc原创 2017-01-17 21:55:51 · 564 阅读 · 0 评论 -
hadoop集群搭建
一、前期的准备工作 1、虚拟机的安装和centos的安装(CentOS-7-x86_64-Minimal-1611),读者可自行安装。设置一个管理的账号(master),密码(hadoop) 2、静态ip的设置[master@localhost ~]$ vim /etc/sysconfig/network-scripts/ifcfg-eno16777736 注意:ifcfg-eno1677773原创 2017-04-22 23:13:43 · 625 阅读 · 0 评论 -
MapReduce两种执行环境的搭建和测试
MR执行环境有两种:本地测试环境,服务器环境本地测试环境(windows): 在windows的hadoop目录bin目录有一个winutils.exe 1、在windows下配置hadoop的环境变量 2、拷贝debug工具(winutils.ext)到HADOOP_HOME/bin 3、修改hadoop的源码 ,注意:确保项目的lib需要真实安装的jdk的lib原创 2017-10-14 16:33:48 · 362 阅读 · 0 评论