——Hadoop集群
文章平均质量分 56
张今天
这个作者很懒,什么都没留下…
展开
-
Hadoop搭建之Centos 7.0系统安装
1. 对于centos7.0系统的安装,首先需要下载镜像iso,推荐去官网下载,还有就是写入镜像,这里使用ULtralso,俗称“软通碟”。下面是我下载的镜像和软件连接,分享一下:CentOS-7.0-1406-x86_64-DVD.iso 镜像下载链接:http://pan.baidu.com/s/1kURqkOf 密码:6eyr软通牒 Ultralso(已解压) 下载地原创 2017-10-20 16:44:07 · 513 阅读 · 0 评论 -
hadoop搭建---hadoop启动方式
第一种方式 启动:分别启动HDFS和MapReduce 命令如下:start-dfs.sh start-mapreted.sh 命令如下:stop-dfs.sh stop-mapreted.sh第二种方式(常用的方式) 全部启动或者全部停止 启动: 命令:start-all.sh 启动顺序:NameNode,DateNode,Sec...原创 2018-03-13 19:20:10 · 245 阅读 · 0 评论 -
hadoop开发与调试(Windows10)
Intellij idea 本地开发调试hadoop的方法使用软件的版本信息 Intellij idea版本: 2016.3.2 hadoop版本: 2.6.5 数据集: **Hadoop: The Definitive Guide **(使用《hadoop权威指南》的1901和1902的两年的天气统计的源码实例)附上源码hadoopte...原创 2018-08-01 00:16:16 · 1305 阅读 · 0 评论 -
windows开发hadoop【file permissions : java.io.IOException: (null) entry in command string: null ls -F*】
Error while running command to get file permissions : java.io.IOException: (null) entry in command string: null ls -F关于这个报错提示,在windows开发hadoop程序其输入路径是需要写具体路径(意思就是写到你准备用的数据文件的名称,不是写到input就截止了)的。...原创 2018-08-05 18:54:45 · 10146 阅读 · 0 评论 -
IntelliJ IDEA 如何生成可执行Jar包
首先,你项目工程中有一个在包里写好的主类,如下图所示。借助快捷键 Ctrl+Alt+Shift+SCtrl+Alt+Shift+SCtrl + Alt +Shift + S进入这个页面,并选择ArtifactsArtifactsArtifacts。点击+号,->Jar->From moudles with dependencies..(1)选择你准备打包成Jar...原创 2018-08-05 19:27:56 · 2827 阅读 · 0 评论 -
MapReduce总结【阅读.官方文档】
Inputs and OutputsMapReduce 框架执行<key,Value><key,Value>对。输入job设置为 <key,Value><key,Value>,输出也是&原创 2018-08-10 18:55:21 · 970 阅读 · 0 评论 -
MapReduce 基础算法【单词共现算法】
基本设计设有一个英文语句:wearenotwhatwewanttobebutatleastwearenotwhatweusedtobe.wearenotwhatwewanttobebutatleastwearenotwhatweusedtobe.we\; are\; not\; what \; we\; want\; to\; be\; but\; at \; least\; ...原创 2018-08-11 16:22:56 · 1886 阅读 · 0 评论 -
MapReduce 基础算法【PageRank网页排名算法】
SD原创 2018-08-12 19:37:16 · 1351 阅读 · 0 评论 -
MapReduce 基础算法【矩阵乘法】
1. 矩阵乘法原理和实现思路对于任意矩阵MMM和NNN,若矩阵MMM的列数等于矩阵NNN的行数,则记MMM和NNN的乘积P=M⋅NP=M⋅NP=M \cdot N。其中mijmijm_{ij}记作矩阵MMM的第iii行第jjj列的元素,njknjkn_{jk}记作矩阵NNN的第jjj行第kkk列的元素,则其乘积矩阵PPP的元素可由下式求得: pik=(M⋅N)ik=∑jmijnjkpik=(...原创 2018-08-15 11:54:48 · 2917 阅读 · 0 评论 -
MapReduce 基础算法【关系代数运算】
关系代数运算MapReduce可以在关系代数的运算上发挥重要的作用,因为关系代数运算具有数据相关性低的特性,这使得其便于进行MapReduce的并行化算法设计。常见的关系代数运算包括选择、投影、并、交、差以及自然连接操作,都可以十分容易利用MapReduce来进行并行化。选择操作对于关系RRR应用条件CCC,例如:查询分数大于90分的学生。我们只需要在Map阶段对于每个输入的记...原创 2018-08-16 17:39:10 · 4227 阅读 · 2 评论 -
执行stop-dfs.sh后无法停止hadoop集群【hadoop】
错误情况:Stopping namenodes on [master]master: no namenode to stopslave1: no datanode to stopslave2: no datanode to stopslave3: no datanode to stopStopping secondary namenodes3. 原因分析执行stop-dfs.sh...原创 2018-11-12 20:51:08 · 3161 阅读 · 0 评论 -
hadoop搭建--所有datanode信息为0,live nodes 为0;
—————hadoop搭建–所有datanode信息为0,live nodes 为0怎么办??? 当hadoop配置完成后,然后使用启动命令启动集群,打开50070和8088网页后,发现没有任何信息,50070页面显示为这个样子。输入下面命令, [root@dev9106 bin]# ./hadoop dfsadmin -report 显示 Config...原创 2018-03-13 19:11:55 · 3657 阅读 · 2 评论 -
Centos安装引导出错(Fast TSC calibration failed)
hadoop 平台的搭建基本完成,但当有次重新装机器时出现这种错误,困扰了好几天,百度了好多博文,最终找到一个比较靠谱的博客。由于使用U盘刻录安装的方式安装的Centos7.0 ,前几次安装后一直进不去安装界面,以为是镜像或着是u盘的问题,但换了U盘和镜像之后,问题还是没有解决,后来看到一个博文试了一下,竟然进入安装界面了。以下作为总结: 一般插入U盘后,然后开机出现下边三行: 1、Inst原创 2017-12-06 19:04:53 · 15390 阅读 · 0 评论 -
hadoop搭建之jdk安装
----- 安装jdk; 目前的集群中包括4个节点:一个主节点,3个从节点,节点之间局域王连杰,可以互相通信,节点的ip地址分布如下:节点ip分布节点 机器分布 ip地址主节点master.hadoop172.21.3.73从节点Slave1.HadoopSlave原创 2017-10-22 09:29:34 · 612 阅读 · 0 评论 -
hadoop搭建之网络配置
把各个节点的主机名称修改成和预期的名称保持一致 命令【vim /etc/hostname】, 键盘的按键 insert 按下之后就可以进行编辑了, 编辑完成后 ,按Esc :qw,代表保存退出。 配置hosts(是各个节点之间可以形成映射的关键) 命令【vim /etc/hosts原创 2017-10-22 10:51:22 · 3447 阅读 · 0 评论 -
hadoop搭建之ssh配置
1, 实现无密码公钥认证的目的是为了使Slave无密码链接(DATa Node | Tasktracker)服务器达成共识:2, 检查是否安装ssh和rsync服务(一般情况下是有的,若没有的话,可通过 命令【yum install ssh 】安装ssh协议,命令【yum install rsync】 rsync:远程数据同步工具,可以通过LAN/WAN 快速同步多台 主机间同步多台原创 2017-10-22 11:06:17 · 1959 阅读 · 0 评论 -
hadoop搭建之jdk安装【问题】
centos 7.0 的防火墙的关闭有利于hadoop的搭建,可以使网络的问题出现少很多。原创 2017-10-22 10:36:11 · 3555 阅读 · 0 评论 -
hadoop搭建之hadoop安装
1.下载hadoop ,推荐去官网下载:请点击 官网地址(我下载的是2.6.5版本的)2,把它进行拷贝到linux中;3,在usr下解压其压缩文件 命令【tar -zxvf +文件名】4,删除压缩包命令【rm -rf +文件名】5,将解压后的文件改名为“hadoop”命令【mv +旧文件名+hadoop】6,根据hado原创 2017-10-23 12:24:05 · 257 阅读 · 0 评论 -
hadoop搭建之linux下su命令报错 cannot set groups Operation not operation not permitted !
linux下su命令报错 cannot set groups Operation not operation not permitted !1,命令【su】 鉴定故障 (1)第一种可能是你的密码真的输入错误; (2)尽管密码输入的对,也一直报这样的错误,查看 /etc/passwd 和/etc/shadow权限 命令【原创 2017-10-23 19:26:36 · 2606 阅读 · 0 评论 -
hadoop搭建之ssh:connect to host XXXX port 22:Connection timed out!【问题】
ssh:connect to host XXXX port 22:Connection timed out! 对于本问题的解决需要检查下面的配置: 防火墙问题 【详细请点击这里】 检查节点的配置的映射关系是否出错了【是否和预期的设置相同】 ifconfig 检查节点的ip 是否发生了改变!原创 2017-10-23 13:22:06 · 10275 阅读 · 1 评论 -
hadoop搭建 之 Pression denied!【问题】
1,关于此问题,有可能出现在配置ssh时,当主机所承认的分节点被存储在know_hosts中,如果分节点再重新装机配置ssh时,会发生共识isa_public的冲突,所以需要把know_hosts中的那个分节点的信息删除就可以了。2,在开启hadoop 时也会出出现,记得我第一次配置时,没有好好利用ssh无密码登录的便捷方式,所以每次打开一个节点的进程时,都要输入一次密码;啊·····原创 2017-10-23 19:09:07 · 491 阅读 · 0 评论 -
hadoop 搭建之环境变量设置(/etc/bashrc)【问题】
环境变量的设置 起初,看着虾皮的hadoop文件开始hadoop的旅程的,但发现其中有许多的命令在centos7.0中是不可行的,,开始一直以为配置环境变量只要在/etc/profile中配置就可以了,但当hadoop配置的差不多了,发现启动hadoop时,必须在sbin的文件目录执行hadoop的启动命令才可以。 然后就一直关注这个问题,直到看到一个博客才知道,还有一原创 2017-10-23 19:42:48 · 4321 阅读 · 0 评论 -
hadoop搭建之静态ip配置
1,开始时为了保证ip不发生改变,所以为了解决必要的麻烦,设置了静态ip2,编辑ifup-eno1命令【vim /etc/sysconfig/network-scripts/ifup-eno1】配置内容如下:(主要看红色的)DEVICE=eth0 //设备名称,不要修改BOOTPROTO=staticBROADCAST=10.10.22.255 //广播原创 2017-10-23 20:04:57 · 3078 阅读 · 0 评论 -
Hadoop 2.6.x启动出现:no databode to stop 错误
产生错误的原因:Hadoop启动后的PID文件的默认配置是保存在/tmp 目录下的,而linux下 /tmp 目录会定时清理,所以在集群运行一段时间后如果在输入start-all.sh,出现no datanode to stop的错误提示,所以我们最好在配置文件中修改以下PID的默认保存路径。Hadoop修改Hdfs: hadoop-env.sh(增加或修改修改为你想存放的路径)expo...原创 2018-11-12 21:05:04 · 208 阅读 · 0 评论