Hadoop大数据学习
xiakexiaohu
阿里、快手、网易内推,需要私聊~
展开
-
Ubuntu环境下安装JDK报错error processing archive
小编照着视频网站学习hadoop 安装JDK(命令为:sudo apt install openjdk-9-jdk)时报错:如下dpkg: error processing archive /var/cache/apt/archives/openjdk-9-jdk_9~b114-0ubuntu1_i386.deb (--unpack):直接蒙圈了,反正就是无法安装javac。终于在百度上找原创 2016-10-26 20:41:07 · 7215 阅读 · 2 评论 -
用Redis Desktop Manager连接Redis(CentOS)
Redis Desktop Manager是Redis图形化管理工具,方便管理人员更方便直观地管理Redis数据。然而在使用Redis Desktop Manager之前,有几个要素需要注意:一、注释redis.conf文件中的:bind 127.0.0.1(在一段文字之前打#号为注释) 二、设置Redis密码。在设置密码之前,首先要开启服务端,然后再用客户转载 2017-07-24 21:47:06 · 653 阅读 · 0 评论 -
Server Tomcat v9.0 Server at localhost failed to start.
同构eclipse编写web项目,遇到tomcat无法启动。如下图: 百度各种原因,最后发现是因为servlet3.0后的版本出现了新增注释@WebvServlet功能,会在我们生成一个servlet类时自动增加@WebServlet,导致和配置web.xml产生冲突,tomcat无法启动。 解决办法: 1:删除servlet类的注释@WebServlet,在web.xml中编写配置,或者删除原创 2017-07-20 15:02:34 · 3729 阅读 · 0 评论 -
java.io.IOException: Got error, status message , ack with firstBadLink as 192.168.*.* 50010
关闭DataNode的服务器的防火墙即可,命令如下: $ systemctl stop firewalld.service$ systemctl disable firewalld.service原创 2017-04-06 21:13:50 · 9636 阅读 · 0 评论 -
-bash: start-all.sh: 未找到命令
解决方案:以root权限进入,找到hadoop安装的目录,进入sbin目录下输入命令#start-all.sh出现错误:-bash: start-all.sh: 未找到命令百度了下原因:原来需要输入:#sh start-all.sh搞定!!!原创 2017-01-11 11:27:46 · 36839 阅读 · 10 评论 -
MapReduce job运行的几种模式
1、在eclipse中开发好mr程序(windows或linux下都可以),然后打成jar包(wc.jar),上传到服务器 执行命令 hadoop jar wc.jar cn.itheima.hadoop.MainClassRunner 这种方式会将这个job提交到yarn集群上去运行 2、在Linux的eclipse中直接启动R原创 2017-04-18 10:28:26 · 779 阅读 · 0 评论 -
eclipse远程上传hdfs文件报错
在windows下使用eclipse远程上传至linux下的hdfs文件系统报错:org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security.AccessControlException: Permission denied: user=cmaster, access=WRITE,inode="原创 2017-04-12 11:37:57 · 1464 阅读 · 0 评论 -
eclipse远程连接Hadoop
关于Hadoop环境搭建可参照本人之前写的文章:Centosmini配置hadoop2.7.3废话不多说,直接上干货。前期准备: hadoop-2.7.3.tar.gz (因为linux上配置的hadoop版本就2.7.3,所以图方便就继续用了) hadoop-eclipse-plugin.zip (hadoop2.7.3插件压缩包,里面有后面需要用到的winti原创 2017-04-09 21:17:10 · 4714 阅读 · 0 评论 -
Hadoop集群启动常见异常
1、hadoop节点的本地工作目录访问异常(权限)sudo chown -R administor:administor dfs/2、namenode处于安全模式,导致无法上传数据namenode在刚刚启动的时候处于安全模式不一定是异常,但是如果启动完成之后一直不退出安全模式,就有问题,可以用以下指令尝试手动退出 hdfs namenode -safemode原创 2017-04-08 21:43:21 · 1100 阅读 · 0 评论 -
hadoop自带示例wordcount
1.首先确认你的hadoop启动了。master与slave启动方式相同,进入hadoop目录下的sbin目录,命令:$cd /home/hadoop/hadoop/sbin (根据个人安装的hadoop目录调整)启动hadoop:(1)$./start-dfs.sh (2)$./start-yarn.sh启动后的效果如图:master如图1,slave如图2图1图2原创 2017-01-17 22:18:11 · 25749 阅读 · 16 评论 -
Hadoop shell常用命令
cat使用方法:Hadoop fs -cat URI [URI …] 将路径指定文件的内容输出到stdout。示例:• hadoop fs -cat hdfs://host1:port1/file1 hdfs://host2:port2/file2• hadoop fs -cat file:///file3 /user/hadoop/file4返回值: 成功返回0,失败返回-1原创 2017-01-16 22:15:49 · 337 阅读 · 0 评论 -
CentOS7mini配置hadoop2.7
CentOs7mini 配置2.7Hadoop教程 1.准备环境 该配置为VMware10+CentOS7mini+jdk+hadoop-2.7(ps:hadoop2.7需要64位的jdk和CentOS版本了),由于小编主要用来学hadoop就用CentOS7mini(600M+)版本了(如果需要深入了解的童鞋可以下载4G大小的那个DVD版本的CentOS7),另外强势原创 2017-01-09 20:52:39 · 1856 阅读 · 0 评论 -
hadoop fs -mkdir 报错 No such file or directory
问题:$hadoop fs -mkdir /home/hadoop/hadoop/input(版本 hadoop 2-7-3)报错:mkdir '/home/hadoop/hadoop/input' No such file or directory解决方案:$hadoop fs -mkdir -p /home/hadoop/hadoo/input原创 2017-01-16 15:59:03 · 11917 阅读 · 3 评论 -
SSH免密码设置
ps:本SSH配置主要在CentOS设置,可能因Linux版本有所差异。小编用SSH免密码配置Hadoop伪分布。(1)在Master主机上设置生成密钥对,执行如下命令:#ssh-keygen -t rsa//注意ssh和-keygen直接没有空格然后一直按【Enter】键,就会按照默认的选项将生成的密钥对保存在.ssh/id_rsa文件中。(2)将id_rsa复制进a原创 2017-01-11 14:53:33 · 367 阅读 · 0 评论 -
CentOS配置Redis
1、Redis的介绍、安装、配置、启动流程1.1、Redis 特征简介Redis是Remote Dictionary Server的缩写。他本质上一个Key/Value数据库,与Memcached类似的NoSQL型数据库,但是他的数据可以持久化的保存在磁盘上,解决了服务重启后数据不丢失的问题,他的值可以是string(字符串)、list(列表)、sets(集合)或者是ordered sets(被排序原创 2017-07-24 18:49:59 · 163 阅读 · 0 评论