大数据
文章平均质量分 87
Baldwin_KeepMind
共和国十一点钟的太阳,头发乌黑茂密的程序员,沉迷于技术,2006年时代周刊人物,2008年感动中国组委会特别奖获得者
展开
-
大数据Hadoop视频教程
链接:https://pan.baidu.com/s/1luPebI04MmNjApIrws2x7w 密码:237v链接失效加我qq1240594179还有其他教程,不要钱,只想找人一起交流学习原创 2018-09-24 00:06:09 · 4584 阅读 · 0 评论 -
(13)Permission denied: sending signal to server
linux上运行httpd的时候被禁止向服务器发送信号reload一次配置文件即可解决问题在操作httpd之前执行service httpd reload #重新加载配置文件问题解决 笔记:养成在编辑配置文件后生效/重载配置文件的习惯source 配置文件...原创 2018-10-03 15:17:30 · 4150 阅读 · 0 评论 -
Reduce join时报错Exception in thread "main" java.lang.NullPointerException
本文仅是此错误的一种特例情况,与一般空指针错误不同,所以写出来为大家作为参考我做reduce join实验时,第一次运行程序没有出错,但是重复运行时却出现以下错误问题就是下图中我们在第一次运行程序时产生的out5文件夹,reduce join默认处理的是文件,你在其指向的文件夹下放入文件夹,他就无法处理了 解决问题的方法就是删除这个文件夹 问题解决...原创 2018-10-19 16:43:07 · 3713 阅读 · 0 评论 -
Hadoop处理文本文件,接受文件数组下标越界的特殊情况
今天在使用Hadoop分析文件时,莫名其妙出现了数组下标越界报错。在接受到行数据后将行拆分为数组,数组元素可以正常打印,但是控制台报下标越界,try环绕后仍然报错,但是程序可以正常跑完。检查了很多遍,程序都是没有问题的,于是将故障区锁定在文件本身,检查文件的格式没有错误,无意往下翻动忽然发现有几行空白行的存在,删除,问题解决...原创 2018-10-22 21:24:35 · 4484 阅读 · 0 评论 -
某组件无法启动排错特殊思路
下午启动hive的时候无法启动,没有任何报错,也没有任何反应,命令行直接跳到下一行排查配置文件:都是原来的配置,发生错误未修改配置排查后也未发现错误排查环境变量:因为直接在hive/bin下启动,所以肯定不是环境变量的问题采用/bin/bash执行:直接执行,发现还是没有反应,此时就大致可以确定是启动文件的问题了查看启动文件,发现是空白文件(不知道哪里错误导致)将解压安装包,将...原创 2018-10-25 16:38:41 · 3550 阅读 · 0 评论 -
大数据组件常用端口总结(不断更新)
一、常用端口下表转载地址:https://www.cnblogs.com/jancco/p/4447756.html在此感谢前辈总结以下标红内容或需多加注意(水平有限,欢迎指正) 组件 节点 默认端口 配置 用途说明 HDFS DataNode 50010 dfs.datanode...原创 2018-11-09 09:07:24 · 4595 阅读 · 1 评论 -
大数据各组件常用命令笔记(不断更新)
目录 Flume:zokeeper:hive (启动hive必须先启动hdfs和yarn):HBASE :kafka:storm:spark:Flume:启动agentflume-ng agent -n a1 -c conf -f conf/myconf/exec.conf -Dflume.root.logger=INFO,consolebin/...原创 2018-11-02 13:03:08 · 3783 阅读 · 2 评论