大数据生态圈
大数据时代,探索大数据
xianxing.tang
自强不息,厚德载物
展开
-
Azkaban启动服务完成后浏览器访问8443端口出错
1. 启动Azkaban服务的顺序是先启动executor server服务,再启动web server服务。启动完成后,输入jps,出现如下截图所示:2.然后我在谷歌浏览器中输入:hadoop101:8443,但是连接不上,Linux服务器报错,错误如下:百度上没有找到错误发生的原因。然后我在谷歌浏览器地址里输入:https://hadoop101:8443,然后就正确了。也就是说,开启Azkaban服务后,第一次访问时必须在主机名前面加上https...原创 2020-12-20 20:51:59 · 1864 阅读 · 1 评论 -
Hadoop分发脚本之xsync
xsync分发脚本基于rsync工具,rsync 远程同步工具,主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点,它只是拷贝文件不同的部分,因而减少了网络负担。rsync -rvl $pdir/$fname $user@hadoop$host:$pdir常用参数:-r, –recursive 对子目录以递归模式处理-R, –relative 使用相对路径信息-l, –links 保留软链结-v, –verbose 详细模式输出,传输过程可见…在/usr/local/bi原创 2020-05-11 19:44:27 · 333 阅读 · 0 评论 -
星环分析型数据库Inceptor中database link的使用总结
1. 查看数据库中所有的database linkSHOW DATABASE LINKS;2.描述database linkDESC DATABASE LINK mysql_iqm_3_81_test;3.创建database linkCREATE DATABASE LINK mysql_81_jrwdCONNECT TO root IDENTIFIED BY 'root...原创 2020-05-06 16:44:57 · 2841 阅读 · 0 评论 -
运行hadoop案例wordcount报错:Stack trace: ExitCodeException exitCode=1:
1.问题描述,在运行hadoop案例wordcount案例时,程序报错截图如下:2.解决方案:查看mapred-site.xml文件将文件中的主机名hadoop1全部改为hadoop101(我之前改了主机名)重新运行指令,结果正确了...原创 2020-04-27 18:11:43 · 913 阅读 · 0 评论 -
操作集群将测试文件内容上传到HDFS上时卡死的原因分析及解决方案
1. 在HDFS文件系统上创建一个input文件夹[root@hadoop101 hadoop-2.7.2]$ bin/hdfs dfs -mkdir -p /user/atguigu/input2.将测试文件内容上传到文件系统上3.出现如下截图卡死现象:4.解决方案启动yarn资源调度器再次执行第2步的命令,出现如下截图所示:成功。...原创 2020-04-27 15:10:45 · 860 阅读 · 1 评论 -
伪分布式运行模式下启动数据节点(datanode)失败的原因分析及解决方案
1. 进入到目录/opt/module/hadoop-2.7.2,然后启动名称节点(namenode)和数据节点(datanode):2.查看是否启动成功,结果出现了如下截图所示的内容:即,数据节点启动失败,为什么会出现这种现象呢?于是我查看了启动日志,日志所在的路径为:/opt/module/hadoop-2.7.2/logs/hadoop-root-datanode-had...原创 2020-04-27 14:47:03 · 894 阅读 · 0 评论