hadoop 学习总结
文章平均质量分 51
小可0306
践行
展开
-
spark sql完成jdbc数据源导入hive表,java API实现
1、基础环境 spark on yarn环境已经搭建,通过start-thriftserver.sh --master yarn启动 sparksubmit进程即可 dm数据库; 2、使用jdbc来访问spark,java API实现 2.1 创建datasource、connection、statement代码,这里属于通用代码,使用Druid连接池来创建jdbc连接 /** * 读取druid.properties,并生成datasource */ privat原创 2021-07-09 14:23:50 · 796 阅读 · 0 评论 -
spark sql 创建表时候出现hostName:9000 failed on connection exception:
背景:spark on yarn模式下通过beeline连接spark thriftserver访问spark。 问题:如下图,使用beeline的时候,可以正常切换数据库、显示有多少张表。但是在使用默认数据库(default)的时候出现,如下图所示的问题failed on connection exception: 问题定位: (1)从异常出发,排除了防火墙的原因; (2)进入问题节点:使用netstat -nltp | grep 9000,发现该节点就没有进程监听9000端口。 另外当前的ha原创 2021-07-01 18:49:29 · 530 阅读 · 0 评论 -
hadoop 生态圈详解
https://blog.csdn.net/HadoopInChina/article/details/80239878学习和使用hadoop有2年了,这里主要分享一下对hadoop整体上的理解,分门别类的介绍一下相关组件,最后提供了建议的学习路线,希望对hadoop的初学者有参考作用。前面的是拷贝过来的,后面有自己的工作内容分享给大家。 1. Hadoop核心件组有哪些? 广义hado...转载 2018-05-10 11:26:40 · 788 阅读 · 0 评论