![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 73
我就算饿死也不做程序员
欢迎关注同名公众号:"我就算饿死也不做程序员"。
交个朋友,一起交流,一起学习,一起进步。
展开
-
Spark在本地环境进行yarn模式的提交
一般来说,spark on yarn是将spark程序的jar包上传至服务器,然后通过spark-submit的方式。但是,相信很多人不是一次性就能写没有bug的spark代码,都有反复调试的需求,那么,上述方式的调试效率就很低了,所以,最好的方法还是能够在本地进行yarn的提交。实现代码废话不多说,先献上代码import org.apache.spark.{SparkConf, SparkContext}class SparkYarn extends Serializable { d原创 2021-02-28 12:45:26 · 1376 阅读 · 1 评论 -
Spark连接Hive,进行Hive数据表的读写操作
基础环境Hadoop安装-1,hadoop安装-2spark安装Hive安装配置将Hive的conf目录下的hive-site-xml文件拷贝到spark的conf目录下;将Hive中的mysql驱动包(mysql-connector-java-8.0.22.jar,根据自己mysql的版本进行选择)也拷贝到spark的jars目录下;spark-shell当完成了上面的步骤之后,在spaek-shell中,就可以访问hive了。import org.apache.spark.sq原创 2021-02-27 10:52:12 · 1744 阅读 · 0 评论 -
关于在你的虚拟机上搭建hadoop集群的详细教程
安装jdk首先,需要安装jdk环境,因为hadoop是由Java编写。rpm -ivh jdk-8u91-linux-x64.rpm默认安装到这个位置:/usr/java/jdk1.8.0_91安装hadoop将你的hadoop进行解压tar –xvf hadoop-2.7.3.tar.gz接着,要告诉hadoop java的位置。进入你hadoop的目录,cd /usr/lo...原创 2019-05-29 21:35:03 · 1034 阅读 · 0 评论 -
Hadoop集群搭建教程(二)
Hadoop集群搭建教程(一)master管理集群在上一篇hadoop集群搭建教程中,启动集群的方式是:需要在每一台节点机器上分别键入启动命令。但是,这样的方法显然很麻烦,而且不人性化,那么我们可以通过master进行统一管理,整个集群一起启动吗?答案显然是肯定的。共享公钥...原创 2019-07-27 13:55:33 · 291 阅读 · 0 评论