spark
浮生若梦1379
这个作者很懒,什么都没留下…
展开
-
cdh5.13启动spark-shell报错
[root@master01 ~]# spark-shellSetting default log level to “WARN”.To adjust logging level use sc.setLogLevel(newLevel).Welcome to____ __/ / ___ / /\ / _ / _ `/ __/ '/// .__/_,// ...原创 2019-05-19 17:41:10 · 1462 阅读 · 0 评论 -
idea开发过程spark运行报权限错误
19/05/20 10:11:44 INFO output.FileOutputCommitter: File Output Committer Algorithm version is 119/05/20 10:11:44 INFO output.FileOutputCommitter: FileOutputCommitter skip cleanup _temporary folders u...原创 2019-05-20 21:42:50 · 1058 阅读 · 0 评论 -
cdh5.13 spark连接hive数据源
修改hive-site.xml 添加 <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://master01:3306/hive?createDatabaseIfNotExist=true</value> <...原创 2019-05-20 21:48:23 · 1847 阅读 · 0 评论 -
spark2
1停掉集群运行/opt/cm-5.13.0/etc/init.d/cloudera-scm-server stop/opt/cm-5.13.0/etc/init.d/cloudera-scm-agent stop2上传jar依赖,修改相应的用户组[root@master01 csd]# pwd/opt/cloudera/csd[root@master01 csd]# lltotal...原创 2019-05-22 10:54:13 · 166 阅读 · 0 评论 -
cdh5.13.0安装spark2.3
1停掉集群运行/opt/cm-5.13.0/etc/init.d/cloudera-scm-server stop/opt/cm-5.13.0/etc/init.d/cloudera-scm-agent stop2上传jar依赖,修改相应的用户组[root@master01 csd]# pwd/opt/cloudera/csd[root@master01 csd]# lltotal...原创 2019-05-22 11:03:16 · 406 阅读 · 0 评论 -
spark参数
val sparkConf = new SparkConf().setAppName(“ThreadReadHbase”).setMaster(“yarn”).set(“spark.executor.instances”, “5”) //设置运算节点个数.set(“spark.driver.memory”, “2g”).set(“spark.executor.memory”, “2g”)....原创 2019-06-03 23:28:34 · 113 阅读 · 0 评论 -
Spark任务提交方式和执行流程
一、Spark中的基本概念(1)Application:表示你的应用程序(2)Driver:表示main()函数,创建SparkContext。由SparkContext负责与ClusterManager通信,进行资源的申请,任务的分配和监控等。程序执行完毕后关闭SparkContext(3)Executor:某个Application运行在Worker节点上的一个进程,该进程负责运行某些t...转载 2019-06-26 09:49:24 · 334 阅读 · 0 评论