大数据
大数据相关:spark、hadoop
weixin_43946446
这个作者很懒,什么都没留下…
展开
-
Spark sql 使用中的bug
spark读取外部配置的方式,1、–files CONFDIR/log4j.xml,{CONF_DIR}/log4j.xml,CONFDIR/log4j.xml,{CONF_DIR}/default.properties,${BASE_DIR}/hbase.properties上传多个文件,用英文逗号分隔开,文件路径必须是全路径程序中读取的方式:1.1、scala.io.Source.fromFile("hbase.properties").getLines().foreach(println(_原创 2020-10-14 18:26:07 · 178 阅读 · 0 评论 -
Spark SQL 函数全集
org.apache.spark.sql.functions是一个Object,提供了约两百多个函数。大部分函数与Hive的差不多。除UDF函数,均可在spark-sql中直接使用。经过import org.apache.spark.sql.functions._ ,也可以用于Dataframe,Dataset。version 2.3.0大部分支持Column的函数也支持String类型的列名。这些函数的返回类型基本都是Column。函数很多,都在下面了。聚合函数approx_c...原创 2020-06-29 11:24:56 · 1443 阅读 · 0 评论 -
hadoop HDFS常用操作命令
hadoop HDFS常用操作命令命令基本格式:hadoop fs -cmd < args >1.lshadoop fs -ls /列出hdfs文件系统根目录下的目录和文件hadoop fs -ls -R /列出hdfs文件系统所有的目录和文件2.puthadoop fs -put < local file > < hdfs file >h...原创 2020-01-07 15:20:00 · 196 阅读 · 0 评论 -
yarn application查询信息命令
yarn application1、-list 列出所有 application示例:yarn application -list2、-appStates 跟 -list 一起使用,用来筛选不同状态的 application,多个用","分隔; 状态包含有:ALL,NEW,NEW_SAVING,SUBMITTED,ACCEPTED,RUNNING,FINISHED,FAILED,KILLED示例:yarn application -list -appStates R原创 2020-05-21 21:40:49 · 2299 阅读 · 0 评论 -
spark-submit 详细参数说明
2. spark-submit 详细参数说明参数名参数说明--master master 的地址,提交任务到哪里执行,例如 spark://host:port, yarn, local--deploy-mode 在本地 (client) 启动 driver 或在 cluster 上启动,默认是 client--class...原创 2020-03-05 19:05:20 · 213 阅读 · 0 评论