- 博客(12)
- 收藏
- 关注
RSS订阅原创 shell脚本用变量来保存cat命令返回信息遇到的问题
假定有一个文件f1，文件的内容只有三行分别为:123定义变量: v1=$(cat f1)然后echo $v1发现打印信息为:1 2 3信息并没有换行。如果想要换行则需要在变量左右加上双引号:echo "$v1"
2022-04-06 16:27:17
1698
原创 ssh远程执行for循环无法获取每次迭代的元素
ssh host1 "arr=(1 2 3); for i in ${a[@]}; do echo $i ; done;"这样写法每次打印元素都是空。
2022-03-26 23:54:59
966
转载 nohup命令介绍
nohup 修饰的命令,当shell关闭,命令不会终止,对ctrl+c不免疫&修饰的命令,意思是后台运行,当shell关闭,命令会终止,对ctrl+c免疫转载原贴https://blog.csdn.net/stpeace/article/details/76389073...
2018-11-01 16:32:22
1973
原创 SparkSql中的方法
1,去掉空值df.na.fill()如果想把空值全部替换为"" ,那么只需在方法中填写""如果想把某些字段为空的替换,那么需填写一个map, Map("字段"->替换后的值,,,,,), map中可以存放多个字段与替换后的值的映射...
2018-10-31 10:37:59
217
原创 SparkSQL工作中遇到的问题
1,当多个表中存在相同的字段,查询时要使用别名,否则程序无法区分,如下: val sql = """ |select |a.id as a_id,a.name as name,b.id as b_id,b.score as score //如果两个表有些字段相同,在查询时要使用别名,程序无法识别 |from stu a |left join score...
2018-10-31 10:32:18
598
1
原创 DataFrame与RDD之间的转换
首先重重之中import sparkSession.implicits._ //导入隐式参数rdd 转为DataFrame rdd中的元素格式必须为元组,不能为RowDataFrame 转为RDD , .rdd即可一个DaraFrame 转为另个一DataFrame, 需要先经过map, 将Row类型转换为元组,然后调用toDF ...
2018-10-31 10:29:20
806
原创 Spark机器学习___回归与分类
分类与回归是监督式学习的两种主要形式.监督式学习是指算法尝试使用有标签的训练数据(也就是已知结果的数据点,通俗点讲,对于f(x) = y,已知点(x1,y1),(x2,y2),,, ,求出一个近似函数,并用近似函数,用已知的x类预测y),根据对象的特征预测结果.分类和回归的区别在于预测的变量的类型;在分类中,预测的变量是离散的(也就是在一个有限集中的值,叫做类别),如区分右键的...
2018-10-26 10:09:28
164
原创 SparkSql如何创建DataFrame
一,如果构建SparkSessionimport org.apache.spark.sql.SparkSession;1,SparkSession.builder().getOrCreate();2,SparkSession.builder .master("local") .appName("Word Count") .config("spark.some.confi...
2018-10-25 15:11:37
242
原创 hive如何建立事务表
1,开始(BEGIN),提交(CIMMIT)和回滚(ROLLBACK)还不支持2,文件格式只能是ORC3,表必须是桶表,并且外部表不能支持事务操作4,Hive的transcation manager 需要设置为 org.apache.hadoop.hive.ql.lockmgr.DbTxnManager...
2018-10-25 14:45:26
3296
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人