![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
dataprocessing
lbf_ML
这个作者很懒,什么都没留下…
展开
-
hive map,arrary ,struct 复杂结构小记
1、map结构定义:map<datatype1,datatype2> 类型1和类型2可以一样map<string,double> 两种数据类型合成例子:{“data":1232.23,”data2":323.0}与其他语言一样,是map{key1:value1,key2:value2,...}访问可以使用列名来访问: select map1['name...原创 2019-01-07 15:26:13 · 1169 阅读 · 0 评论 -
hive 和mysql同样的数据group by 之后为什么数据量不一致
hive区分大小写,mysql是不区分大小写的。因此会有这种问题原创 2019-01-22 18:13:12 · 1752 阅读 · 3 评论 -
scala 中 insertinto 插入hive数据数据重复或者乱码或者为空
数据读写详细看官网:http://spark.apache.org/docs/latest/api/python/pyspark.sql.html#pyspark.sql.DataFrameReaderhive数据读取:# 读取hive要加enableHiveSupport(),以可以使用hql对hive进行操作spark = SparkSession.builder.e...原创 2019-05-16 14:42:11 · 2087 阅读 · 0 评论