大数据
文章平均质量分 66
Jerry林
这个作者很懒,什么都没留下…
展开
-
记录一下spark SQL里concat_ws和collect_set的作用
官方文档:http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.sql.functions$ concat_ws: 用指定的字符连接字符串例如:连接字符串:concat_ws("_", field1, field2),输出结果将会是:“field1_field2”。数组元素连接...原创 2018-10-21 15:39:57 · 12398 阅读 · 1 评论 -
Spark里如何把结果写入MySQL
这里说的Spark包含SparkCore/SparkSQL/SparkStreaming,实际上都一样操作。以下展示的都是实际项目中的代码。方法一:把整个DataFrame一次写入MySQL (DataFrame的Schema要和MySQL表里定义的域名一致) Dataset<Row> resultDF = spark.sql("select hphm,...原创 2018-11-06 22:43:13 · 2008 阅读 · 0 评论 -
搭建mongoDB Shard集群
这里是用虚拟机模拟mongoDB Shard集群的搭建过程,实际项目中更多的shard server,搭建方法也一致。准备环境:Hosts: lin01.cniao5.com (启动3个configuration server实例,互为replSet, 启动mongos服务)lin02.cniao5.com (启动3个shard server实例,互为replS...原创 2018-11-06 23:33:37 · 474 阅读 · 0 评论