- 博客(7)
- 收藏
- 关注
RSS订阅原创 HIVE 数据探索常用函数
在Hive中，没有直接提供计算众数的内置函数。但您可以通过以下方式来近似计算众数，例如通过使用collect_list、explode和group by来实现，这里假设your_table是您的表，col是您要计算众数的列。
2024-01-26 11:57:04
265
原创 SPARK运行基本流程
1）构建sparkContext2）向资源管理器申请本次Spark运行需要的executor资源，并启动分布在各个节点上的executor3）sparkContext进行任务拆解，并生达成任务集合（taskSet）并将任务集合交给任务调度器（Task Scheduler）4）executor向任务调度器申请任务，任务调度器将任务分配给Executor并sparkContext将对应的应用程序...
2019-09-16 09:54:48
445
原创 janusgraph 图数据统计mapreduce
MAPREDUCE:import java.utilimport org.apache.commons.configuration.Configurationimport org.apache.tinkerpop.gremlin.process.computer.{KeyValue, MapReduce}import org.apache.tinkerpop.gremlin.struct...
2019-08-27 18:10:18
398
原创 Janusgraph常用操作
//建立索引 mgmt = graph.openManagement()name = mgmt.getPropertyKey("name") //Composite Indexmgmt.buildIndex(index_name,Vertex.Class).addKey(name).buildCompositeIndex(); //Mixed Index，需要指定索引后端(与compos...
2019-08-27 14:52:31
810
原创 Janusgraph BulkDumperVertexProgram
配置文件janusgraph_olap.properties：gremlin.graph=org.apache.tinkerpop.gremlin.hadoop.structure.HadoopGraphgremlin.hadoop.graphReader=org.janusgraph.hadoop.formats.hbase.HBaseInputFormat#hbasejanusgrap...
2019-08-27 14:34:52
257
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人