函数
文章平均质量分 53
Running_you
这个作者很懒,什么都没留下…
展开
-
HIVE中get_json_object与json_tuple使用
hive中提供了两种针对json数据格式解析的函数,即get_json_object(…)与json_tuple(…),理论不多说,直接上效果示意图:假设存在如下json数据对象,若使用hive环境可这么设置: set hivevar:msg={“message”:”2015/12/08 09:14:4”, “client”: “10.108.24.253”, “server”: “passpo原创 2015-12-08 10:25:30 · 58267 阅读 · 1 评论 -
Python优秀函数库集锦(二)
源地址:https://github.com/jobbole/awesome-python-cn 伯乐在线地址:http://python.jobbole.com/84464/环境管理管理 Python 版本和环境的工具p – 非常简单的交互式 python 版本管理工具。 pyenv – 简单的 Python 版本管理工具。 Vex – 可以在虚拟环境中执行命令。 virtualenv –转载 2016-04-14 16:25:44 · 11215 阅读 · 2 评论 -
神经网络中交叉熵代价函数 求导
最近看了几篇神经网络的入门介绍知识,有几篇很浅显的博文介绍了神经网络算法运行的基本原理,首先盗用伯乐在线中的一个11行python代码搞定的神经网络,import numpy as np# sigmoid functiondef nonlin(x,deriv=False): if(deriv==True): return x*(1-x) return 1/(1+np原创 2016-04-15 15:17:21 · 4915 阅读 · 0 评论 -
spark组件之graphx函数方法(二)
在网络计算中,graphx提供了基本的函数和算法来计算社交网络关系中的三角关系数量,下面简单记录下一组常用的命令作为学习巩固:1.启动spark-shell交互式环境: import org.apache.spark.graphx._ import org.apache.spark.graphx.util._2.利用graphx提供的类函数随机产生数据集 注:导入数据集方式(A:RDD原创 2016-06-15 11:17:56 · 2191 阅读 · 0 评论 -
spark组件之graphx函数方法(一)
aggregateMessages类graph提供了聚合方法aggregateMessages,关于使用方法官方给出了具体的案例参考:// Import random graph generation libraryimport org.apache.spark.graphx.util.GraphGenerators// Create a graph with "age" as the vert原创 2016-06-07 18:08:34 · 2206 阅读 · 0 评论 -
Spark数据类型SparseMatrix
SparseMatrixSpark的mllib包中提供了机器学习的两种基本数据类型: DenseMatrix(稠密)和 SparseMatrix(稀疏),在初始化对象的时候可以使用Matrices伴生对象产生,先看下示例代码:import org.apache.spark.mllib.linalg.{Matrix, Matrices}// Create a dense matrix ((1.0, 2原创 2017-01-05 09:58:55 · 5104 阅读 · 3 评论