- 博客(4)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Python到pyspark中的py-files的问题
在spark平台上执行Python算法涉及到Python程序的改写，其中import部分需要额外注意。如果我们在执行某个test.py程序时需要调用另外一个common.py,需要在test.py内部添加import common，而此时的import common 不能放在程序头部，需要放在context之后。同时在执行程序时需要–py-files 参数指定引用模块的位置。图2为通过livy调用...
2019-01-18 17:17:29
6561
1
转载 tensorflow+tensorflowonspark+GPU学习笔记
TensorFlow能够让你直接解决各种机器学习任务。目标就是在一般情况下，无论你遇到什么问题，TensorFlow都可以在一定程度上提供API的支持。总的来说TensorFlow就是为了快而设计的，所以它针对你实际使用的硬件和平台做了优化。其中在机器学习框架方面，TensorFlow的真正独特之处在于，能够在5行或者10行代码中构建模型。然后应用这个模型，进行扩展做出产品。因此，你能够在几...
2019-01-09 14:15:47
2370
1
原创 Hive安装
一、简介hive是用类SQL语句（HiveQL）来实现对hadoop下的数据管理。hive属于数据仓库的范畴，那么，数据库和数据仓库到底有什么区别了，这里简单说明一下：数据库侧重于OLTP（在线事务处理），数据仓库侧重OLAP（在线分析处理）；也就是说，例如mysql类的数据库更侧重于短时间内的数据处理，反之。无hive：使用者…->mapreduce…-&a
2019-01-08 22:12:03
209
原创 sqoop1.99.7安装、使用及部分问题
一、安装环境已具备java和hadoop的环境，本文的版本为ubuntu16.04、java1.8.0、hadoop2.7.5。安装选择sqoop1.99.7,注意sqoop2中的sqoop1.99.6和1.99.7安装区别较大。二、sqoop2下载安装1.直接在sqoop的官网下载选择sqoop1.99.7版本。我直接下的bin版本，这个版本已经编译好了，直接用。sqoop1.99.7...
2019-01-04 23:42:56
1684
2
MATLAB最大似然互信息MLMI.zip
2019-11-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人