- 博客(4)
- 收藏
- 关注
原创 linux下安装tensorflow1.0出现ConnectionError:HTTPSConnectionPool(host=......)异常处理
tensorflow1.0刚发布不久,我在linux服务器上尝试安装1.0版本时出现ConnectionError的异常,具体错误如下图,一直安装不成功。检查地址也没有错误。另外在我的mac上安装却没有问题,一开始怀疑是否是我的mac翻墙了,所以能够下载下来。后来不知道是脑子一抽还是啥的,将--upgrade去掉之后安装,问题解决了。。。具体原因,难道是因为首次安装不需要--upg
2017-02-20 10:28:28 6033
原创 Mac下部署单机版spark模式
mac下配置单机版Spark相对比较简单,首先我们从Spark官网上下载Spark的源程序http://spark.apache.org/downloads.html,在页面中选择你需要的版本,本文选择的是最新版本spark-2.1.0-bin-hadoop2.7.tgz1、下载完成后解压到某个目录下:tar zxvf spark-2.1.0-hadoop2.7.tgz2、配置spar
2017-02-16 12:53:42 3948
原创 雅虎开源TensorflowOnSpark,Ubuntu配置安装TensorflowOnSpark
1、引言 Yahoo在2016年2月左右开源了基于Spark/Hadoop的分布式深度学习框架—CaffeOnSpark,CaffeOnSpark被设计成为一个Spark深度学习包,Spark MLlib支持各种非深度学习算法用于分类、回归、聚类、推荐等,但目前缺乏深度学习这一关键能力,而CaffeOnSpark旨在填补这一空白。CaffeOnSpark API支持dataframes,以便易
2017-02-15 12:35:39 3203 7
原创 spark集群运行大数据集的word2vec问题汇总
对于大数据集的文本数据,使用spark运行word2vec时对spark的设置:首先word2vec暂时就不介绍了,在上代码之前我先简要介绍下我的数据,我使用的是新闻文本数据,分词之后初步统计大概有674608个词。(ps 我也不知道这数据量能不能算得上大数据),然后简单的调用spark中的word2vec程序,并且将运行的模型保存下来。我的spark设置大致如下上面是最基本的
2017-02-08 12:45:23 4684 2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人