- 博客(5)
- 资源 (2)
- 问答 (1)
- 收藏
- 关注
原创 TensorFlowOnSpark 源码解析
前言这两天琢磨了下spark-deep-learning和spark-sklearn两个项目,但是感觉都不尽人如意。在training时,都需要把数据broadcast到各个节点进行并行训练,基本就失去实用价值了(tranning数据都会大于单节点内存的好么),而且spark-deep-learning目前还没有实现和tf cluster的结合。所以这个...
2017-09-28 20:42:00 402 4
原创 PySpark如何设置worker的python命令
前言因为最近在研究spark-deep-learning项目,所以重点补习了下之前PySpark相关的知识,跟着源码走了一遍。希望能够对本文的读者有所帮助。问题描述关于PySpark的基本机制我就不讲太多,你google搜索“PySpark原理”就会有不少还不错的文章。我这次是遇到一个问题,因为我原先安装了python2.7, python3.6。 ...
2017-09-25 23:10:00 1013
原创 Spark新愿景:让深度学习变得更加易于使用
前言Spark成功的实现了当年的承诺,让数据处理变得更容易,现在,雄心勃勃的Databricks公司展开了一个新的愿景:让深度学习变得更容易。 当然牛好吹,也是要做些实际行动的,所有便有了spark-deep-learning项目。这件事情已经有很多人尝试做了,但显然太浅了,DB公司则做的更深入些。原理要做深度学习,肯定不能离开TensorFlow, MXNet之类的。 spark-deep-lea
2017-09-24 21:19:58 971
原创 Spark新愿景:让深度学习变得更加易于使用
前言Spark成功的实现了当年的承诺,让数据处理变得更容易,现在,雄心勃勃的Databricks公司展开了一个新的愿景:让深度学习变得更容易。 当然牛好吹,也是要做些实际行动的,所有便有了spark-deep-learning项目。这件事情已经有很多人尝试做了,但显然太浅了,DB公司则做的更深入些。原理要做深度学习,肯定不能离开TensorFlow,...
2017-09-24 09:02:00 217
原创 手机的未来是AI,而苹果已经坚实的踏出了一步
好几年没有关注苹果发布会了,因为没什么亮点,在这次发布会之前,除了指纹识别其他乏善可陈。我也一直觉得手机已然很难突破了,不想这次苹果发布会却给出了手机未来发展的方向。苹果真正的厉害之处在...
2017-09-14 22:22:54 73
hibernate 关联保存 的困惑
2009-10-14
TA创建的收藏夹 TA关注的收藏夹
TA关注的人