tensorframes

在我们 使用tensorflow 和 spark 结合的时候 ，肯定非常激动，关键 我们打算 使用哪一种语言 建构我们的机器学习代码，最主要的的有四种 ，python java scala R，当然 python 是门槛较低的。使用java scala 一般人不一定能hold 的住，所以我们首先 讲 python版的工具链
首先 假设你已经有了一台 mac pro
安装了 python 3.5 或者3.6
jdk 8 ，最好不要用jdk9 ，jdk9 有很多问题
本地 安装 了 tensorflow 和pyspark
当然 本地 homebrew 安装 spark 2.1 和hadoop 2.8.1
想要 spark 和tensorflow 串联在一起，你需要 spark-deeplearning 这个神器

我们git 一下 威廉大哥的 ,因为 威廉大哥扩展了 原来 的databircks ，添加了新功能的，一定要用威廉大哥的,否则 威廉大哥用的一些 方法 你找不到的，比如

from  sparkdl import  TextEstimator
from  sparkdl.transformers.easy_feature import EasyFeature

这些都是威廉自己扩展的，非常好用

https://github.com/allwefantasy/spark-deep-learning
mkdir sparkdl && cd sparkdl 
git clone https://github.com/allwefantasy/spark-deep-learning.git  . # 注意 点号
git checkout release 

当然 单单它还不够，我们还需要 tensorflow 与spark 底层元素交互的 媒介
tensorframe,并且 spark-DeepLearning 本身依赖 tensorframes

https://github.com/databricks/tensorframes/
git clone https://github.com/databricks/tensorframes.git

本身 如果你想直接使用pip 来安装这两个包 ，抱歉 pip仓库没有。
这里就涉及到了 pip 安装 本地 package
其实 也没有多难，幸好威廉大哥给了我一些锦囊妙计
想pip 安装本地的package ，大致分两步，
1.创建 一个启动文件 setup.py, setup 文件可以参考威廉大哥的

[https://github.com/allwefantasy/spark-deep-learning/blob/release/python/setup.py](https://github.com/allwefantasy/spark-deep-learning/blob/release/python/setup.py)

2.在 setup.py文件中 配置package的属性 文件路径 等信息

执行 一系列命令 最重要的是 执行

python setup.py  bdist_wheel 

这样就会生成 二进制文件 package Name-Version-py3.whl
4.然后 进入这个文件目录 在Terminal 中执行

pip  install   package-Name-Version-py3.whl   #   [anaconda]

pip3 install package-Name-Version-py3.whl   # [python 3.6]

pip list 和 pip3 list 验证 是否安装成功
import package 查看模块是否真实可以使用
这里面要注意的就是 在执行 2的时候 要确定在同目录下必须有package对应的python源文件，否则即使生成了 whl文件，这个包也是一个假的不可以被使用的

另外 编写 setup.py文件 要注意的就是包名和版本要 与实际一致，否则可能真包安装了，本身依赖的其他包也找不到它
sparkdl 的 setup.py

import codecs
import os

from setuptools import setup, find_packages

# See this web page for explanations:
# https://hynek.me/articles/sharing-your-labor-of-love-pypi-quick-and-dirty/
PACKAGES = ["sparkdl"]
KEYWORDS = ["spark", "deep learning", "distributed computing", "machine learning"]
CLASSIFIERS = [
    "Programming Language :: Python :: 2.7",
    "Programming Language :: Python :: 3.4",
    "Programming Language :: Python :: 3.5",
    "Development Status :: 4 - Beta",
    "Intended Audience :: Developers",
    "Natural Language :: English",
    "License :: OSI Approved :: Apache Software License",
    "Operating System :: OS Independent",
    "Programming Language :: Python",
    "Topic :: Scientific/Engineering",
]
# Project root
ROOT = os.path.abspath(os.path.dirname(__file__))

#
#
# def read(*parts):
#     """
#     Build an absolute path from *parts* and and return the contents of the
#     resulting file.  Assume UTF-8 encoding.
#     """
#     with codecs.open(os.path.join(ROOT, *parts), "rb", "utf-8") as f:
#         return f.read()

#
# def configuration(parent_package='', top_path=None):
#     if os.path.exists('MANIFEST'):
#         os.remove('MANIFEST')
#
#     from numpy.distutils.misc_util import Configuration
#     config = Configuration(None, parent_package, top_path)
#
#     # Avoid non-useful msg:
#     # "Ignoring attempt to set 'name' (from ... "
#     config.set_options(ignore_setup_xxx_py=True,
#                        assume_default_configuration=True,
#                        delegate_options_to_subpackages=True,
#                        quiet=True)
#
#     config.add_subpackage('sparkdl')
#
#     return config


setup(
    name="sparkdl",
    description="Integration tools for running deep learning on Spark",
    license="Apache 2.0",
    url="https://github.com/allwefantasy/spark-deep-learning",
    version="0.2.2",
    author="Joseph Bradley",
    author_email="joseph@databricks.com",
    maintainer="Tim Hunter",
    maintainer_email="timhunter@databricks.com",
    keywords=KEYWORDS,
    packages=find_packages(),
    classifiers=CLASSIFIERS,
    zip_safe=False,
    include_package_data=True
)

然后 先 安装 sparkdl ，进入 spark-deeplearning 目录 打开Terminal

cd ./python && python setup.py bdist_wheel && cd dist 
pip install  sparkdl-0.2.2-py3-none-any.whl
pip3 install  sparkdl-0.2.2-py3-none-any.whl

在安装tensorframes 要注意的就是 tensorframes的根目录下的python目录没有对应的源文件，需要找到源文件 复制到这里，一定要把 ./src/main/python/ 下的两个文件目录 tensorframes 和tensorframes_snippets 拷贝到 根目录下的python目录下，否则即使 安装了tensorframes 也是不可以用的，另外一定要 提前把pyspark 安装好，否则 也是不可以用的

cp  ./src/main/python/*  ./python
cd ./python && python setup.py bdist_wheel && cd dist 
pip install tensorframes-0.2.9-py3-none-any.whl 
pip3 install tensorframes-0.2.9-py3-none-any.whl 

命令可以参考 威廉大哥的

cd ./python && python [setup.py](setup.py) bdist_wheel && cd dist && pip uninstall sparkdl && pip install ./sparkdl-0.2.2-py2-none-any.whl && cd ..

作者：Helen_Cat
链接：https://www.jianshu.com/p/5681c3aa5045
來源：简书
简书著作权归作者所有，任何形式的转载都请联系作者获得授权并注明出处。