业务60TB数据迁移-降本开始！

业务60TB数据迁移-降本开始！

目的是为了降低成本，60TB在hdfs上需要太多的成本。如果完成，可以降本公司运维30%的

​首先，我们设计思路。

1.拿到所有场站id，场站id区分风能和光能。因为场站id对应hdfs目录，目录命名用的就是场站id。

2.hadoop 命令提交搬迁任务，提交s3，接下来的几天，我会解释这里面用到的所有技术，搭建、理论、编码、使用。

首先，我们需要python2.7，然后集成anaconda​ 库，因为，使用pip安装的包，版本不对。

 这里先解释下conda、anaconda这些概念的差别。conda可以理解为一个工具，也是一个可执行命令，其核心功能是包管理与环境管理。包管理与pip的使用类似，环境管理则允许用户方便地安装不同版本的python并可以快速切换。Anaconda则是一个打包的集合，里面预装好了conda、某个版本的python、众多packages、科学计算工具等等，所以也称为Python的一种发行版。

  移除点击此处添加图片说明文字

​现在理解了吗，不理解没事，

http://python.jobbole.com/86236/

后面会重新说。

我们先来直接搭建。

前提是，anaconda太大了，我只用conda，这个看自己，500MB，对于我来说不可接受。

首先进入python的scripts目录，然后pip安装conda

  移除点击此处添加图片说明文字

​报错没有这个版本对应的，pip和conda是对着干的，可能这里有诈，我们百度。

对了，windows的cmd比较难受，推荐cmder来操作，可以复制

下载地址：

http://cmder.net/

  移除点击此处添加图片说明文字

​

这里我们发现，conda其实是在anaconda里面，我在网上找到了，miniconda，来看一下。

  移除点击此处添加图片说明文字

​

 Anaconda下载地址：http://continuum.io/downloads

 Miniconda下载地址：https://conda.io/miniconda.html

  移除点击此处添加图片说明文字

​

这里要安装了。我也不知道会怎么样。

选好了位置就下载吧。添加环境变量。好像200多兆，如果是anaconda的话，会有3个G（自己没有试过，你可以试一下然后留言给我）

其实最后的步骤，我们装了这么多东西，是因为，我们借鉴的demo需要使用AES加密，但是报错，所以想用conda来安装crypto，但是conda我们安装失败，他自己会集成python，总是冲突，我的idea引用失败。所以，还是想办法，来用pip安装crypto

  移除点击此处添加图片说明文字

​

在网上找到了

 pip install pycrypto -i http://mirrors.aliyun.com/pypi/simple/

  移除点击此处添加图片说明文字

​

阿里云的，还是不行。我直接去目录下载算了。

之前报错是版本不合适，难道这里我们要，可能pycrypto版本已经定了，但是，python版本小版本不一样，后面可能要换python版本。

  移除点击此处添加图片说明文字

​

点进去，看一下

  移除点击此处添加图片说明文字

​说实话，我也不知道哪个版本和我的python版本对应，麻烦了。

  移除点击此处添加图片说明文字

​

手动装版本。也不对吗？

  移除点击此处添加图片说明文字

​

这下问题麻烦了。

缺少变异环境呢，我的天。下载地址：

https://www.microsoft.com/en-us/download/confirmation.aspx?id=44266

服了，卡了几个小时，

  移除点击此处添加图片说明文字

​

我靠，下载试试

  移除点击此处添加图片说明文字

​厉害了，这个库要这个东西啊

  移除点击此处添加图片说明文字

​需要C++类库

  移除点击此处添加图片说明文字

​

再试最后一次，不行的话，我们直接换anaconda了。

好了，安装好了msi，我们看，pycrypto，成功了。

  移除点击此处添加图片说明文字

​可见

  移除点击此处添加图片说明文字

​来看一看，成功了。现在需要这个，我们也去集成一下，直接用idea，pycharm集成即可

  移除点击此处添加图片说明文字

​ok了，我们可以看一下了。

  移除点击此处添加图片说明文字

​我快疯了。没有办法了。用那个3个g的吧。

  移除点击此处添加图片说明文字

​

哦，是4个g，厉害了。

有一说一，用起来还是很简单的。直接python选择小设置，左侧选择装载工具即可。

  移除点击此处添加图片说明文字

​勾选

  移除点击此处添加图片说明文字

注意选择2.7

最后试一下吧，没有办法了，秋后大蚂蚱。

  移除点击此处添加图片说明文字

​很熟悉的报错，然后我们用conda装载一下。

conda已经集成

  移除点击此处添加图片说明文字

现在我们启用cmder，开始装载，这是背水一战，这次不行，我们就会使用白名单，不要严密了。​

  移除点击此处添加图片说明文字

​安装之后呢，conda install Crypto

  移除点击此处添加图片说明文字

​不知道这个能不能成，哎，等等看吧。

我曹，成功！！！！

成功了！

  移除点击此处添加图片说明文字

​

赶紧记录成功办法：

cd C:\Python27\Scripts

easy_install pycrypto

使用传统的方式。

  移除点击此处添加图片说明文字

ok，现在好像可以了。我们开始调试，开发代码吧。所有的python库搞定了，我的天，搞了一下午啊。难受。​

接下来的一天，我主要做了代码编写，环境好了以后，代码的编写就快多了。

很舒服。具体怎么回事，我放到一起说吧。下面再说吧。