1.创建用户挂载在data目录
sudo adduser id
sudo mv /home/id/ /data1/
sudo ln -s /data1/id/ /home/
sudo chown -R id:id(group) /data1/id
passwd id
2.挂载目录安装空间不足问题:
TMPDIR=/somewhere pip install xxx --user
3.tensorflow安装
一、安装 Anaconda,形成环境变量(官网下载,直接安装即可)
- .检查Anaconda是否成功安装:conda --version
- 检测目前安装了哪些环境:conda info --envs
- 检查目前有哪些版本的python可以安装:conda search --full-name python
- 安装不同版本的python(当然你可以提前装好python,如果不想知道怎么装python,用anaconda装最简单):conda create --name tensorflow python=3.5 【注意,这里create --name就是建立了一个叫做TensorFlow的 环境,有了环境就可以激活】
- 按照提示,激活之:activate tensorflow 【激活成功后,当前目录前会有一个<xxx环境名>】
- 确保名叫tensorflow的环境已经被成功添加:conda info --envs
- 检查新环境中的python版本:python --version
- 退出当前环境:deactivate
- 切换环境:activate tensorflow
二、TensorFlow安装(在anaconda环境下按照)
- 环境窗口下,直接输入: pip install tensorflow 。 pip install tensorflow-gpu可以安装GPU版本
- 装完后,在环境界面启动 python,import tensorflow as tf,如果成功就是ok了。
三、清除微博带表情的符号 sed 's/\[.*\]//'g
四、清洗数据,除了中文英文标点 python 3
import re my_file_path = 'happy.txt' save_file_path = 'kaixin.txt' # 打开文件 my_file = open(my_file_path, 'r', encoding='utf-8') # 只保留中英文、数字和.的正则表达式 cop = re.compile("[^\u4e00-\u9fff^.^,^!^'^,^?^!^。^,^“^’^a-z^A-Z^0-9]") for line in my_file.readlines(): line = line.strip() string = cop.sub("", line) save_file = open(save_file_path, 'a', encoding='utf-8') if string.strip() != "" or string.strip() != None: save_file.write(string + "\n") save_file.flush() save_file.close() # ascii(my_file.read(3)[0]) 获取unicode编码 # 关闭文件 my_file.close()
五、安装tensorflow-gpu
export PATH="/usr/local/cuda-8.0/bin:$PATH"
export LD_LIBRARY_PATH="/usr/local/cuda-8.0/lib64:$LD_LIBRARY_PATH"
export CUDA_HOME="/usr/local/cuda-8.0:$CUDA_HOME"