小象爬虫第一周笔记

1.虚拟机原理

虚拟机本质是为了共享，但是具有隔离性，为了不让宿主机挂掉

---

2.虚拟机的安装

1.安装VirtualBox

2.在VirtualBox中

1.新建：填写名称、类型Linux-Ubantu64位

2.内存分配1-2G

3.使用已有的虚拟硬盘文件，选择Ubantu18.vdi文件

4.创建，然后选择启动，密码为xxxy

5.将ubantu充满整个虚拟机对话框，根据下图操作

①安装增强功能，安装更新VirtualBox Guest Additions（这一步好像可以省略，直接第二步）

②根目录下，找到media文件夹，进入目标文件夹 /media/用户名/VBox_GAs_6.0.4，文件夹中有VBoxLinuxAdditions.run，右键terminal，输入命令 

sudo ./VBoxLinuxAdditions.run

③安装完成，回车，命令行reboot重启

---

【注意】如果直接打开.vbox文件，则需要做修改

①在当前目录下打开命令行，输入VBoxManage internalcommands sethduuid “F:\xxx...\xxx.vdi”，修改vdi后来存在的路径，看到提示uuid已经改变

②按照下图操作，点击启动即可

---

3.anaconda的安装

因为在虚拟机内部下载清华镜像经常失败，于是我在windows上下载，通过共享文件夹做以连接

①windows新建一个文件夹作为共享文件夹 D:\VirtualBox Share

②虚拟机上设置共享文件夹

③在terminal上输入命令 “ sudo mount -t vboxsf  共享文件夹的名字 虚拟机的挂载点 ”

实际输入：

sudo mount -t vboxsf  VirtualBox_Share /mnt/

④在ubantu中的mnt文件夹可以找到共享的文件

⑤安装anaconda：输入命令：

bash Anaconda3-5.3.1-Linux-x86_64.sh

第一次yes同意license，回车，waiting... 第二次默认路径yes，第三次安装vscode选择no，vs自己下载，命令行太慢（移动热点+VPS很快？）

验证安装成功：

conda list

⑥如果删除anaconda：

rm -rf anaconda文件夹名

⑦如果没有配置环境变量，或者仍然显示系统默认版本，则需要更新一下.bashrc，输入

source ~/.bashrc

或者如下操作

sudo gedit ~/.bashrc

打开文件后在末尾添加

export PATH="/home/用户名/anaconda3/bin:$PATH"

 立即生效：

source ~/.bashrc

⑧conda安装包

conda install numpy

---

4.第一次运行python文件

①新建目录，新建py文件，输入语句，右键“run python file in terminal”

②还可以将当前目录保存为workplace

---

5.安装依赖

步骤：

1.用anaconda3中的 anaconda prompt命令，下载requirements.txt中的包，运行requirements.txt，其中的库包含（直接copy后以requirements.txt命名即可）

Pillow
requests
urllib3
bloom-filter
pymongo
mysql-connector
selenium
lxml
aiohttp
cssselect

2.清华镜像源（以下载requests为例）

• 临时使用（每次只能下载一个上面的包）

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple requests

• √ 默认使用（升级 pip 到最新的版本 (>=10.0.0) 后进行配置），查看pip版本 pip -V

pip install pip -U #升级pip，如果大于10则无需此操作
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

• 清华镜像设置完成，一键安装requirements.txt

pip install -r requirements.txt

注：

pypi 镜像使用帮助（临时使用 和 默认使用）：https://mirrors.tuna.tsinghua.edu.cn/help/pypi/