1.更新
sudo apt-get update
2.pip
python -m pip install -U pip
3.安装依赖包
sudo apt-get install python-dev
python-distribute
libcurl4-openssl-dev
libxml2-dev
libxslt1-dev
pythonlxml
python-pip
4.安装pyspider
pip install pyspider
5.安装phanmtojs
sudo apt-get install phantomjs
6.启动pyspider
pyspider all
报错:1.phanmtojs端口已被占用:使用netstat -atunlp 查看进程ip号
kill ip号,之后重新启动pyspider
报错 2.找不到依赖包pycurl,apt_pkg: sudo pip install apt_pkg
sudo pip install pycurl
报错 pycurl安装失败,原因x86..gnu-gcc:
(sudo pip3 uninstall pycurl 卸载
sudo pip3 install pycurl 重安
sudo pip install gcc
sudo apt-get install gcc 安装gcc
sudo apt-get install zlib1g-dev
sudo apt-get install libevent-dev 安装不知道什么的依赖包
sudo apt-get install python-twisted-web python2.7-dev
)
以上是找不到原因之后胡乱安装一堆依赖包,但好像是执行一下两个命令才成功安装了pycurl。
sudo apt install python3.6-dev 我怀疑是因为本地Python版本太高导致报错,是Python3以上的
sudo pip install pycurl
重新启动pyspider:(pyspider --phantomjs-proxy="localhost:25555")
报错:企图修改只读数据库,原因:权限问题
sudo chown -R xufei:xufei /usr/local/lib/python3.6/dist-packages/pyspider 其中xufei为本地的用户名
后面为pyspider的路径。可以通过再次安装pip install pyspider 查看
搭建环境不要慌,无非就是少点啥包。
sudo apt-get update
2.pip
python -m pip install -U pip
3.安装依赖包
sudo apt-get install python-dev
python-distribute
libcurl4-openssl-dev
libxml2-dev
libxslt1-dev
pythonlxml
python-pip
4.安装pyspider
pip install pyspider
5.安装phanmtojs
sudo apt-get install phantomjs
6.启动pyspider
pyspider all
报错:1.phanmtojs端口已被占用:使用netstat -atunlp 查看进程ip号
kill ip号,之后重新启动pyspider
报错 2.找不到依赖包pycurl,apt_pkg: sudo pip install apt_pkg
sudo pip install pycurl
报错 pycurl安装失败,原因x86..gnu-gcc:
(sudo pip3 uninstall pycurl 卸载
sudo pip3 install pycurl 重安
sudo pip install gcc
sudo apt-get install gcc 安装gcc
sudo apt-get install zlib1g-dev
sudo apt-get install libevent-dev 安装不知道什么的依赖包
sudo apt-get install python-twisted-web python2.7-dev
)
以上是找不到原因之后胡乱安装一堆依赖包,但好像是执行一下两个命令才成功安装了pycurl。
sudo apt install python3.6-dev 我怀疑是因为本地Python版本太高导致报错,是Python3以上的
sudo pip install pycurl
重新启动pyspider:(pyspider --phantomjs-proxy="localhost:25555")
报错:企图修改只读数据库,原因:权限问题
sudo chown -R xufei:xufei /usr/local/lib/python3.6/dist-packages/pyspider 其中xufei为本地的用户名
后面为pyspider的路径。可以通过再次安装pip install pyspider 查看
搭建环境不要慌,无非就是少点啥包。