linux命令

#安装.sh文件
sudo sh 对应的文件名
#安装.deb文件
sudo dpkg -i 相关目录及文件名
sudo apt install

#添加conda路径
export PATH="/home/dell/anaconda3/bin:$PATH"

#创建环境并激活
sudo conda create -n pachong python=3.8
conda create -n pachong2 python=3.11.7
conda activate pachong2

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple scrapy
import scrapy

############在home/dell目录下创建pachon文件夹并创建pachong2环境激活，安装scrapy###########
#打开home新建文件夹
cd /home/dell
#创建pachon文件夹
mkdir pachon
#进入该文件夹
cd pachon
#创建pachong2环境
conda create -n pachong2 python=3.11.7
#报错使用root用户
su
password
#重新创建pachong2环境
conda activate pachong2
#安装scrapy
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple scrapy
#conda环境下验证scrapy
scrapy
#python环境下验证
python
import scrapy
scrapy.version_info

#######创建新项目##########
#进入终端，ctrl+alt+t,默认是主目录home
scrapy startproject example
#用tree命令查看目录结构
tree example

#测试地址：http://books.toscrape.com

scrapy crawl books -o books.csv
book_spider

#解析页面
scrapy shell http://网址
view(response)

fetch('网址') #下载网址
view(response)