linux 运行scrapy项目，显示crawl不存在
创建.sh脚本后。写入
cd /root/big_data/cult3d/cults3dPro
/root/.virtualenvs/my_env_scrapy/bin/scrapy crawl cults3d
# 先进入项目所在的文件夹，然后再crawl执行项目
-
涉及到scrapy中的全局命令和项目命令：
全局命令：
startproject
settings
runspider
shell
fetch
view
version
项目命令：
crawl
check
list
edit
parse
genspider
deploy
bench
参考连接：
https://www.cnpython.com/qa/100763
linux 防火墙操作
# 1.查看防火状态
systemctl status firewalld
# 2:暂时关闭防火墙
systemctl stop firewalld
# 3:永久关闭防火墙
systemctl disable firewalld
# 4:重启防火墙
systemctl enable firewalld
参考连接：
https://blog.csdn.net/baidu_36124158/article/details/90603496
linux 查询进程，关闭进程(redis为例子)
ps -ef|grep redis
# 查询linux中运行的redis
kill -pid
# 直接关闭端口
参考链接：
https://www.cnblogs.com/s-p-l/p/10633488.html
linux mail的指令
unread 标记为未读邮件
h|headers 显示当前的邮件列表（常用）
l|list 显示当前支持的命令列表
?|help 显示多个查看邮件列表的命令参数用法
d 删除当前邮件，指针并下移。 d 1-100 删除第1到100封邮件（常用）
f|from 只显示当前邮件的简易信息。 f num 显示某一个邮件的简易信息
f|from num 指针移动到某一封邮件
z 显示刚进行收件箱时的后面二十封邮件列表（常用）
more|p|page 阅读当前指针所在的邮件内容 阅读时，按空格键就是翻页，按回车键就是下移一行
t|type|more|p|page num 阅读某一封邮件
n|next|{什么都不填} 阅读当前指针所在的下一封邮件内容
阅读时，按空格键就是翻页，按回车键就是下移一行
v|visual 当前邮件进入纯文本编辑模式
n|next|{什么都不填} num 阅读某一封邮件
top 显示当前指针所在的邮件的邮件头
file|folder 显示系统邮件所在的文件，以及邮件总数等信息
x 退出mail命令平台，并不保存之前的操作，比如删除邮件
q 退出mail命令平台,保存之前的操作，比如删除已用d删除的邮件，已阅读邮件会转存到当前用户家目录下的mbox文件中。如果在mbox中删除文件才会彻底删除。（常用）
在linux文本命令平台输入 mail -f mbox，就可以看到当前目录下的mbox中的邮件了。
cd 改变当前所在文件夹的位置
写信时，连按两次Ctrl+C键则中断工作，不送此信件。
读信时，按一次Ctrl+C，退出阅读状态。
-----------------------------------
Linux mail命令查看邮箱邮件
https://blog.51cto.com/leomars/1159785
linux 服务器配置selenium
1.安装chrome
# 用下面的命令安装Google Chrome
yum install https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm
# 也可以先下载至本地，然后安装（google-chrome -version 查看chrome版本）
wget https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm
yum install ./google-chrome-stable_current_x86_64.rpm
# 安装必要的库
yum install mesa-libOSMesa-devel gnu-free-sans-fonts wqy-zenhei-fonts
2.安装chromedriver
# 可以先在windows下载，移动到linux （chromedriver -version 查看版本号,和chrome版本号相对应)
https://chromedriver.storage.googleapis.com/index.html
#将下载的文件解压，放在如下位置
安装unzip：yum install -y unzip zip
unzip chromedriver_linux64.zip
mv chromedriver /usr/bin/
#给予执行权限
chmod 755 /usr/bin/chromedriver
# 注意事项:若不成功，创建软连接 ln -s /opt/google/chrome/ /usr/bin
from selenium.webdriver import Chrome
from selenium.webdriver.chrome.options import Options # 使用无头浏览器
from selenium.webdriver import ChromeOptions
chrome_options = Options()
chrome_options.add_argument("--headless") # => 为Chrome配置无头模式
chrome_options.add_argument('--no-sandbox')
chrome_options.add_argument('--disable-gpu')
chrome_options.add_argument('--disable-dev-shm-usage')
# 一定要配置options选项
browser = Chrome(options=chrome_options)
browser.get(url='http://www.wanfangdata.com.cn/index.html')
browser.implicitly_wait(10)
search = input('请输入关键词：').strip()
query = browser.find_element_by_xpath('//*[@id="keyWords"]')
参考链接：
https://www.cnblogs.com/wukai66/p/13020362.html
linux 安装redis,设置自启动
1. wget https://download.redis.io/releases/redis-6.2.5.tar.gz
2. tar -xvzf redis-6-
3. cd
4. make & make install
# 安装
自启动
1.创建三个空文件夹(放配置，日志，和生成文件)
2. 复制redis.conf 到新建的配置文件夹，修改配置文件的相关内容(注释掉bind,daemonize ,logfile ,dir )。
3. 复制redis/utils/redis_init_script到/etc/init.d(固定目录)
4. 修改redis_init_script的内容（REDISPORT，CONF)
5. chkconfig redis_6379 on
参考链接：
https://www.cnblogs.com/zyzblogs/p/12396645.html
创建软连接
ln -s /opt/python3/bin/python3.8(文件路径) /usr/bin/python3(软连接位置，名字自定义)
# vim /etc/profile 更改环境变量后，会自动在/usr/bin文件夹创建软连接
更改文件名
mv xxx.txt(旧) xxx.txt(新)
开启定时任务，显示模块缺少(模块已用pip安装过了)
解决办法：
带上绝对路径运行 python程序
创建脚本顺序
touch text.sh
vim text.sh
写入
#! /bin/bash
/opt/python3.8.7/bin/python3.8 /opt/big_data/text.py
source text.sh
chmod 700 text.sh
# 更改权限
./text.sh
#启动
# 或者不更改权限，直接sh 路径/text.sh
参考链接:
https://zhidao.baidu.com/question/536602975.html
linux mail 指令无法使用
是因为 mailx 没有安装：
[root@slave ~] # yum -y install mailx
# 删除邮件：
echo '' > /var/spool/mail/root
参考链接:
https://blog.csdn.net/weixin_33728708/article/details/92469401
linux E325: 注意 发现交换文件 “*.swp” 解决方法
解决法案：
1、用命令恢复非正常文件，vim -r 非正常文件，然后再删除.swap文件，再次编辑文件时，不会再提示警告。
2、用ls -al命令查询出.swap隐藏文件，并删除，下载再编辑文件时，不会再提示警告。
参考链接：
https://blog.csdn.net/u013163551/article/details/117976574
crontabs定时器基本指令
几个基础命令了解一下：
service crond start //启动服务
service crond stop //关闭服务
service crond restart //重启服务
service crond reload //重新载入配置
查看crontab服务状态：service crond status
crontab -e
# 编辑定时任务
crontab -l
# 列出定时任务
crontab -r
# 移除定时任务
参考链接：
https://www.cnblogs.com/songhuasheng/p/10187333.html
直接删除文件夹（非空也可以）
rm -rf filedir
# 直接删除，谨慎使用
CentOS 8 镜像下载
url：http://centos.nethub.com.hk/8-stream/isos/x86_64/
显示IP 指令----- ifconfig
用xftp传输文件错误
解决办法：需要在linux上先开放指令：1. cd /opt (要传输的目的文件夹） 2. sudo chmod 777 /opt
Linux 下安装扩展包
指令：1. su (进入管理员模式） 2. yum -y install xxx
Linux 安装应用软件
tar软件
1.tar -xvzf 软件包名 （解压解包工作）
2.cd 进入到解压包 执行 ./configure 命令为编译做好准备 ./configure --prefix= /opt (生成编译脚本，指定安装目录）
3.执行 make 命令进行软件编译
4.进行 make install 完成安装（执行完之后才会出现 上面指定的安装目录）
5. 执行 make clean 删除安装时产生的临时文件
6. 执行 make distclean 删除安装时的临时文件
rpm打包的应用软件
一句话指令：rpm -ivh rpm 软件包名
Linux添加环境变量
- 先进入管理员模式 su （切回普通模式：su 用户名）
- 执行代码 vim /etc/profile
- 输入 a 进入编辑模式，拉到最后，输入字段 export PATH=“$PATH=/opt/文件名/bin” （双引号不能省）点击esc，输入：输入wq 点击回车键
- 执行 source /etc/profile 保存更改
- echo $PATH 查看环境变量
参考网址：https://www.cnblogs.com/midworld/p/11049437.html
https://www.cnblogs.com/knighterrant/p/10719887.html
命令
ls - list 列出文件夹中的包含的文件
cd – change directory 切换文件夹
cp – copy 复制
rm – remove 移除
mv – move 移动
pwd – print work directory 列出当前文件夹
ps – process status 进程状态
df – disk free 磁盘使用情况统计
du – disk uage 磁盘使用内存
mkdir – make directory 创建文件夹
rmdir – remove directory 移除文件夹
su – switch user 切换用户名
chown – change owner 切换用户
chmod – change mode 切换模式
参数
-a == all
-i == list
-f ==force
-h == -human-readable
-n == number
-u == user
-z == zip
在线查询
网页版：https://www.linuxcool.com
微信小程序：Linux
Linux系统安装python3X 遇到的问题
出现pip安装失败，./configure不能运行
需要安装的依赖包：
yum install gcc-c++
# 编译器
yum install openssl-devel bzip2-devel expat-devel gdbm-devel readline-devel sqlite-devel gcc gcc-c++ openssl-devel libffi-devel python3-devel mariadb-devel
# 依赖包
备注：
./configure --prefix=/opt/python38 一定要指定解压路径，方便设置环境变量！！！！！！！！
1835
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
