1.更改pip至国内镜像,显著提升下载速度
Mac系统下:
可以在使用pip的时候加参数
-i https://pypi.tuna.tsinghua.edu.cn/simple
临时使用->
例:
pip install lxml -i https://pypi.tuna.tsinghua.edu.cn/simple
永久使用->
进入根目录:cd ~/
进入.pip目录 cd .pip
如果不存在文件夹就新建mkdir .pip
进入 cd .pip
创建pip.conf文件 touch pip.conf
修改:vim pip.conf
[global]
index-url=http://mirrors.aliyun.com/pypi/simple/
[install]
trusted-host=mirrors.aliyun.com
2.更改py环境为虚拟环境
首先通过命令 pip list
查看当前python版本下所安装的库有哪些,
然后再开始安装虚拟环境:
第一步:创建目录
通过mkdir创建目录:mkdir myproject
通过cd进入目录下:cd myproject
第二步:创建一个独立的Python运行环境,命名为venv
virtualenv --no-site-packages venv
命令virtualenv就可以创建一个独立的Python运行环境,我们还加上了参数--no-site-packages,这样,已经安装到系统Python环境中的所有第三方包都不会复制过来,这样,我们就得到了一个不带任何第三方包的“干净”的Python运行环境。
第三步:通过source进入当前的环境
source venv/bin/activate
(venv)Mac:myproject michael$
当前面显示了venv的标识后,再使用pip对环境安装依赖库
退出虚拟环境
deactivate
3.pip一次性安装依赖库
pip install -r requirements.txt
txt的文档内容如下:
arrow==0.12.1
jmespath==0.9.3
lxml==4.1.1
more-itertools==4.3.0
numpy==1.15.0
pandas==0.23.4
pymongo==3.5.0
pytest==3.7.1
redis==2.10.6
requests==2.18.1
Scrapy==1.5.1
SQLAlchemy==1.2.8
ujson==1.35
fire==0.1.3
python-dotenv==0.9.1
alembic==1.0.0
psycopg2==2.7.5
coverage==4.5.1
pytest-env==0.6.2
pillow==5.2.0
openpyxl==2.5.7
前提是到其txt文件中的路径下
4.docker的安装出错
Unable to find image 'hello-world:latest' locally
需要改变docker的镜像,参考链接如下:https://www.docker-cn.com/registry-mirror
然后将docker的键值添加进去即可
"registry-mirrors": ["https://registry.docker-cn.com"]
安装完毕后,通过docker run hello-world来验证是否安装成功
5.brew的安装
brew是mac下的软件包管理工具,通过它可以很方便的安装/卸载软件工具等,
在终端下执行:
/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"
接着就可以通过brew cask install 来安装工具包,比如:
brew cask install docker
6.使用brew安装其他必要库
brew cask install postman
brew cask install tunnelblick
brew cask install typora
brew cask install wireshark
7.command+, 快捷键打开setting
对于大多数的编辑器IDE而言,通过command+,可以快速切换至settings的页面;
8.当在IDE中遇到import出error
原因有两个,一个是如果外部库出error,则是对应py环境的问题,可以通过更换py的环境来进行解决;
另一个如果调用内部的文件出现error,则将source源换为当前内部文件下的源source即可。
9.terminal中的快捷键
ctrl + u 消除命令行内的语句
command +回车 放大terminal至全屏
command + + 放大terminal中显示的字体
10.docker相关命令
通过docker-compose up
命令来启动docker的相关服务;
docker-compose up
启动的容器都在前台,控制台将会同时打印所有容器的输出信息,可以很方便进行调试。
如果使用docker-compose up -d
,将会在后台启动并运行所有的容器。一般推荐生产环境下使用该选项。
通过docker ps
来查看当前docker启动
dock参考文档
11. docker启用出现lost
下次再compose的话,需要先将同路径下的data文件夹删除删除的方法为:
#先查询下当前路径下有无生成的data文件夹
ls
#有的话对data文件夹进行删除
rm -rf data
12.使用alembic进行数据库版本管理
#导入相关配置,更新表结构
alembic upgrade head
#查看当前的版本
alembic current
13.查看当前python环境下安装的库
python --verson
pip list
14.查看terminal下当前的位置路径
pwd
15.使用pgcli连接PostgreSQL
pgcli -h主机名 -p端口号 -U用户名 -d数据库
#用\dt开始查表
\dt
用\q推出数据库命令行界面
\q
进入到数据库界面后,通过\dt来查看当前库中的表
通过\q可以退出数据库进入到原来的terminal界面
16.设置本地环境变量为test
export DITING_ENV=test
注意!!!配置环境变量注意每次都要在虚拟环境下运行!!!否则会出现没有连接的错误!
当出现scrapy卡到某一行,但是出现的200的返回response,先要去考虑是不是本地环境变量没有设置。
17.在项目中查找某条语句
右键项目,find in path
18.alembic 生成 migration
alembic revision --autogenerate -m "update test111111"
19.验证docker是否安装成功
docker run hello-world
ubantu下:
docker run -it ubuntu bash
20. mac下安装docker
brew cask install docker
21.检查docker配置的加速器是否生效
docker info
22.migrations重新配置
对migrations生成的数据库文件进行重新配置:
1.将配置文件删除;
2.将数据库中的alembic_version表删除;
3.使用alembic revision --autogenerate -m "update test111111"
进行数据库重建;
4.导入相关配置alembic upgrade head
5.查看表结构中字段是否重新生成
23.当import引入路径出现错误时
需要查看:
1.文件source的基础位置是否对应:
设置source的方法,右键Mark Directory as ,然后选为source;
2.在命令行运行的过程中,py配置的环境是否为要求的当前环境下运行;
24.查看连接数据库的映射
docker-compose ps
25.pycharm中的代码格式化
option+command+L ⌘⌥L 格式化代码
对代码进行自动标准格式化
⌘+ /⌘- 展开 / 折叠代码块
⇧↩ 开始新的一行
26.Scrapy爬虫查看爬取日志的方法
scrapy crawl jd_comment -a keyword=豆浆机 -L INFO
27.scrapy遇到的常见错误-Unknown command: crawl
没有cd到项目根目录,因为crawl会去搜搜cmd目录下的scrapy.cfg
28.将docker相关服务停止与启动
docker-compose down
docker-compose up
29.git的push和commit
git commit -m "name"
git push -f origin dev
30.git的冲突解决
git stash pop
31.chromdriver的配置
下载路径:chromdriver合集
火狐driver
配置环境变量:将chromdriver放在usr/local/bin的目录下
进入usr/local/bin目录:在访达处输入command + shift + G输入路径
32.pycharm设置项目根目录
33.diago中的环境配置
export DJANGO_SETTINGS_MODULE=app.settings.dev
34.启动docker的配置:含有docker.dev的情况
docker-compose -f docker-compose.dev.yml up -d
35.docker启动失败的原因:
# 启动失败的报错信息
Get https://registry-1.docker.io/v2/: net/http: request canceled while waiting for connection (Client.Timeout exceeded while awaiting headers)
(venv) dapengdeMacBook-Pro:diting-crawler-manager dapeng$ docker-compose -f docker-compose.dev.yml up -d
通过在docker中preference的basic中添加字段:https://registry.docker-cn.com
36.查找本地ip地址
ifconfig en0
37.更改为本地配置的变量环境
export DJANGO_SETTINGS_MODULE=app.settings.dev
38.docker下启动应用
python manage.py startapp herotest
39.当fork下来的运行有问题时,首要看docker-compose中的端口是否和本地的对应!!!!
40.拿不准的时候多用repr() 函数,少用print
41.Mac 终端Terminal光标移动快捷键
将光标移动到行首:control + a
将光标移动到行尾:control + e
42.Python的Date和Datetime
1. Date 类型
from datetime import date
d = date.today()
2.Datetime类型
from datetime import datetime
d = datetime.now()
43.通过extend实现列表的合并:
a = [1,2,3]
b = [4,5,6]
a.extend(b)
print(a)
------------
a = [1,2,3,4,5,6]
44.判断字典是否有key:
#生成一个字典
d = {'name':Tom, 'age':10, 'Tel':110}
#打印返回值,其中d.keys()是列出字典所有的key
print ‘name’ in d.keys()
# 遍历字典,默认遍历其keys
print 'name' in d
(持续更新…)