工作里的一些经验

一、ubuntu 安装 markdown 软件 typora

// or run:
// sudo apt-key adv --keyserver keyserver.ubuntu.com --recv-keys BA300B7755AFCFAE
wget -qO - https://typora.io/linux/public-key.asc | sudo apt-key add -
// add Typora's repository
sudo add-apt-repository 'deb https://typora.io/linux ./'
sudo apt-get update
// install typora
sudo apt-get install typora

二、安装搜狗拼音输入法

// 卸载自带的中文输入法
sudo apt remove 'ibus*'
// 安装fcitx输入法配置框架
sudo apt install fcitx-bin fcitx-table
// 在设置语言中，选择语言输入框架为fcitx，应用到整个系统。
// 下载搜狗拼音linux版本
https://pinyin.sogou.com/linux/
// 搜狗拼音的官方安装教程,可以参考，也就是说先安装fcitx框架，然后安装输入法
//https://pinyin.sogou.com/linux/help.php
// 双击安装

卸载搜狗拼音。

   sudo apt-get  remove  sogoupinyin
   sudo apt-get  purge  sogoupinyin
   sudo apt-get autoremove

三、点击任务栏图标最小化

gsettings set org.gnome.shell.extensions.dash-to-dock click-action 'minimize'

四、mysql5.7

安装

# 安装mysql服务
sudo apt-get install mysql-server -y
# 安装客户端
sudo apt install mysql-client
# 安装依赖
sudo apt install libmysqlclient-dev
# 检查状态
sudo netstat -tap | grep mysql

mysql5.7安装完成后普通用户不能进mysql，原因：root的plugin被修改成了auth_socket，用密码登陆的plugin应该是mysql_native_password，直接用root权限登录就不用密码,修改root密码和登录验证方式。

# root权限进入mysql
sudo mysql
mysql> select user, plugin from mysql.user;
+------------------+-----------------------+
| user             | plugin                |
+------------------+-----------------------+
| root             | auth_socket           |
| mysql.session    | mysql_native_password |
| mysql.sys        | mysql_native_password |
| debian-sys-maint | mysql_native_password |
+------------------+-----------------------+
4 rows in set (0.00 sec)

mysql> update mysql.user set authentication_string=PASSWORD('xiaodianchi'), plugin='mysql_native_password' where user='root';
Query OK, 1 row affected, 1 warning (0.01 sec)
Rows matched: 1  Changed: 1  Warnings: 1

mysql> flush privileges;
Query OK, 0 rows affected (0.01 sec)

mysql> exit
Bye
# 重启mysql
niu@ubuntu:~$ sudo /etc/init.d/mysql restart
[ ok ] Restarting mysql (via systemctl): mysql.service.

远程登录mysql

# 修改配置文件，注释掉bind-address = 127.0.0.1
niu@ubuntu:~$ sudo vim /etc/mysql/mysql.conf.d/mysqld.cnf 
niu@ubuntu:~$ mysql -uroot -p
Enter password: 

mysql> grant all on *.* to root@'%' identified by '123456' with grant option;
Query OK, 0 rows affected, 1 warning (0.00 sec)

mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)

mysql>  exit
Bye
# 重启mysql
niu@ubuntu:~$ sudo /etc/init.d/mysql restart

五、docker 命令

​ http://www.runoob.com/docker

六、celery 使用简介

​ http://www.mamicode.com/info-detail-1404433.html

七、ubuntu18.04 安装redis

# 安装命令：
sudo  apt-get install redis-server 

#查看tcp 连接
netstat -ap | grep  6379

八、flask 命令行模式

​ https://www.cnblogs.com/liaojiafa/p/6730855.html

九、安装 cuda

# delete exist cuda env
sudo apt-get remove cuda
sudo apt-get autoclean
sudo apt-get remove cuda*

cd /usr/local/
sudo rm -r cuda*

# install cuda 10
mkdir ~/software/
cd ~/software/
wget https://developer.nvidia.com/compute/cuda/10.0/Prod/local_installers/cuda-repo-ubuntu1604-10-0-local-10.0.130-410.48_1.0-1_amd64
sudo dpkg -i cuda-repo-ubuntu1604-10-0-local-10.0.130-410.48_1.0-1_amd64.deb
sudo apt-key add /var/cuda-*/7fa2af80.pub
sudo apt-get update
sudo apt-get install cuda

十、执行sudo apt-get upgrade时出现错误解决办法

​

Errors were encountered while processing:
 blueman
E: Sub-process /usr/bin/dpkg returned an error code (1)

​ 通过执行下面的命令可以解决该问题：

$ sudo mv /var/lib/dpkg/info/ /var/lib/dpkg/info_old/
$ sudo mkdir /var/lib/dpkg/info/
$ sudo apt-get update
$ sudo apt-get -f install
$ sudo mv /var/lib/dpkg/info/* /var/lib/dpkg/info_old/
$ sudo rm -rf /var/lib/dpkg/info
$ sudo mv /var/lib/dpkg/info_old/ /var/lib/dpkg/info/

十一、ubuntu后 分辨率只有640*480 的解决办法

试过改 xorg.conf， 配置xrandr 和 cvt 均无效。。。

最后修改的grub文件， 成功了。。

打开：/etc/default/grub
搜索：#GRUB_GFXMODE=640x480
编辑：640x480改成你想要的分辨率，并取消前面的#
例如：GRUB_GFXMODE=1024x768
更新：sudo update-grub

重启

十二、Ubuntu18.04中创建Pycharm快捷方式

终端进入此路径：cd /usr/share/applications

执行命令：sudo touch pycharm.desktop

执行命令：sudo vim pycharm.desktop

复制下面代码到pycharm.desktop文件中，注意修改其中标记的两项的路径

[Desktop Entry]

Version=1.0

Type=Application

Name=PyCharm

Icon=/home/videt/环境安装/pycharm安装linux/pycharm-community-2018.2.3/bin/pycharm.sh 

Exec="/home/videt/环境安装/pycharm安装linux/pycharm-community-2018.2.3/bin/pycharm.sh"

Comment=The Drive to Develop 

Categories=Development;IDE; 

Terminal=false Startup 

WMClass=jetbrains-pycharm

编辑完毕 保存并退出后，修改文件权限：sudo chmod u+x pycharm.desktop

在系统搜索处输入pycharm，双击启动即可

十三、Python的Flask框架开发RESTful API

​ https://www.jianshu.com/p/ed1f819a7b58

十四、HTTP状态码详解

​ https://tool.oschina.net/commons?type=5

十五、ubuntu 下 Vue 开发环境搭建

​ https://blog.csdn.net/FormulaRoom/article/details/73920741

十六、ubuntu查看磁盘空间大小

df -h

十七、Docker

• 更改容器端口映射

#先停止容器
docker stop containerA
#将容器commit成为一个镜像
docker commit containerA  newImageB
#运行容器
docker run  -p 8080:8080 -p 8081:8081 -v /home/data/:/home/data/ -dt newImageB

• 查看容器 ip

docker inspect redis_s

• 运行容器 新的

docker exec -it redis_s

• docker commit

sudo docker commit -m "image_spin_v1" -a "mn" 22d356eb4ba0 image_spin:v1

• docker sava

sudo docker save image_spin:v1 > image_spin.tar

• docker load

sudo docker load < image_spin.tar

• docker tag

sudo docker tag 586b61dbfc52 image_spin:v1

• docker run

sudo docker run -p 1333:1333 --name image_spin -it -v /home/videt/桌面/DjangoAPI:/root/home/DjangoAPI

• docker run redis

docker run --net=container:$sp -v $PWD/redis/data:/data -d redis redis-server --appendonly yes

• docker 文件夹传输

 sudo docker cp DjangoAPI 70c2b919a820:/workspace/DjangoAPI

• docker 一次执行多条命令

docker run -it -p 1333:1333 --name image_spin -v $(pwd):/workspace --env LANG=C.UTF-8 --workdir=/workspace python3.6_all:small sh-c "python3 manage.py runserver 0.0.0.0:1333 && celery -A celery_tasks.main worker -l info"

• docker mongo

sudo docker run --net=container:$sp -v $PWD/db:/data/db -d mongo

• sudo docker ps -q

查看正在运行的所有容器id

• 批量删除

sudo docker rm $(sudo docker ps -a -q)

十八、celery run

celery -A celery_tasks.main worker -l info 

十九、django run

python3 manage.py runserver 0.0.0.0:1333 &

二十、安装 cuda

# delete exist cuda env
sudo apt-get remove cuda
sudo apt-get autoclean
sudo apt-get remove cuda*

cd /usr/local/
sudo rm -r cuda*

# install cuda 10
mkdir ~/software/
cd ~/software/
wget https://developer.nvidia.com/compute/cuda/10.0/Prod/local_installers/cuda-repo-ubuntu1604-10-0-local-10.0.130-410.48_1.0-1_amd64
sudo dpkg -i cuda-repo-ubuntu1604-10-0-local-10.0.130-410.48_1.0-1_amd64.deb
sudo apt-key add /var/cuda-*/7fa2af80.pub
sudo apt-get update
sudo apt-get install cuda

二十一、服务器上传下载文件

scp videt@10.5.5.200:~/Projects/DockerImage/image_spin.tar ~/桌面/

二十二、安装 gitbook

• 安装

npm install -g gitbook-cli

• 初始化
  在电子书文件夹输入

gitbook init

• README.md
  此文件是简单的电子书介绍，可以把您所制作的电子书做一下简单的描述：
• Summary.md
  此为电子书的导航目录文件，每当新增一个章节文件就需要向此文件中添加一条记录。对于 Kindle 电子书来说，此文件所呈现的目录结构就是开头的目录内容和“前往”的目录导航。

# Summary

* [Introduction](README.md)

-----
* [前言](README.md)
* [Getting Started](第一章/README.md)
    * [第1节：Deep Learning with PyTorch: A 60 Minute Blitz](第一章/第一节.md)
* [Image](第二章/README.md)
* [Text](第三章/README.md)

• Glossary.md
  对于电子书内容中需要解释的词汇可在此文件中定义。词汇表会被放在电子书末尾。其格式如下所示：

# 电子书
电子书是指将文字、图片、声音、影像等讯息内容数字化的出版物和植入或下载数字化文字、图片、声音、影像等讯息内容的集存储和显示终端于一体的手持阅读器。
 
# Kindle
Amazon Kindle 是由 Amazon 设计和销售的电子书阅读器（以及软件平台）。用户可以通过无线网络使用 Amazon Kindle 购买、下载和阅读电子书、报纸、杂志、博客及其他电子媒体。

• book.json
  “book.json”是电子书的配置文件，可以看作是电子书的“原数据”，比如 title、description、isbn、language、direction、styles 等。它的基本结构如下所示：

{
    "title": "我的第一本電子書",
    "description": "用 GitBook 制作的第一本電子書！",
    "isbn": "978-3-16-148410-0",
    "language": "zh-tw",
    "direction": "ltr"
}

• 电子书封面图片
  GitBook 帮助文档建议封面图片的尺寸为 1800*2360 像素
  图片的格式为 jpg 格式。把图片重命名为“cover.jpg”放到电子书项目文件夹即可。
• 预览电子书内容
  电子书内容编写完毕后可以使用浏览器预览一下。先输入下面的命令据 .md 文件生成 HTML 文档：

gitbook build

生成完毕后，会在电子书项目目录中出现一个名为“_book”的文件夹。进入该文件夹，直接用浏览器打开“index.html”，或先输入下面的命令：

gitbook serve

然后在浏览器中输入“http://localhost:4000”即可预览电子书内容，预览完毕后按 Ctrl + C 结束。

• 生成电子书文件
  确定电子书没有问题后，可以通过输入以下命令生成 mobi 电子书：

gitbook mobi ./ ./MyFirstBook.mobi

二十三、安装 mysql

- 安装
sudo apt-get install mysql-server
 
sudo apt-get isntall mysql-client

sudo apt-get install libmysqlclient-dev
- 登录

没有设置密码的话，使用 mysql -uroot -p 登录会需要输入密码，直接按Enter键，会导致出现错误：ERROR 1698 (28000): Access denied for user ‘root’@‘localhost’
解决办法：加上 sudo ，直接按 Enter

• 修改密码（登录后）

set password for root@localhost = password('新密码'); 

• 修改密码（忘记密码不能登录）

sudo cat /etc/mysql/debian.cnf  # 查看配置中自带用户的帐号密码
sudo mysql -u用户名 -p密码  # 把配置中的user和password输入
# 修改密码
use mysql;
update mysql.user set authentication_string=password('新密码') where user='root' and Host ='localhost';
update user set plugin="mysql_native_password"; 
flush privileges;
quit;
# 重新启动mysql
sudo service mysql restart

二十四、安装 mongodb

• 安装

sudo apt-get install mongodb

• 查看版本

sudo mongo -version

• 开启 mogo 并查看状态

service mongodb start
pgrep mongo -l

• 使用 mongo

mongo

• pycharm 安装 mongo 插件
  pycharm -> setting -> Plugins
  查找 Mongo Plugin 进行安装
  pycharm 右边会出现 Mongo Explorer
  点击 + 号，写上 Lable 名 ，随便写 不能写 Mongo
  直接连接

二十五、gitlab CI/CD

https://www.jianshu.com/p/306cf4c6789a
https://blog.csdn.net/fay462298322/article/details/79725396
https://q.cnblogs.com/q/94648/
https://www.jianshu.com/p/30e3f2940078

# sudo docker pull gitlab/gitlab-runner
# sudo docker run -d --name gitlab-runner -v ~/Desktop/gitlab-runner/config:/etc/gitlab/runner/ -v /var/run/docker.sock:/var/run/docker.sock/ gitlab/gitlab-runner:latest
# sudo docker exec -it gitlab-runner gitlab-ci-multi-runner register

sudo apt-get install gitlab-ci-multi-runner

gitlab-ci-multi-runner register

gitlab-ci-multi-runner run

sudo gitlab-ci-multi-runner verify

二十六、创建docker私有仓库

https://www.cnblogs.com/baolong/p/5743748.html
https://blog.csdn.net/suresand/article/details/82194002
https://blog.csdn.net/songchunxiao1991/article/details/82629148
http://10.5.5.83:5000/v2/_catalog

二十七、gitlab clone报错

https://tinyhema.iteye.com/blog/2019754
改用http吧骚年，指不定用户名密码都没设

二十七、docker-machine 报错

报错一、VBoxManage not found. Make sure VirtualBox is installed and VBoxManage is in the path

报错系统：Ubuntu 18.04.1 LTS

试试这三条命令

base=https://github.com/docker/machine/releases/download/v0.16.0 &&
curl -L $base/docker-machine-$(uname -s)-$(uname -m) >/tmp/docker-machine &&
sudo install /tmp/docker-machine /usr/local/bin/docker-machine

Then:
sudo docker-machine create --driver virtualbox default

Reference from:
https://github.com/docker/machine/issues/4590#issuecomment-432821143
https://docs.docker.com/machine/install-machine/#install-machine-directly

报错二、Error creating machine: Error in driver during machine creation: This computer doesn’t have VT-X/AMD-v enabled. Enabling it in the BIOS is mandatory
报错系统：Ubuntu 18.04.1 LTS
微星（msi）电脑

重启
在msi界面
按del进入bios
- AMD处理器
查找 SVM Mode 改为 Enabled
- Intel处理器
Virtul Technology 改为 Enabled

二十八、docker-machine 用法

• 创建虚拟机

sudo docker-machine create --driver virtualbox default

• 删除虚拟机

sudo docker-machine rm default

• 删除虚拟机

sudo docker-machine rm default

• 查看环境变量

docker-machine env default

• eval “$(docker-machine env dev)” 的意思就是把上面的输出当做shell 命令在当前shell下执行。

二十九、gitlab-runner no tty

https://www.cnblogs.com/restful/p/6711063.html

三十、卸载清理docker

https://www.linuxidc.com/Linux/2018-10/154633.htm

三十一、网易云音乐播放

sudo netease-cloud-music &

三十二、 查询进程

sudo ps aux | grep 关键字

sudo ps -ef | grep 关键字

三十三、 批量杀 pid

sudo ps aux | grep docker | cut -c 9-15 | sudo xargs kill -s 9

sudo docker rm $(sudo docker ps -a -q)

gitlab 操作

# 创建本地分支并映射远程分支
git checkout -t 远程分支名
# submodule
git submodule add http://10.5.5.210/kongyu/customsevaluation.git libs/CustomsEvaluation

gitlab-runner 权限问题

https://blog.csdn.net/frankcheng5143/article/details/85772422

三十四、git撤销已经push到远端的commit

先在本地回退到相应的版本：

git reset --hard <版本号>
// 注意使用 --hard 参数会抛弃当前工作区的修改
// 使用 --soft 参数的话会回退到之前的版本，但是保留当前工作区的修改，可以重新提交

修改后 commit

此时执行git push origin <分支名>

会提示本地的版本落后于远端的版本；

为了覆盖掉远端的版本信息，使远端的仓库也回退到相应的版本，需要加上参数--force

git push origin <分支名> --force

三十五、asyncio

https://blog.csdn.net/luanpeng825485697/article/details/81461277

三十四、内存、运行时间查看

from memory_profiler import memory_usage

# 返回一段时间的内存值
# proc=-1 表示此进程，可以指定特定的进程号
# interval=.2 表示监控的时间间隔是0.2秒
# timeout=1 表示总共的时间段为1秒
mem_usage = memory_usage(-1, interval=.2, timeout=1)
print(mem_usage)

三十五、logging

https://www.cnblogs.com/louis-w/p/8567434.html

三十六、 SQL 垂直分表

分表sql语句

1.复制表结构及数据到新表

 create table 新表 select * from 旧表 where …

2.只复制表结构到新表

 create table 新表 select * from 旧表 where 1=2 (即:让where条件不成立) 

3.复制旧表的数据到新表(假设两个表结构一样)

 insert into 新表 select * from 旧表

4.复制旧表的数据到新表(假设两个表结构不一样)

 insert into 新表(字段1,字段2,…….) select 字段1,字段2,…… from 旧表

垂直拆分步骤

1. 导出两个表数据(不包括表结构)
2. 数据库迁移
3. 导入两个表数据

三十七 mysql 导出表结构和表数据 mysqldump用法

  

导出整个数据库结构和数据
mysqldump -h localhost -uroot -p123456 database > dump.sql

 

导出单个数据表结构和数据
mysqldump -h localhost -uroot -p123456  database table > dump.sql

 

 

导出整个数据库结构（不包含数据）
mysqldump -h localhost -uroot -p123456  -d database > dump.sql

 

导出单个数据表结构（不包含数据）
mysqldump -h localhost -uroot -p123456  -d database table > dump.sql

三十八 mysql 垂直拆分

1. 备份
mysqldump -h 127.0.0.1 -uvidet-annotation -pVidet505 videt_annotation > annotation_8081.sql

2. 建新表存分表数据
use videt_annotation

create table testSystem_contrastdetail2 select id,company,correct_rate,return_rate,contrast_detail,json_detail,business_number from testSystem_contraststatus;

3. migrate
python manage.py makemigrations
python manage.py migrate

4. 插入数据
insert into testSystem_contrastdetail select * from testSystem_contrastdetail2

5. 删除临时表
drop table testSystem_contrastdetail2;

三十九 docker 安装

https://docs.docker.com/install/linux/docker-ce/ubuntu/

docker run --name=ordering -p 8081:8999 -v ~/annotation_frontend/dist:/usr/share/nginx/html -v ~/annotation_frontend/nginx.conf:/etc/nginx/nginx.conf -d nginx