1、CentOS 7中添加一个新用户并授权
https://blog.csdn.net/ggxiaobai/article/details/53504989
https://help.aliyun.com/document_detail/50775.html
2、 不支持rz 和sz
https://blog.csdn.net/fireblue1990/article/details/74147190
3、不支持unzip
https://www.cnblogs.com/zhi-leaf/p/6002303.html
4、 配置域名解析 （在阿里云）
产品与服务 > 域名 那里
5、mongoDB 的安装配置
window 下安装本地练习详细看:
https://blog.csdn.net/heshushun/article/details/77776706
找到安装目录下 mongod --dbpath D:\data\db 跑mongoDB
再去 D:\mongodb\bin 中打开 mongo.exe
即可正常使用了
现在开始用node进行调用
常用指令：
use dbName 查看已经插入的文档
show collections 查看已存在的集合
db.col.find().pretty() 查看集合内容
db.dropDatabase() 删除当前use的库
db.库名.drop() 删除集合
db.表名.find().skip(0).limit(20) // 查询第一页（page=1）
db.表名.find().skip((page-1)*pageSize).limit(pageSize) // 总的分页器查询
XXXX.find({}).count(); // 查询中的数量 /pageSize 就是总页Math.ceil(totalNum/pageSize)
ctx.model.IqiyiTvlist.find().skip((pageno - 1) * pagesize).limit(pagesize) // egg-mongoose
centos 7 下的安装：
http://www.runoob.com/mongodb/mongodb-linux-install.html
到安装目录**/usr/local/mongodb/bin** 跑 ./mongod --config ./mongodb.config
浏览器上打开 http://机器ip:27017/ ，测试mongodb 是否已经启动（确保阿里云安全组端口已打开）。
6、做爬虫（抓取爱奇艺数据）
puppeteer 安装在centos 遇到一些问题。最终解决
https://www.jianshu.com/p/163d355d2454
https://segmentfault.com/a/1190000011382062
nohup 日志管理
unix/Linux下一般想让某个程序在后台运行，很多都是使用 & 在程序结尾来让程序自动运行
https://www.cnblogs.com/baby123/p/6477429.html
7、跑 nginx 配置https 证书
(将根目录设置在/home/service/www/web)
下载配置文件
nginx配置SSL证书
配置之后用root ，依然会报403 权限错误。(将home/service 也进行权限处理 chomd 777 + 文件 )
nginx 反向代理：
https://blog.csdn.net/xiaoxiangzi520/article/details/78737527
常用nginx 指令：
nginx -t 查看当前nginx 的配置目录（/etc/nginx）
nginx 启动nginx 可直接范围ip 进行验证
nginx -s reload 重启nginx
nginx -s quit 关闭nginx
注意proxy_pass 最后一个带与不带/是有区别的
location /proxy/ {
proxy_pass http://127.0.0.1/;
}
// 代理到URL：http://127.0.0.1/test.html
第二种（相对于第一种，最后少一个 / ）
location /proxy/ {
proxy_pass http://127.0.0.1;
}
代理到URL：http://127.0.0.1/proxy/test.html
开启gizp 压缩
#gzip模块设置
gzip on; #开启gzip压缩输出
gzip_min_length 1k; #最小压缩文件大小 大于1K的才压缩，一般不用改
gzip_buffers 4 16k; #压缩缓冲区 不改
# gzip_http_version 1.0; #压缩版本（默认1.1，前端如果是squid2.5请使用1.0）
gzip_comp_level 2; #压缩等级
gzip_types text/plain application/x-javascript application/javascript text/css application/xml; #压缩类型，默认就已经包含textml，所以下面就不用再写了，写上去也不会有问题，但是会有一个warn。
gzip_vary on;
gzip_disable "MSIE [1-7]\.";
centos 常用指令：
（似乎是root 的权限才生效，service用户老是挂不起）
nohup node server.js &
nohup node demo2.js nohup.out &
ps -aux|grep katoto.js
tail -f **.out 实时查看错误日志
查看进程 ，然后 可以用kill -9 + pid 来杀死。
netstat -nap | grep 80 查看端口占用情况。
jobs -l 查看运行的后台进程
= 当需要重启机器时，机器重启之后 =
跑**/usr/local/mongodb/bin** 下的 ./mongod --config ./mongodb.config
命令，这个config 是在安装的时候加上的。放到bin下。
config 内容：
dbpath = /data/db
logpath = /data/logs/mongodb.log
port = 27017
fork = true
bind_ip = 0.0.0.0
浏览器上打开http://机器ip:27017/ 测试mongodb 是否已经启动。
重起爬虫 /home/service/getList 下的index.js
index.js 爬虫源码：
const puppeteer = require('puppeteer')
let getList = async () => {
const browser = await (puppeteer.launch({
ignoreHTTPSErrors: true,
devtools: false,
headless: true,
args: ['--no-sandbox']
}))
const page = await browser.newPage()
await page.goto('https://www.iqiyi.com/dianying_new/i_list_paihangbang.html')
const movieList = await page.evaluate(() => {
let movieList = []
document.querySelectorAll('.site-piclist .J_videoLi').forEach((item, index) => {
let currObj = {}
currObj._id = item.getAttribute('tvid')
currObj.picLink = item.querySelector('.site-piclist_pic_link').getAttribute('href')
currObj.pic = item.querySelector('img').getAttribute('src')
currObj.name = item.querySelector('img').getAttribute('title')
currObj.desc = item.querySelector('.site-piclist_info_describe').innerHTML
currObj.score = item.querySelector('.score .num').innerHTML
movieList.push(currObj)
})
return movieList
})
const pagemusic = await browser.newPage()
await pagemusic.goto('https://list.iqiyi.com/www/5/----------------iqiyi--.html')
const musicList = await pagemusic.evaluate(() => {
let musicList = []
document.querySelectorAll('.site-piclist .site-piclist_pic a').forEach((item, index) => {
let currObj = {}
currObj._id = item.getAttribute('data-qidanadd-tvid')
currObj.picLink = item.getAttribute('href')
currObj.pic = item.querySelector('img').getAttribute('src')
currObj.name = item.querySelector('img').getAttribute('title')
currObj.timeLen = item.querySelector('.viedo_rb .icon-vInfo').innerHTML
musicList.push(currObj)
})
return musicList
})
browser.close()
return {
movieList,
musicList
}
}
var MongoClient = require('mongodb').MongoClient
var url = 'mongodb://47.96.234.59:27017/'
MongoClient.connect(url, { useNewUrlParser: true }, function (err, db) {
if (err) throw err
var dbo = db.db('katoto')
setInterval(async () => {
let backData = null
backData = await getList()
console.log(new Date())
backData.movieList.forEach((item, index) => {
dbo.collection('movie').save(item)
})
backData.musicList.forEach((item, index) => {
dbo.collection('music').save(item)
})
}, 600000)
})
跑nginx (重启自启动)
启接口服务 7001
需要先cd eggAjax 那，然后npm run stop
再npm run start
设置https证书
server段代码：
server {
listen 443;
server_name localhost;
ssl on;
#root html;
#index index.html index.htm;
ssl_certificate cert/cert-1541754636220_www.katoto.cn.crt; # 文件位置
ssl_certificate_key cert/cert-1541754636220_www.katoto.cn.key; # 文件位置
ssl_session_timeout 5m;
ssl_ciphers ECDHE-RSA-AES128-GCM-SHA256:ECDHE:ECDH:AES:HIGH:!NULL:!aNULL:!MD5:!ADH:!RC4;
ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
ssl_prefer_server_ciphers on;
location / {
root /home/service/www/web;
try_files $uri $uri/ /$args;
index index.html index.htm;
}
}
node 起一个服务。
https://chenshenhai.github.io/koa2-note/
koa 学习记录
https://chenshenhai.github.io/
egg 尝试使用
(router 文件要在app 下)
https://blog.csdn.net/xiaoba_598/article/details/83141894
https://www.cnblogs.com/web-fengmin/p/6435681.html
遇到跨域问题
1、用 egg-cros
https://cnodejs.org/topic/5abcb0c50b13e3ad6954cf7a
2、nginx 代理
location ^~/api/{
proxy_pass http://127.0.0.1:7001
}
搭建一个jenkins 自动构建工具
https://www.cnblogs.com/loveyouyou616/p/8714544.html
启动有点问题
安装插件有问题
最终解决方案
step1：访问locahost：8080/restart，越过配置插件的页面，直接访问
step2：点击【系统管理】–【管理插件】–【高级】–【上传插件】，手动安装下载好的插件，然后重启就行
默认的jobs空间
/root/.jenkins/jobs
插件手动离线安装
https://www.cnblogs.com/ziyuyuyu/p/9237636.html
http://updates.jenkins-ci.org/download/plugins/
docker
https://www.cnblogs.com/yufeng218/p/8370670.html
docker 常用指令
docker search lamp // 找包
docker pull + name // 拉取包
docker ps -a // 查看docker 进程
docker run -p 80:80 -i -t + name // 进入docker 80 为真实端口与docker 的映射
// 进入docker 环境
service apache2 start
service mysql start
mysql -uroot -p // 进入mysql
// 删除docker 后遗症
docker ps -a|awk '{print $1}'|xargs docker rm
docker run -p 4590:80 -i -t -d linode/lamp // 跑起
docker ps 查看进程
docker exec -it e0e1925750d8 bash
php 升级
https://blog.csdn.net/wuhounuanyangzhao/article/details/79709077
strongswan 科学工具
复制id_rsa.pub 最好用cat 来进行复制。
遇到奇怪问题 ，检查是否，1、内存爆了。2、磁盘满了
top 查看内存。
du 查看磁盘文件情况
du -lh --max-depth=1
240
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
