用ubuntu+owncloud+nginx+php-fpm+mysql+aria2打造私有云+远程下载器
起由
- 由于最近的“净网”行动,很多网盘包括我一直在使用的快盘关停,仍然存活的百度云、360云等又没有linux客户端,用Dropbox等国外网盘受空间和墙的限制比较大。
- 同时又有一定的收集高清电影在局域网里共享播放的需要。家里是百兆电信宽带,平时空时可以用来下载,所以有了自建以私有云为基础的服务器的想法。
- 私有云方案有多种方案,出于可扩展功能的需要,选择了Ubuntu14.04+Owncloud的方案,使用者要有一点的linux操作和vi编辑经验。
- 顺带要把mysql和phpmyadmin也配置好
主机配置
主机放于家庭电视机柜中,24小时开机,乔思伯V3 ITX HTPC机箱
乔思伯V3机箱- 放了3块以前留下的2.5寸硬盘,一共2.5T,其中两块是装在PCIE硬盘挂架上。
- 内存2G(以前淘汰下来的,基本够用),系统装在一块64Gssd上
主板集成J1800 CPU,无风扇,TDP 15w,足够放1080p X264编码的高清电影,不过现在建议用更高级的N3455主板,能放4k的高清。
J1800主板- 不算硬盘,HTPC的资金投入是 主板250+内存100+机箱200+电源150=700
带端口映射的智能路由器
- 一般情况下,家庭局域网出口在公网环境下是没有固定ip,所以路由要有动态域名解析功能,能从公网环境中反向通过家庭路由访问到局域网
- 由于电信封了80和8080端口,同时又要把对路由公网ip的访问转到HTPC上,所以要有端口映射功能
- 又有其他翻墙、路由分离功能
- openwrt是一个比较好的方案,我的方案是淘宝上这一款 841N 五口 OpenWrt 无线路由器 16M 64M 双天线,体积小,拆掉天线后放入弱电箱,无线功能靠二级路由实现,要注意要把二级跟帖的ip段设置的和主路由一样。
- 以下我都把我用的这个路由器称作为openwrt
841N 五口 OpenWrt 无线路由器
修改openwrt路由器root密码和端口
上述路由器的默认帐户和密码是root,出于安全的需要,请把密码改了
改root密码- 电信封了家庭用户的80和8080端口,如果你想在办公室里修改家里路由器的设置,请修改。
- 方法:在局域网环境下,
ssh root@192.168.10.1
- windows下建议用xshell,在此下载 ->Zdfans上的xshell下载
- linux下直接terminal
- 进入 /etc/config后编辑 uhttp,
vi uhttp
,把两个listen_http后面的端口改成800。
config uhttpd 'main'
list listen_http '0.0.0.0:800'
list listen_http '[::]:800'
list listen_https '0.0.0.0:443'
list listen_https '[::]:443'
- 重启路由
开启openwrt的端口映射
- 首先要确定你的机器(下面统称HTPC)的静态IP
- 在web界面,网络-防火墙-端口转发里,增加以下几条转发到此静态IP的规则
21->21:#For FTP
20->20:#For FTP
22->22:#For SSH remote login
443->443:#For Https
6800->6800:#For Aria2
6801->6801:#For Aria2
- 你们可以注意到没有规则对80转发或者转发到80端口
开启动态域名
- openwrt内置动态域名解析功能,可以在 changeip.com去申请,比如我申请了一个testdomain.changeip.com,这样在外网环境中结合上述端口映射,可以直接对内网中的HTPC进行操作,安装软件、修改服务、。
安装samba和vsftp
- ssh到HTPC后自行安装,并设置好目录,我 木木是把 三块 HDD mount 到 /mnt目录下,开启对samba用户和ftp用户的访问权。
- 我的samba的配置要用到图形界面软件
system-config-samba
,最好在htpc上直接用键盘操作。
安装mysql
sudo apt-get install mysql-server mysql-client
出人意料的NTFS权限问题
- 这个是历史遗留问题:
我的三块硬盘在放到htpc里时全是ntfs格式,上面都有数据,不能无损转成EXT4 - owncloud的存贮路径是在其中一块硬盘上,原来是直接mount到/mnt目录下,在后面配置owncloud时指定存贮目录时,出现权限770问题
- 数据太多,不能格盘,在owncloud的官方网站上找了好久,找出是mount时出的 用户权限分配问题,后来通过修改 /etc/fstab 指定 mount时的uid等来解决
/dev/sdb5 /mnt/disk1 ntfs locale=zh_CN.UTF-8,uid=33,gid=33,dmask=007,windows_names 0 0
- 上面的uid=33,gid=33分别对应远行nginx的用户
www-data
和用户组www-data
安装nginx和php-fpm和mysql
- 请给你的mysql设置一个比较强的root密码,并且为owncloud创建专有用户
sudo apt-get install nginx
sudo add-apt-repository ppa:ondrej/php
sudo apt-get update
sudo apt-get install php7.0 php-fpm php-mysql php-mbstring
安装phpmyadmin和owncloud
- 直接从网上下载,解压到web服务目录
- 我的web服务根目录是
/home/test/www
- 改变目录拥有者
sudo chown www-data -R /home/test/www
- 改变权限
sudo chmod 755 -R /home/test/www
- 配置phpmyadmin
- 拷贝原始配置文件
cd /home/test/www/phpmyadmin
cp config.sample.inc.php config.inc.php
vi /home/test/www/phpmyadmin/config.inc.php
- 配置
$cfg['blowfish_secret'] = '$#%#$%#$%#$^#^ETETR';
就是一个加密信息,越乱越好 - 配置另一个config文件
cd /home/test/www/phpmyadmin/libraries
vi config.default.php
- 同样配置
$cfg['blowfish_secret']
- 其他用默认
分别配置php7-fpm和php5-fpm
- 先装的是php7-fpm,和新版phpmyadmin 配合的比较好,但是和owncloud9.0不兼容
- 幸好php7-fpm里也有php5-fpm,经过一番试验后,可以分别配置两个php的后台运行
- php7.0的 配置环境在 /etc/php/7.0/fpm里,有php-fpm.conf和php.ini两个重要的配置文件
- php.ini:
- 设置
short_open_tag = On
extension_dir = "/usr/lib/php/20151012"
,目录通过catfish
搜索mysql.so
找到,用于安装各种扩展,应该是apt-get install
时自动放入。- 开启对mysql的支持:
extension=mysqli.so
,extension=pdo_mysql.so
- 设置''cgi.fix_pathinfo=0''
- php-fpm.conf:
可以看到include=/etc/php/7.0/fpm/pool.d/*.conf
,里面有www.conf
文件- 配置
listen
:listen = /run/php/php7.0-fpm.sock
,配置nginx时会用到 - 重启php-fpm:
sudo service php7-fpm restart
- 配置
- php5的配置文件夹为
/etc/php5/fpm
,也是这两个文件* php-fmp.conf和php.ini*两个重要的文件
- php.ini
1. 设置 ```short_open_tag = On```
2. ``extension_dir="/usr/lib/php5/20121212"``,注意和php7的不同,估计也是编译时生成
3. ``cgi.fix_pathinfo=1``,应该是和owncloud有关的一个设置,否则会报错。
4. 各种extensions,有部分是和owncloud相关
```
extension=mysql.so
extension=mysqli.so
extension=pdo_mysql.so
extension=pdo.so
extension=json.so
extension=gd.so
extension=opcache.so
```
- php-fpm.conf
可以看到include=/etc/php5/fpm/pool.d/*.conf
,里面有www.conf
文件,找listen参数:listen = /var/run/php5-fpm.sock
nginx开启https,两种方案
owncloud9.0强制要求https服务,需要对自己web站进行认证,实际中我试过两种方案,最后用的是第一种方案
用自签名的SSL证书
- 采用自验证方案,借用廖雪峰大神的脚本给Nginx配置一个自签名的SSL证书
- 运行这个脚本后,把生成的key文件和crt文件复制到
/etc/nginx/ssl/
目录,
如/etc/nginx/ssl/testdomain.changeip.com.crt
和/etc/nginx/ssl/testdomain.changeip.com.key
配置nginx时要用到
或者你直接在后面写nginx文件时指向这两个文件
用letsencypt加密自己的服务器
- 被大牛吐槽自授权是错误的价值观,在他的建议下换成 Let’s Encrypt(是一个免费、自动化、开放的证书颁发机构,由网络安全研究小组运作)的免费授权系统,主要参考了Let's Encrypt SSL证书配置和折腾Let‘s Encrypt免费SSL证书
- 下载安装
git clone https://github.com/certbot/certbot.git
cd certbot
./letsencrypt-auto --help
- 生成密钥,在这之前要停止nginx
./letsencrypt-auto certonly -d testdomain.changip.com -m testdomain@gmail.com
- 这样,会生成
/etc/letsencrypt/live/testdomain.changeip.com/fullchain.pem
/etc/letsencrypt/live/testdomain.changeip.com/privkey.pem
两个文件,不用移动位置 - 生成2048位 DH parameters:
sudo openssl dhparam -out /etc/nginx/ssl/dhparams.pem 2048
- 美中不足的是,这种方案只有90天的有效期,要到时候运行脚本renew
owncloud
- 前面已经提到了很多owncloud的配置,都为实践中一一摸索得来,主要有
- 专用mysql用户
- https证书
- php.ini配置
- 文件夹权限
- 端口映射
- 特别要强调,要把owncloud的数据文件目录的用户改成 www-data,权限也要改770
aria2和yaaw
- aria2可以apt-get安装或者编译安装,参考网上教程,至少能安装到1.19版本
- yaaw下载后直接解压缩到/home/kodi/yaaw下
- aria2的教程网上很多,我这里贴出我的配置,放在~/.aria2/aria2.conf里
rpc-secret=secret #token加密方式
enable-rpc=true
rpc-allow-origin-all=true
rpc-listen-all=true
rpc-listen-port=6800#nginx里有个转发到这个端口的设置
rpc-secure=true
rpc-certificate=/etc/letsencrypt/live/testdomain.changeip.com/fullchain.pem
rpc-private-key=/etc/letsencrypt/live/testdomain.changeip.com/privkey.pem
max-concurrent-downloads=5
continue=true
max-connection-per-server=5
min-split-size=10M
split=10
max-overall-download-limit=3M
max-download-limit=0
max-overall-upload-limit=256K
max-upload-limit=0
dir=/mnt/disk2/Downloads
disk-cache=32M
file-allocation=prealloc
input-file=/home/kodi/.aria2/aria2.session
save-session=/home/kodi/.aria2/aria2.session
- 在配置yaaw是关键一步,在
setting
后,要把JSON-RPC Path
设置成
https://token:secret@testdomain.changeip.com:6801/jsonrpc #请注意https和6801
nginx配置
- 这一步配的头大,后来参考了owncloud官方配置文件才写出来
- 实际使用过程中又进行了不断的调整
- 你们可以注意到有个对 6801进行ssl加密又转发到6800端口的配置 ,这是为了让yaaw在全站加密的情况下,突破aria2c的server对https的兼容性问题
- 要解释的东西太多了,有些我还看不懂,以后一一写来
upstream php5-handler {
server unix:/var/run/php5-fpm.sock;
}
upstream php7-handler {
server unix:/run/php/php7.0-fpm.sock;
}
server{
listen 6801 ssl;
server_name testdomain.changeip.com;
ssl_certificate /etc/letsencrypt/live/testdomain.changeip.com/fullchain.pem;
ssl_certificate_key /etc/letsencrypt/live/testdomain.changeip.com/privkey.pem;
ssl_dhparam /etc/nginx/ssl/dhparams.pem;
ssl_ciphers 'ECDHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES256-GCM-SHA384:ECDHE-ECDSA-AES256-GCM-SHA384:DHE-RSA-AES128-GCM-SHA256:DHE-DSS-AES128-GCM-SHA256:kEDH+AESGCM:ECDHE-RSA-AES128-SHA256:ECDHE-ECDSA-AES128-SHA256:ECDHE-RSA-AES128-SHA:ECDHE-ECDSA-AES128-SHA:ECDHE-RSA-AES256-SHA384:ECDHE-ECDSA-AES256-SHA384:ECDHE-RSA-AES256-SHA:ECDHE-ECDSA-AES256-SHA:DHE-RSA-AES128-SHA256:DHE-RSA-AES128-SHA:DHE-DSS-AES128-SHA256:DHE-RSA-AES256-SHA256:DHE-DSS-AES256-SHA:DHE-RSA-AES256-SHA:AES128-GCM-SHA256:AES256-GCM-SHA384:AES128-SHA256:AES256-SHA256:AES128-SHA:AES256-SHA:AES:CAMELLIA:DES-CBC3-SHA:!aNULL:!eNULL:!EXPORT:!DES:!RC4:!MD5:!PSK:!aECDH:!EDH-DSS-DES-CBC3-SHA:!EDH-RSA-DES-CBC3-SHA:!KRB5-DES-CBC3-SHA';
ssl_prefer_server_ciphers on;
location / {
proxy_redirect off;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_pass http://127.0.0.1:6800;
}
}
server {
listen 443 ssl;
server_name testdomain.changeip.com 192.168.10.150;
ssl_certificate /etc/letsencrypt/live/testdomain.changeip.com/fullchain.pem;
ssl_certificate_key /etc/letsencrypt/live/testdomain.changeip.com/privkey.pem;
ssl_dhparam /etc/nginx/ssl/dhparams.pem;
ssl_ciphers 'ECDHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES256-GCM-SHA384:ECDHE-ECDSA-AES256-GCM-SHA384:DHE-RSA-AES128-GCM-SHA256:DHE-DSS-AES128-GCM-SHA256:kEDH+AESGCM:ECDHE-RSA-AES128-SHA256:ECDHE-ECDSA-AES128-SHA256:ECDHE-RSA-AES128-SHA:ECDHE-ECDSA-AES128-SHA:ECDHE-RSA-AES256-SHA384:ECDHE-ECDSA-AES256-SHA384:ECDHE-RSA-AES256-SHA:ECDHE-ECDSA-AES256-SHA:DHE-RSA-AES128-SHA256:DHE-RSA-AES128-SHA:DHE-DSS-AES128-SHA256:DHE-RSA-AES256-SHA256:DHE-DSS-AES256-SHA:DHE-RSA-AES256-SHA:AES128-GCM-SHA256:AES256-GCM-SHA384:AES128-SHA256:AES256-SHA256:AES128-SHA:AES256-SHA:AES:CAMELLIA:DES-CBC3-SHA:!aNULL:!eNULL:!EXPORT:!DES:!RC4:!MD5:!PSK:!aECDH:!EDH-DSS-DES-CBC3-SHA:!EDH-RSA-DES-CBC3-SHA:!KRB5-DES-CBC3-SHA';
ssl_prefer_server_ciphers on;
# Add headers to serve security related headers
# Before enabling Strict-Transport-Security headers please read into this topic first.
#add_header Strict-Transport-Security "max-age=15768000; includeSubDomains; preload;";
add_header X-Content-Type-Options nosniff;
add_header X-Frame-Options "SAMEORIGIN";
add_header X-XSS-Protection "1; mode=block";
add_header X-Robots-Tag none;
add_header X-Download-Options noopen;
add_header X-Permitted-Cross-Domain-Policies none;
add_header Strict-Transport-Security "max-age=63072000; includeSubdomains; preload";
# Path to the root of your installation
root /home/kodi/www/;
location = /robots.txt {
allow all;
log_not_found off;
access_log off;
}
location /luci{
proxy_redirect off;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_pass https://192.168.10.1;
}
# The following 2 rules are only needed for the user_webfinger app.
# Uncomment it if you're planning to use this app.
#rewrite ^/.well-known/host-meta /owncloud/public.php?service=host-meta last;
#rewrite ^/.well-known/host-meta.json /owncloud/public.php?service=host-meta-json last;
location = /.well-known/carddav { return 301 $scheme://$host/owncloud/remote.php/dav; }
location = /.well-known/caldav { return 301 $scheme://$host/owncloud/remote.php/dav; }
location /.well-known/acme-challenge { }
location ^~ /phpmyadmin{
location /phpmyadmin{
server_name_in_redirect off;
index index.php;
}
location ~ ^/phpmyadmin/(?:build|tests|config|lib|3rdparty|templates|data)/ {
deny all;
}
location ~ ^/phpmyadmin/(?:\.|autotest|occ|issue|indie|console) {
deny all;
}
location ~ "^\/phpmyadmin\/.*\.php$" {
include fastcgi_params;
fastcgi_split_path_info ^(.+\.php)(/.+)$;
fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;
fastcgi_param PATH_INFO $fastcgi_path_info;
fastcgi_param HTTPS on;
fastcgi_param modHeadersAvailable true; #Avoid sending the security headers twice
fastcgi_param front_controller_active true;
fastcgi_pass php5-handler;
fastcgi_intercept_errors on;
# fastcgi_request_buffering off;
}
location ~ "^\/phpmyadmin\/.*\.\(htm|html|gif|jpg|png|js|css\)$" {
root /home/kodi/www;
}
}
location ^~ /owncloud {
# set max upload size
client_max_body_size 51200M;
fastcgi_buffers 64 4K;
# Disable gzip to avoid the removal of the ETag header
gzip off;
# Uncomment if your server is build with the ngx_pagespeed module
# This module is currently not supported.
#pagespeed off;
location /owncloud {
rewrite ^ /owncloud/index.php$uri;
}
location ~ ^/owncloud/(?:build|tests|config|lib|3rdparty|templates|data)/ {
deny all;
}
location ~ ^/owncloud/(?:\.|autotest|occ|issue|indie|db_|console) {
deny all;
}
location ~ ^/owncloud/(?:index|remote|public|cron|core/ajax/update|status|ocs/v[12]|updater/.+|ocs-provider/.+|core/templates/40[34])\.php(?:$|/) {
include fastcgi_params;
fastcgi_split_path_info ^(.+\.php)(/.+)$;
fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;
fastcgi_param PATH_INFO $fastcgi_path_info;
fastcgi_param HTTPS on;
fastcgi_param modHeadersAvailable true; #Avoid sending the security headers twice
fastcgi_param front_controller_active true;
fastcgi_pass php5-handler;
fastcgi_intercept_errors on;
# fastcgi_request_buffering off;
}
location ~ ^/owncloud/(?:updater|ocs-provider)(?:$|/) {
try_files $uri/ =404;
index index.php;
}
# Adding the cache control header for js and css files
# Make sure it is BELOW the PHP block
location ~* \.(?:css|js)$ {
try_files $uri /owncloud/index.php$uri$is_args$args;
add_header Cache-Control "public, max-age=7200";
# Add headers to serve security related headers (It is intended to have those duplicated to the ones above)
# Before enabling Strict-Transport-Security headers please read into this topic first.
#add_header Strict-Transport-Security "max-age=15768000; includeSubDomains; preload;";
add_header X-Content-Type-Options nosniff;
add_header X-Frame-Options "SAMEORIGIN";
add_header X-XSS-Protection "1; mode=block";
add_header X-Robots-Tag none;
add_header X-Download-Options noopen;
add_header X-Permitted-Cross-Domain-Policies none;
# Optional: Don't log access to assets
access_log off;
}
location ~* \.(?:svg|gif|png|html|ttf|woff|ico|jpg|jpeg)$ {
try_files $uri /owncloud/index.php$uri$is_args$args;
# Optional: Don't log access to other assets
access_log off;
}
}
}
一个会写代码,在折腾基因的药理硕士