「已注销」-CSDN博客

原创 scrapy爬虫之gerapy和scrapyd

scrapy爬虫笔者近期有一个特定网站全站爬取的需求。因为全站数据量大，又希望时间开销小。作为一个入门级的爬虫工作者，根据以往经验，笔者（主要使用python编程）设想了以下几种方案：selenium1、用 selenium 模拟浏览器爬虫，自己改造框架，使得可以多层全站爬取。这里，模拟浏览器的好处在于可以加载运行JS脚本，能够解决一些JS脚本动态生成链接的问题。...

2018-03-18 13:55:07 3082

原创搭建owncloud私有云

1、选择近来云存储大行其道，确实对于多台设备的文件共享，云存储是一种很好的解决方案。更加专业的解决方案是NAS ，但考虑到成本问题，笔者决定在私人服务器上搭建私有云。（VPS是一个很好的方案，但是在数据可靠性还有待论证，毕竟数据无价）私有云平台目前的开源私有云平台主要是两家seafile和owncloud ，笔者在选择时首先看了seafile，可能是他家的中文版说明做的太好，看到开源

2017-12-25 11:09:46 20042

原创树莓派docker

安装curl -sSL get.docker.com | sh

2017-11-06 14:00:34 1763 3

原创 mhn调试经验

snort在ubuntu17.04 下安装mhn 的snort 组件，发现无法正常工作。xxx@xxx-NF5280M3:~$ sudo supervisorctl statussnort FATAL Exited too quickly (process log may have details)查看logxxx@xxx-NF5280

2017-10-10 14:02:44 1176

原创 xmr-stak-cpu 安装及使用

xmr-stak-cpu安装xmr-stak-cpu是一个用于cpu计算的开源软件，下面记录在ubuntu17.04下的安装过程sudo apt-get -y install gitgit clone https://github.com/fireice-uk/xmr-stak-cpu.gitsudo apt-get -y install libmicrohttpd-dev libssl-dev

2017-09-30 12:55:57 24691 3

mhn安装最近在研究蜜罐，发现了mhn这个项目，想要部署一下试试，但是在安装过程中遇到了一些困难，本文记录了这一过程，供像我一样的小白参考。github 的项目文档告诉我，mhn 不支持ubuntu16 ，而我的服务器版本都是ubuntu17 ，为了避免踩坑，我选用了和官方测试系统一样的ubuntu12.04 ，事实证明这个系统确实很古老，第一件事是安装ssh ，结果apt-get 不能用，主要是默

2017-09-25 01:25:28 3250 1

原创 LEDE(openwrt) 树莓派3 raspberry pi3 配置为路由器router（含IPv6）

烧写镜像项目组购进了一批树莓派3，想用openwrt 使之成为一个路由器，但是openwrt 目前不支持树莓派3，只有他的分支LEDE 可以支持raspberry pi3官方源https://downloads.lede-project.org/ ，注意要选择releases 版本，笔者一度使用了snapshots 版本，发现默认opkg（一个apt-get 一样的存在）源不存在，更改后也没有成功

2017-09-22 22:05:20 19627 4

原创 ubuntu systemctl generated and enabled

问题描述不知道是否有同我一样作死（被逼无奈）的人，反复安装某一个软件，导致在systemctl enable service 的时候，无论如何都无法将服务设置成开机启动。我只是单纯的在安装grafana 的过程中走了一些弯路，详见我的另外一篇博客 http://blog.csdn.net/hsdfz0201/article/details/77480810 不知道中间做了什么，这个服务

2017-09-12 02:35:53 6446 2

原创 grafana http-api 批量添加图表

grafana apigrafana是当前非常流行的数据展示方式，可以通过网页简单的进行操作，定制出自己需要的图表。但是当需要批量生成图表的时候，手动添加的方式不能生效。为此，grafana提供了两种方式去用代码管理： 1、http api 2、脚本化仪表板本文主要使用第一种进行管理，试图给出一个简单、易用的初学者教程。js脚本 api有关脚本化仪表板的知识可以参见以下链接： http

2017-09-04 16:08:24 12421 1

原创 selenium安装及使用

项目说明为实现定时模拟用户上网的功能，并找出网页元素访问速度瓶颈，采用selenium 模拟浏览器方案测试网络情况。使用selenium需要依赖firefox(其他浏览器未尝试)，以及Xvfb虚拟显示。安装seleniumxxx@ubuntu-svr:~$ pip install seleniumgeckodriver下载地址为https://githu...

2017-08-22 15:39:37 829

原创 grafana在login界面白屏(blank screen)及账号密码无法更改

问题：使用 ubuntu17.04 安装 grafana 和 influxdb，grafana在login界面白屏(blank screen)。原因：默认源 grafana 版本为2.6，该版本会导致此问题。解决方案一、卸掉 grafana，注意这里 apt-get remove 无法完全清理，更新版本无法安装，需要执行dpkg --purge grafana-data，之后重新安装。wget ht

2017-08-22 15:27:44 8724 1

hsdfz0201的博客