神经质的盛宴-CSDN博客

原创大数据架构入门总结（Flume + Kafka + ZooKeeper + Spark Streaming + Drools + ELK）

这两天学习了Flume + Kafka + ZooKeeper + Spark Streaming + Drools + ELK进行大数据架构，有很多的体会和总结。这边将我的总结记录下来给感兴趣的同学提供参考参考，帮助大家可以更快的入门。【架构的数据流转】1、首先flume从日志中采集数据，这个日志可以是各种来源，比如说日志文件或者Socket通信。2、然后flume将采集的数据推送到

2017-04-25 19:05:34 3333

原创 Debian上搭建Docker环境的填坑经历

之前我们搭建的Docker环境是基于MAC的，主要是用于开发环境使用的。但是开发完成后，我们就需要在生产环境部署。我比较喜欢Debian系统，那么我们今天就来说说如何在Debian系统上搭建Docker环境。搭建的过程中也发现了一个巨坑。我们百度“如何在Debian上搭建Docker环境”，相信大家都会搜出这样的文章来。那么如果你照着他的方法是肯定无法安装Docker的。那么我

2016-10-09 23:59:06 2109

原创 Docker的安装和配置

Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的 Linux 机器上，也可以实现虚拟化。接下来我们来介绍一下关于Docker环境的安装和配置。因为我用的是Mac环境，所以这一篇文章主要讲的是Mac环境下Docker的安装和配置。对于Windows环境和Linux环境的安装配置，将在后续文章中介绍。不管是对于Mac、Windo

2016-10-06 23:57:46 801

原创手把手教你使用Git

最近打算研究研究Docker。对于Docker的很多资料、镜像都有开源的可以下载，而且基于Docker的部署方法和环境我们先要了解一下Git版本控制系统。以前一直都是用的SVN，现在学习了Git后，发现功能更强大。一：Git是什么？ Git是目前世界上最先进的分布式版本控制系统。二：SVN与Git的最主要的区别？ SVN是集中式版本控制系统，版本库是集中放在中

2016-10-03 22:55:53 1372 1

原创搭建Vagrant的Debian8的base box

最近有很多好的项目的想法想实施，其中涉及到很多的环境。因为现在用的是MAC笔记本，对于MAC系统而言，每次升级之后系统的配置文件都会被重置，这个是一个糟糕的场景。于是我们就需要搭建一个独立的环境。要是以前的话，我肯定装一个虚拟机就开搞了，不过最近接触到一个新的工具，叫做Vagrant。Vagrant是一个基于Ruby的工具，用于创建和部署虚拟化开发环境。它使用Oracle的开源Virtual

2016-09-21 22:25:26 1066

原创树莓派应用之家庭网络中部署一台可在公网提供服务的低功耗服务器

最近开始研究研究树莓派有哪些应用场景。首先想到的就是在内网部署一台可在公网提供服务的低功耗服务器，可以提供哪些功能呢？比如Web服务，SVN服务，FTP服务，远程家庭网络检测服务，便携式漏洞扫描设备等等。这些都是很有意思的应用场景。Web服务通常公网的Web服务都是要交费的，阿里云最便宜的一台云服务器也要60多块钱一个月的。树莓派部署在家里，就是一个免费的公网服务器了，只是电信把8

2016-03-07 00:13:21 1416

原创 2016新年Bash的CVE-2014-6271漏洞修复经历

2016年到了，有很多新的想法和目标，其中一个就是好好维护我的博客和上线更多的应用。打开很久都没更新的博客，发现打不开了。以为长时间运行的问题，所以把服务器强制重启了，过会后发现正常了。过了半天发现，怎么又打不开了呢。真是莫名其妙，难道被人黑了？于是开始分析阿里云的性能监控发现了一些端倪。网络和内存状态一直都很正常，CPU的监控有异常，存在很多大波动，长时间CPU比较高。

2016-02-23 22:26:28 749

原创关于淘宝开放平台API的session失效问题解决

前几天发现淘宝开放平台API突然无法调用了，一直在提示出错，提示的错误信息为：Invalid session。众所周知淘宝开放平台的API接口调用需要三个Key：appKey（合作方标识）, secretKey（合作方请求加密密钥）, sessionKey（合作方请求接口会话标识）。这三个Key必须都正确才能请求成功。那么这个错误就很明显了，肯定是sessionKey过期了。因为淘宝对于每

2016-02-23 22:24:40 14696

原创阿里云服务器的MySQL莫名其妙的挂了之优化篇

前几天刚解决了阿里云服务器因为Bash漏洞被人恶意攻击，导致服务器CPU占用率已经居高不下问题。修复后稳定运行了几天，今天早上居然又挂了。显示数据库连接失败。太郁闷了，难道又让人给黑了？没办法，只能好好分析分析问题了，毕竟人生就是一个不断发现问题，解决问题的过程。第一步，我们先来看看阿里云的云盾攻击日志。看了一下没发现什么问题，一切都很正常。说明不是因为Web攻击导致的数据库异常。

2016-02-23 22:21:56 1280

原创理头发的奇思妙想-如何设计自动化理发体验

今天下午去理了个头发，突然来了一个奇思妙想，关于适合实现自动化的理头发。不就理个头发嘛，为啥还要想这个想那个呢？哎，控制不住啊，总是控制不住自己的脑子，总喜欢想这个想那个，一旦发现有意思的想法，就一发不可收拾，停不下来。关于理发，为啥会有这样的想法呢，主要是发现在我们通常理头发的过程中有一些用户的痛点的存在（而且想到千百年来，貌似理头发的流程基本上都是一样的，优化的只是理发的工具）。

2016-02-23 22:18:43 1495 1

原创博客网站的安全运维尝试

树莓派最近博客经常时不时的被人攻击，有时候对网站影响不大，有的时候对网站影响很大，会导致网站持续性的CPU过高。如果网站或者服务器因为漏洞被攻击、被黑导致了异常的话，一般服务器肯定会存在一些日志或者读写文件的操作。我们一般的博客都是采用开源程序进行二次开发的。这样如果从代码层面去分析问题的话，会比较困难，代价也比较高。开源程序也是难免会有这样那样的BUG的，所以如果修复不及时的话，

2016-02-23 22:15:33 442

原创对项目和产品中坎坎坷坷的一些感悟

最近很流行一张图。这张图想表达一个什么样的想法呢？用户想要一个李若彤版的小龙女形象，在我们的原型实现中，变成了刘亦菲版的小龙女，虽然跟用户的要求有差距，但总体而言还是一个用户可以接受的范围。但是最后上线效果却是一个馒头版的小龙女，这个就跟用户的期望相差很大了。看到了这个图，大家都会觉得这个肯定是员工在开发的过程中出现了很多的问题，导致了产品和预先的期望有了很大的差距。因为管

2014-12-21 14:11:15 2801

原创做一个帮助型的管理者乐趣多多

在项目经理的岗位上已经做了很长时间了，一直把自己当做技术核心，把控整个项目的方案，经常觉得很累，很多事情需要考虑。觉得项目组成员能力不够，不足以把事情做好。现在回过头来想想，当时的想法真的存在欠缺。我们应该要尝试去做一个帮助型的领导，不用事事亲力亲为，我们要做好后勤保障工作，积极的帮助项目组成员处理好其他杂七杂八的相关事宜，让组员有一个很好的开发环境。作为一个控制型的领导，

2014-12-15 22:11:13 425

原创 Splinter - Python的Web应用程序验收测试工具

Splinter是一个基于Python开发的Web应用程序验收测试工具。Splinter是一个非常好用的工具，可以用于测试采用任意编程语言开发的Web应用程序。它可以执行和评估Javascript。它能够与表单中的文本输入框、File、Radio和按纽相交互。示例代码： view sourceprint?01from splinter.brows

2013-06-20 23:48:19 839

原创 Apache的Order Allow,Deny 详解

Allow和Deny可以用于apache的conf文件或者.htaccess文件中（配合Directory, Location, Files等），用来控制目录和文件的访问授权。所以，最常用的是：Order Deny,AllowAllow from All注意“Deny,Allow”中间只有一个逗号，也只能有一个逗号，有空格都会出错；单词的大小写不限。上面设定的含义是先设定“

2013-06-13 16:24:31 442

转载 wxPython添加菜单

每个应用程序都应该有一个菜单栏和一个状态栏。让我们将它们添加到我们的:[python] view plaincopyself.CreateStatusBar() filemenu = wx.Menu() filemenu.Append(wx.ID_ABOUT,"&About","Infomation about t

2013-06-10 22:48:54 734

转载 wxPython事件处理

对事件的反应在wxPython是称为事件处理。一个事件是当“东西”发生在您的应用程序(单击按钮、文本输入、鼠标移动等)。大部分的GUI编程由响应事件。你在绑定对象到事件使用bind()方法:[python] view plaincopyclass MainWindow(wx.Frame): def __init__(self, parent, title):

2013-06-10 22:48:09 772

转载 wxPython构建一个简单的文本编辑器

Windows or Frames?When people talk about GUIs, they usually speak of windows, menus and icons. Naturally then, you would expect thatwx.Window should represent a window on the screen. Unfortunately

2013-06-10 22:46:43 822

转载 wxPython的对话框Dialogs

当然,一个编辑器不能够保存或打开文件，那么它是无用的。这就要用传统的对话框。常见的对话框所提供的基础平台,让您的应用程序将看起来像是一个本地应用程序。这里是实施OnOpen方法在主窗口:[python] view plaincopyimport wx import os def OnOpen(self,e): self.dirname = ''

2013-06-10 22:44:46 713

转载 wxPython使用窗口

使用窗口Frames Windows Controls/Widgets Sizers Validators在本节中,我们将呈现方式与windows wxPython交易及其内容,包括构建输入表单和使用各种小部件/控制。我们要建立一个小程序来计算价格的引用。如果你已经是一个有经验的GUI开发人员,这将是容易的。概览可见的布局元素在一个框架中,您将使用大

2013-06-10 22:43:44 947

转载面板上的第一个标签

让我们从一个示例开始。我们的计划是要有一个单一的框架和一组包含一个标签[7][8]:[python] view plaincopy''''' Created on 2012-6-30 @author: Administrator ''' import wx class ExampleFrame(wx.Frame): def __init__(self

2013-06-10 22:42:05 439

转载 wxPython更多组件

你可以在wxPython示例和帮助里发现完整的控件组件，这里只是列举一常最常用到的：wxButton一个按钮：显示一个文本,你可以点击。举例来说,这里是一个“清理”按钮(如清理一个文本):[python] view plaincopyclearButton = wx.Button(self, wx.ID_CLEAR, "Clear") self.Bind(

2013-06-10 20:56:40 731

转载 wxPython对话框

大多数现代的GUI应用程序，对话框窗口或对话框是不可或缺的一部分。一个对话框被定义为两个或以上的人之间的谈话。在一个计算机应用一个对话框窗口用于“交谈”应用程序。一个对话框用于输入数据、修改数据的修改应用程序的设置等。对话框是重要的通信手段之间的一个用户和计算机程序。一个简单的消息框一个消息框提供短信息给用户。一个很好的例子是一个cd刻录的应用程序。当一个cd完成刻录,弹出一个消息框。

2013-06-10 20:55:21 557

转载 wxPython事件

事件是每一个GUI应用程序的组成部分。所有的GUI应用程序是事件驱动的。应用程序反应，以产生不同的事件，在其生命周期类型。事件的产生主要是由应用程序的用户。但它们可以产生，以及通过其他手段。例如互联网连接，窗口管理器，定时器。所以，当我们调用mainloop（）方法，等待我们的应用程序产生事件。 mainloop（）方法结束时退出应用程序。定义事件是一个从底层框架，通常的GUI工具包的应用

2013-06-10 20:54:20 664

转载 wxPython菜单与工具栏

Menus and Toolbars菜单与工具栏 A common part in a GUI application is a menubar. A menubar consists of objects called menus. Top-level menus have their labels on the menubar. The menus have menu items. M

2013-06-10 20:51:32 909

转载 Python实例讲解——wxPython的基本控件实现

使用按钮工作在wxPython 中有很多不同类型的按钮。这一节，我们将讨论文本按钮、位图按钮、开关按钮（togglebuttons ）和通用（generic ）按钮。如何生成一个按钮？在第一部分（part 1）中，我们已经说明了几个按钮的例子，所以这里我们只简短的涉及它的一些基本的东西。图7.4显示了一个简单的按钮。图7.4 使用按

2013-06-10 19:55:28 1078

原创 M2Crypto和M2Crypto的安装

参考网址：http://stackoverflow.com/questions/3107036/how-do-i-install-m2crypto-on-ubuntuhttp://www.newsmth.net/nForum/#!article/Python/607341、安装依赖项- **Python 2.3 or newer**- **OpenSSL 0.9.7 or ne

2013-02-16 16:23:16 2661

转载 PHP常用的文件操作函数集锦

以下是个人总结的PHP文件操作函数。当然，这只是部分，还有很多，我没有列出来。一、解析路径：1 获得文件名:basename();给出一个包含有指向一个文件的全路径的字符串，本函数返回基本的文件名。如果文件名是以 suffix 结束的，那这一部分也会被去掉。eg:$path = "/home/httpd/html/index.php";$file = base

2012-11-09 17:42:23 354

原创 Debian/Ubuntu 10.04配置Apache+PHP+MySQL

1.安装apache2.0sudo apt-get install apache2安装过程就不多说了安装后在浏览器中打开：http://localhost/或者http://127.0.0.1如果出现It works!那证明OK了2.安装PHP依次在终端打开：sudo apt-get install php5 //安装PHP5sudo apt-get

2012-11-05 17:38:11 293

转载 html5游戏开发-愤怒的小鸟-开源讲座(一)-跳入弹出的小鸟

http://blog.csdn.net/lufy_legend/article/details/7804165愤怒的小鸟是一款人气火爆的益智游戏，现在我试着用lufylegend库件和Box2dWeb物理引擎来看看在html5中如何制作此类经典的物理游戏。准备工作一首先，你需要下载lufylegend库件1.4.1版http://blog.csdn.net/lufy_legend

2012-08-07 09:05:32 549

转载 html5 + css3创建炫酷表单

遵循这个步骤，循序渐进的过程，完全摆脱了HTML5和CSS3创建自己的时尚的接触形式。我们将用几个方便的新功能在HTML5添加很酷的功能，我们的形式，同时使用酷CSS3属性代码重新在我们的Photoshop概念纯粹。设计，我们将建立功能丰富的接口的所有的东西，使梯度，突出和阴影！我们将首先在Photoshop创建一个可视化的概念，但是当它涉及到建筑形式，我们将重新HTML

2012-08-07 08:53:31 1953

转载 Comet介绍

英文原文：Reverse Ajax, Part 1: Introduction to Comet在过去的几年中，web开发已经发生了很大的变化。现如今，我们期望的是能够通过web快速、动态地访问应用。在这一新的文章系列中，我们学习如何使用反向Ajax（Reverse Ajax）技术来开发事件驱动的web应用，以此来实现更好的用户体验。客户端的例子使用的是JQuery JavaScript库，在

2012-08-06 12:59:25 464

转载 Yahoo! UI Library (YUI)

Yahoo! UI Library (YUI) 是一个开放源代码的 JavaScript 函数库，为了能建立一个高互动的网页，它采用了AJAX, DHTML 和 DOM 等程式码技术。它也包含了许多 CSS 资源。使用授权为BSD许可证YUI 包含完整的说明文件。它包含了两种元件: 工具与控件[2]，和一些 CSS 资源。工具动画协助达成位置移动、大小改变、透明度和其他的网页

2012-08-06 12:58:31 514

原创 JVM terminated.Exit code = -1的错

最近不知道怎么搞的，启动Eclipse时，起不起来，报了一个JVM terminated.Exit code = -1的错，于是上网找资料，原因是大内存的问题，网上很多资料都说增加什么路径之类的修改方法，本人都试了一下，发现效果都不好，后来发现只要把里面的256M改成128M或者把512M改成256M，问题就解决了，很方便。

2012-05-24 10:47:38 366

原创四个新的 HTTP 状态码

四个新的 HTTP 状态码转载：http://www.rrclink.com/itjishu/qitajishu/2012-05-07/13339.htmlRFC 6585 最近刚刚发布，该文档描述了 4 个新的 HTTP 状态码。HTTP 协议还在变化？是的，HTTP 协议一直在演变，新的状态码对于开发 REST 服务或者说是基于 HTTP 的服务非常有用，下面我

2012-05-07 08:57:41 482

转载命令行导出IIS配置信息

命令行导出IIS配置信息转载：http://www.rrclink.com/itjishu/qitajishu/2012-1-31/10530.html渗透某内网时，得一内网SA，外网映射IP未知，开80端口，服务器不可外连，渴此机IIS配置信息，Google之，得方法，遂共享。iiscnfg /export /f c:chinadu.xml /sp / /childr

2012-05-04 12:21:33 443

转载 CentOS 6 编译安装Nginx+PHP+Mysql

CentOS 6 编译安装Nginx+PHP+Mysql转载：http://www.rrclink.com/itjishu/qitajishu/2012-2-17/10483.html[1].安装 Nginx1,添加一个不能登录且没有主目录的用户：1# useradd www -M -s /sbin/nologin

2012-05-04 12:20:37 391

转载 Hydra 爆破ssh

转载：www.rrclink.com/itjishu/qitajishu/2012-2-15/10486.htmlapt-get purge hydraapt-get install cmake libssl-devcd /usr/local/srcwget http://www.libssh.org/files/0.4/libssh-0.4.8.tar.gztar zxf

2012-05-04 12:17:39 811

转载无xp_cmdshell支持在有注入漏洞的SQL服务器上运行CMD命令

转载：http://www.rrclink.com/itjishu/qitajishu/2012-3-16/10476.html利用扩展存储过程xp_cmdshell来运行操作系统的控制台命令。这种方法也非常的简单，只需使用下面的SQL语句：EXEC master.dbo.xp_cmdshell 'dir c:'但是越来越多的数据库管理员已经意识到这个扩展存储过程的潜在危险，他们可

2012-05-04 12:16:24 450

转载 IE7 0day漏洞分析

转载：天天向上网http://www.52harry.com/network/2011-12-13/824.html昨天不小心看到knownsec安全团队发的文章，所以就想看看到底是怎么造成的。这两天这个IE7的0day挺热的，我也凑凑热闹，说实话，不怎么会javascript，所以分析也挺费劲的，但是大体知道是个怎么回事触发这个漏洞的了0day代码片断if(wxp

2011-12-13 22:06:50 352