2014年10月_三劫散仙

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

Eclipse4.2向hadoop2.2提交MR作业异常

[b][color=green][size=large]之前散仙也用过eclipse直接向hadoop提交MR作业，也提交成功过，这次换了集群环境，提交作业时发现几个异常，特此整理一下，以防后面再出现类似问题。主要的问题的有2个:第一个问题，在win7上的eclipse向hadoop提交作业时，没有权限，异常信息如下：[/size][/color][/b][code="ja...

2014-10-31 19:17:10 820

centos6.5服务器时间同步

实际的开发环境中，我们的一组服务器的时间都需要一致，这样在执行同步，或增量的任务时，才能正常运行，如果我们的集群中出现了，时间不一致的服务器，那么有时候就可能就会造成一些问题，常见的hadoop集群或者hbase集群。网络时间协议NTP（Network Time Protocol）是用于互联网中时间同步的标准互联网协议。NTP的用途是把计算机的时间同步到某些时间标准。目前采用的时间标准...

2014-10-30 18:54:03 565

hadoop集群警告No groups available for user dr.who

刚装完的hadoop集群，在查看namenode的log时，散仙发现有如下的警告信息：[code="java"]2014-10-30 16:49:18,340 INFO org.apache.hadoop.hdfs.StateChange: STATE* Leaving safe mode after 2 secs2014-10-30 16:49:18,340 INFO org.apach...

2014-10-30 17:34:43 2641

最近，要在沙箱的环境装一个hadoop的集群，用来建索引所需，装hadoop已经没啥难的了，后面，散仙会把重要的配置信息，贴出来，本次装的hadoop版本是hadoop1.2的版本，如果不知道怎么装的，可以参考[url=http://qindongliang.iteye.com/blog/1964852]这篇文章[/url]，安装的具体步骤，散仙在这里不在重述，重点在于hadoop-nd,hado...

2014-10-28 16:25:21 3255

Cloudera公司首席架构师Doug Cutting谈Hadoop之变迁

Doug Cutting是开源界的大神，也是散仙非常膜拜的一个对象，从最早2000年Lucene的开始，到后来的基于Lucene衍生的企业级搜索项目Solr和ElasticSearch，以及发展到现在专职于全网采集的Nutch项目，再到后来从Nutch项目里，发展出来的Hadoop项目，无论哪一个开源项目，都是非常的出色，尤其是Hadoop项目及其衍生的基于yarn的生态系统，即使有了分布式内存计...

2014-10-28 11:40:09 297

Django1.7+JQuery+Ajax集成小例子

Ajax的出现让Web展现了更新的活力，基本所有的语言，都动态支持Ajax与起服务端进行通信，并在页面实现无刷新动态交互。下面是散仙使用Django+Jquery+Ajax的方式来模拟实现了一个验证用户注册时，用户名存在不存在的一个小应用。注意，验证存在不存在使用的是Ajax的方式，不用让用户点击按钮验证是否存在。截图如下：[img]http://dl2.iteye.c...

2014-10-23 20:15:15 114

如何Python3.4使用pexpect来实现SSH登陆

Pexpect 是 Don Libes 的 Expect 语言的一个 Python 实现，是一个用来启动子程序，并使用正则表达式对程序输出做出特定响应，以此实现与其自动交互的 Python 模块。 Pexpect 的使用范围很广，可以用来实现与 ssh、ftp 、telnet 等程序的自动交互；可以用来自动复制软件安装包并在不同机器自动安装；还可以用来实现软件测试中与命令行交互的自动化。...

2014-10-22 18:51:25 1007

卖了5个月水果之后再看互联网思维（转）

很久没有更新博客，是的，我辞职卖水果去了！看惯了肉夹馍之类成功的案例，来看看我这个要死不活的案例吧！究竟什么才是互联网思维？开始做水果的时候，我以为互联网思维就是互联网方法，掌握了微信，懂微信开发以及一些粗浅的营销方法就是掌握了互联网的精髓，其实远远不是。互联网方法是实现互联网思维的工具载体，工具本身并没有什么威力，被厉害的人利用之后才能显现出威力。创业已经进入第...

2014-10-22 11:39:28 195

Django1.7如何配置静态资源访问

Django是非常轻量级的Web框架，今天散仙来看下如何在Django中配置静态的资源访问路径，一个中等规模的网站，可能就会有很多静态的资源需要访问，无论是html，txt，还是压缩包，有时候访问这些资源我们并不需要过多的限制，所以任由用户访问，这时我们就没必要在加一个request请求，转发或重定向访问，我们可以直接使用Django的静态资源访问策略。默认在django里是不支持...

2014-10-21 16:35:32 125

Python3.4+Django1.7+SQLite3实现增删改查

前2篇文章，散仙写了关于Django的入门安装，以及简单模拟数据库的MVC使用，那么本篇就来稍微深入下，来看看如何使用Django来实现一个增删改查的小例子：[b][color=green][size=large][table]|序号|名称|备注|1|Win7|操作系统|2|开发工具|Pychram|3|Python3.4|python版本|4|Django1.7|Dj...

2014-10-20 20:01:22 1528

Python3.4+Django1.7简单动态模板例子

[b][color=green][size=large]继上篇散仙写的Django入门，这次我们来看看如何在Django中，动态定义HTML模板，我们都知道，在其他的编程语言里有JSP,ASP,PHP等动态语言，可以直接在这种类似HTML的结构里编写HTML页面，最后在前端渲染展示，其他的编程语言散仙就不多说了，在这里说下JSP吧，在JAVA的世界里，最早的页面也是由Servlet动态生成的，所有...

2014-10-17 19:15:20 307

如何使用Python3.4与Linux shell交互

使用python来运维linux是非常简单轻松的一件事情，但是仅仅是一些交互式比较强的，比shell更灵活的一些工作时，可以使用python，如果是一些简单的查找，排序，等什么的，可以还用shell来完成，下面来看下在python3.4中，如何与Linux交互的。在python里面可以操作linux的命令有1,os.system("cmd")2,os.open("cmd")...

2014-10-17 17:10:24 1256

程序员修炼内功心法

[b][color=black][size=large]1、放下面子有时候我们低头，是为了看准自己走的路。很多人认为，自己已经过得还可以，不愿意去尝试新鲜的事物，很多东西都放不下，拉不下这个脸，最终死在面子上.2、放下压力累与不累，取决于自己的心。心灵的房间，不打扫就会落满灰尘。扫地除尘，能够使黯然的心变得亮堂；把事情理清楚，才能告别烦乱；把一些无谓的痛苦扔掉，快乐就有了更多更...

2014-10-17 11:28:17 211 2

Python3.4+Django1.7入门

Django是python里面开源的一个Web框架，下面借用百科的几段内容，给不太了解Django的朋友们普及下概念。[b][color=olive][size=large]Django是一个开放源代码的Web应用框架，由Python写成。采用了MVC的软件设计模式，即模型M，视图V和控制器C。它最初是被开发来用于管理劳伦斯出版集团旗下的一些以新闻内容为主的网站的，即是CMS（内容管理...

2014-10-16 19:56:02 227

Python3.4网页解析之HTMLParse

使用python将网页抓取下来之后，下一步我们就应该解析网页，提取我们所需要的内容了，在python里提供了一个简单的解析模块HTMLParser类，使用起来也是比较简单的，解析语法没有用到XPath类似的简洁模式，但新手用起来还是比较容易的，看下面的例子：现在一个模拟的html文件：[code="html"] 我是标题我是内容 [/code]需求是，提取出标题...

2014-10-15 19:31:58 470

Python3.4网页抓取之编码异常

[b][color=green][size=large]使用Python抓取网页的时候，有时候我们会解析出现异常，这时候，就会导致整个网页解析不成功，究其原因，仅仅是因为编码里某个小小的地方编码出错了，才导致解析失败，那么我们应该如何比较好的避免这种情况出现呢？看下面的例子：[/size][/color][/b][code="python"]import urllib.reques...

2014-10-15 18:00:19 157

lucene和solr的分词器词库如何从数据库加载？

[b][color=red][size=x-large]原创不易，转载请务必注明，原创地址，谢谢配合! [url]http://qindongliang.iteye.com/blog/2142783[/url][/size][/color][/b]对于中文的搜索来说，词库系统，也是一个比较重要的模块，本篇散仙以IK分词器为例子，介绍了如何让分词器从数据库或缓存系统中集中式加载词库？...

2014-10-15 15:21:00 265

Python3.4模拟登陆例子

有时候我们的抓取项目时需要登陆到某个网站上，才能看见某些内容的，所以模拟登陆功能就必不可少了，散仙这次写的文章，主要有2个例子，一个是普通写法写的，另外一个是基于面向对象写的。模拟登陆的重点，在于找到表单真实的提交地址，然后携带cookie，post数据即可，只要登陆成功，我们就可以访问其他任意网页，从而获取网页内容。方式一：[code="python"]import url...

2014-10-15 14:53:28 161

JAVA内存数据库使用demo

上篇文章散仙，写了关于SQLite的使用，本篇我们看下几款JAVA开源的数据库，主要有3个，derby，H2，HSQLdb,都是非常不错的数据库，既可以当内存库，又可以嵌入移动设备充当数据存储的角色，而且完全支持关系型数据库的SQL语法，所以适当了解一些，对以后的数据存储的，或计算会有更好的辅助性。下面是这3个轻量级的数据库的使用简单例子，其中有些数据库支持内存，文件，网络等方式连接，...

2014-10-13 17:51:50 2018

JDBC操作SQLite数据库

SQLite，是一款轻型的数据库，是遵守ACID的关系型数据库管理系统，它的设计目标是嵌入式的，而且目前已经在很多嵌入式产品中使用了它，它占用资源非常的低，在嵌入式设备中，可能只需要几百K的内存就够了。它能够支持Windows/Linux/Unix等等主流的操作系统，同时能够跟很多程序语言相结合，比如 Tcl、C#、PHP、Java等，还有ODBC接口，同样比起Mysql、PostgreSQL这两...

2014-10-11 20:00:25 326

JDBC预编译语句表名占位异常

[b][color=green][size=large]有时候，我们有这样的需求，需要清空多个表的内容，这样我们有两种做法，可用delete from table 或 truncate table table，两种方法视情况而定，前者只是一条条的删除表数据，主键自增的序列还能保存，后者类似是重新建表保留表结构，主键信息，也被清空。OK，下面我们用JDBC开始删除，因为是多个表，所以要循环删...

2014-10-11 11:41:19 531

python桌面整理小助手

[color=green][size=large][b]每到月末，桌面上基本都会爆满，散仙的习惯一个月整理一次桌面，上面放了各种文件，word，excel，txt，jar，压缩包等等，如果每天整理一次，感觉比较麻烦，一个月整理一次，又发现到时候整理的东西，实在太多了，少说也得花了5,6分钟，而且还得，分年分月分类拷贝进去和剪切，所以，就用python写了个整理桌面的小程序，其实不一定是桌面，任何一...

2014-10-09 20:04:54 1627

Cenots6更换163yum源

[b][size=large]如果发现自己的centos的yum源，速度缓慢，或出现异常不能下载安装东西，这个时候，我们可以尝试切换下yum源的配置，cenots自带的yum源，感觉还可以，下面看下如何，切换其他的指定的yum源。[/size][/b][b][color=green][size=large]具体步骤如下：[table]|序号|描述|1|进入cd /etc/y...

2014-10-09 10:52:59 181