草色烟光

之前在mac上调试hadoop程序（mac之前配置过hadoop环境）一直都是正常的。因为工作需要，需要在windows上先调试该程序，然后再转到linux下。程序运行的过程中，报 Failed to locate the winutils binary in the hadoop binary path  java.io.IOException: Could not locate execu

记录一下，做了个django上传文件的表单，发现没法验证files是否为空，例如控件name叫做“IP_file”，我用request.FILES[“IP_file”]是否等于空去判断，怎么都报错，后来用了pdb去调试，在程序中间加入pdb.set_trace()，让程序停下来，发现request.FILES其实是个字典，如果页面提交的是空，则这个字典就是{}，而根本不会有request.FILE

我使用pycharm,很多import包可以自己安装的，但我导入工程的时候，pandas无法自动安装，提出的错误有error: command 'gcc' failed with exit status 1这个错误是pycharm执行yum install pandas而出的,于是我自己下载了pandas的包，进行安装，细细看过程，里面又有如下错误：gcc: error tryin

在Django1.9之前，数据库同步只需要一条命令，那就是python manage.py syncdb,后来改版了，网上全部教程都扯了蛋了，有些写了一下关于django1.9的数据库同步方法但是很丈二。我试了一下，是这样的，我的自建app模块名称为input，建好model需要同步的时候，先在程序根目录运行python manage makemigrations input，这样就进

假设文件打开后的名字是data1.列表、字典可直接通过data.write直接写入，但读出来之后都是字符串，还需要自己写代码转换成原来的类型。2.要解决这个问题，就需要用pickle序列化模块，用pickle.dump(存储对象名，文件名)来序列化腌制存储，然后用a = pickle.load(文件名)来直接拿出来。3.用numpy,pandas工具的时候，可以直接通过:to_csv(

def titlesort():    titles = []    try:        with open("./aaa.txt", 'rb') as data:            for item in data:                titles.append(item.decode('utf-8'))            print ti

以前我在centos6.5装过matplotlib，当时就有很多依赖包要装，这次换了系统，重新安装，心想又得经历这样的吐血经历了，果然，需要安装一堆依赖，并且有的依赖装了之后还是找不到，最后，有神告诉我一个最便捷的办法，两条命令，解决问题：1.yum search matplotlib返回结果是：[root@dn1 Desktop]# yum search matplotlibLo

with open("/root/datafile/abc.csv", "w") as data: ... data.write(xxx + '\n') 执行这个程序块的时候，发现从data里面读取的xxx，有乱码并且各种语言交错，无法写入文件abc.csv中,于是可以将它的内容转化为utf8格式的，发现可以了。代码如下： with open("/root/datafile/a

说实在的，这段时间，做牛做马，就为了求得一个Hadoop2.6.0使用Python操作HDFS的解决方案，先是网上各种查资料，他们都写得很轻松，但是不幸的是，全都没有试验成功，其中工具无非包括这么几个1.pyHDFS2.hadoopy3.pydoop4.snakebite寒枪雪戟霜刀雨剑，跋山涉水诚信可见，无奈不论怎么试验，都是版本问题，要么就是缺包，加上我python装的也有

[root@namenode hadoop-2.6.0]# bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount hdfsInput hdfsOutput执行上述命令，结果如下15/08/05 00:55:05 INFO Configuration.deprecation: s

记录一下几天来与datanode大战的过程。1.第一次datanode无法启动，很奇怪，因为在slaves节点上用jps命令发现有datanode进程，但是在namenode:50070里面却发现不了有Live node, node info界面里面也空空如也，最后的解决方法是gedit /etc/hosts，清理里面的内容，只留下127.0.0.1 localhost以及namenode d

centos ssh免密码登陆方法：1.在namenode,datanode1,datanode2里面分别执行一次ssh key-gen,生成密钥对2.在namenode里面执行：ssh-copy-id -i /root/.ssh/id_rsa.pub datanode1 datanode2完毕

推荐引擎根据用户的特定需求帮助用户缩小选择范围。在这篇文章中，我们一起来探秘推荐引擎各部分是如何协同工作的。我们将根据电影评分数据，用协同过滤的方法来推荐电影。其关键部分是基于Apache Mahout的协同过滤算法来建立和训练机器学习模型，以及基于Elasticsearch的搜索技术来简化推荐系统的开发。什么是推荐？推荐（Recommendation）是机器学习的一个分支，通过分

这个问题研究了好久好久，都快崩溃了，几近放弃。问题的根源在于，工程当中maven dependencies里面的包，有个hadoop-core的包，版本太低，这样，程序里面所有引用到org.apache.hadoop的地方，都是低版本的，你用的是maven3的话，默认是hadoop-core-1.2.1.jar,这个就是那个“ipc client version4”, 而一般情况下你的

总体思路，准备主从服务器，配置主服务器可以无密码SSH登录从服务器，解压安装JDK，解压安装Hadoop，配置hdfs、mapreduce等主从关系。1、环境，3台CentOS7，64位，Hadoop2.7需要64位Linux，CentOS7 Minimal的ISO文件只有600M，操作系统十几分钟就可以安装完成，Master 192.168.0.182Slave1 192.168

运行mahout例程出现的问题，从网上看到的解决方法，很管用。SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details.

网上最多的方法是：在线更新安装的地址 http://m2eclipse.sonatype.org/sites/m2e/ 但现在已经失效然后我按照离线的方式安装下载了eclipse-maven3-plugin的插件，按照新建link文件，编辑path=maven目录的方式，然后重启eclipse，弄了很多次，而且还下了三个版本的插件，都不行。然后我对照插件的字节数是一样的。总的说这个方式行不

转自：http://python.jobbole.com/81244/python2.x中处理中文，是一件头疼的事情。网上写这方面的文章，测次不齐，而且都会有点错误，所以在这里打算自己总结一篇文章。我也会在以后学习中，不断的修改此篇博客。这里假设读者已有与编码相关的基础知识,本文不再再次介绍，包括什么是utf-8，什么是unicode，它们之间有什么关系。str与字