qbyjxg001-CSDN博客

原创 python文件／目录操作整理

在平常做项目的过程中，经常遇到一些python操作文件和目录的地方，python的documentation在这一块把几个知识点分到了两个地方（11.File and Directory Access 和 16.1.5 Files and Directories），现在总结一些常用的functions以便查阅，更多更详细的用法可以参考文档。 os.path模块exists 查看路径或者文件是否存在i

2016-10-17 22:56:05 1227

原创神奇的37%法则

还记得小学的时候，语文课本上有一篇课文“最长的麦穗”，是讲苏格拉底叫他的弟子选一颗最长的麦穗，这原本是一个哲学问题，我也一直深刻地记着那位哲学大师告诉我们的道理：最好的往往很难得到，要尽快选择一个相对好的，莫让机会一去不复返，直到我看到了这样一篇文章：http://www.guokr.com/article/6768/ 没想到这样的问题中，尽然蕴藏着神奇的数学法则。为了验证文章中

2015-04-06 00:12:14 5721 1

原创解决端口占用问题

终端输入：lsof -i tcp:port 将port换成被占用的端口(如：8086、9998) 找到进程的PID,使用kill命令：kill PID（进程的PID，如2044），杀死对应的进程

2015-04-05 16:59:52 457

原创多线程程序注意点

1.实际上，在调用多线程的时候，主函数也是一个线程，调用其他线程之后，不是立马能跑完的，这时主函数中一些依赖其他线程的功能就会失效。为了等线程跑完，我采取的方法是：先判断线程是否还alive，是则sleep。 val r1 = new r1_fan() val r2 = new r1_zheng() r1.setA(1) r1.setB(139

2015-03-26 21:42:43 428

转载通过Spark的shell测试Spark的工作

Step1:启动Spark集群，这一点在第三讲讲的极为细致，启动后的WebUI如下： Step2:启动Spark Shell：此时可以通过如下Web控制台查看shell的情况： Step3:把Spark安装目录“README.md”拷贝到HDFS系统上在Master节点上新启动一个命令终端，并进入到Spark安装目录下：我们把文件

2014-11-23 10:41:53 778

转载构建Spark集群

第一步：Spark集群需要的软件；在1、2讲的从零起步构建好的Hadoop集群的基础上构建Spark集群，我们这里采用2014年5月30日发布的Spark 1.0.0版本，也就是Spark的最新版本，要想基于Spark 1.0.0构建Spark集群，需要的软件如下： 1.Spark 1.0.0，笔者这里使用的是spark-1.0.0-bin-hadoop1.tgz，具体

2014-11-23 10:39:24 756

转载配置Hadoop分布模式并运行Wordcount示例

在VMWare中构建第二、三台运行Ubuntu的机器和构建第一台机器完全一样，再次不在赘述。。与安装第一台Ubuntu机器不同的几点是：第一点：我们把第二、三台Ubuntu机器命名为了Slave1、Slave2，如下图所示：创建完的VMware中就有三台虚拟机了：第二点：为了简化Hadoop的配置，保持最小化的Hadoop集群，在构建第二、三台机器的时候使用

2014-11-23 10:34:10 722 1

转载配置Hadoop伪分布模式并运行Wordcount示例

伪分布模式主要涉及一下的配置信息：修改Hadoop的核心配置文件core-site.xml，主要是配置HDFS的地址和端口号；修改Hadoop中HDFS的配置文件hdfs-site.xml，主要是配置replication; 修改Hadoop的MapReduce的配置文件mapred-site.xml，主要是配置JobTracker的地址和端口；在

2014-11-23 10:30:51 1482 1

转载配置Hadoop单机模式并运行Wordcount

安装ssh Hadoop是采用ssh进行通信的，此时我们要设置密码为空，即不需要密码登陆，这样免去每次通信时都输入秘密，安装如下：输入“Y”进行安装并等待自动安装完成。安装ssh完成后启动服务以下命令验证服务是否正常启动：可以看到ssh正常启动；设置免密码登录，生成私钥和公钥：在/root/.

2014-11-23 10:19:28 2855 2

转载 Hadoop--两个简单的MapReduce程序

这周在学习Hadoop编程，以前看过《Hadoop权威指南》这本书，但是看完了HDFS这一章之后，后面的内容就难以再看懂了，说实话，之前一直对MapReduce程序敬而远之，毫不理解这种类型的程序的执行过程。这一周花了些时间看了Hadoop的实战，现在能够看懂简单的MapReduce程序，也能自己动手写几个简单的例子程序。相关阅读： Hadoop权威指南(中文版-带目录索引)PDF htt

2014-11-02 15:45:24 449

asd795462的专栏