- 博客(13)
- 资源 (2)
- 收藏
- 关注
RSS订阅转载 python3 threading thread 模块学习
转自：python3 threading thread 模块学习，保存在此以学习。概述： Thread 类描绘了一个单独运行的控制线程活动，我们有两种方式指定这种活动，通过一个可调用对象的构造函数，或者通过覆盖子类run（）方法。没有其他的方法应在子类中重写。换句话说，只有推翻这个类的__init__()和run()方法。 一旦Thread这个对象被
2016-05-31 11:12:42
9591
转载 python中的 os.mkdir和os.mkdirs
创建目录在Python中可以使用os.mkdir()函数创建目录（创建一级目录）。其原型如下所示：os.mkdir(path)其参数path 为要创建目录的路径。例如要在D盘下创建hello的目录>>> import os>>> os.mkdir('d:\hello')可以使用os.makedirs（）函数创建多级目录。其原型
2016-05-19 16:46:08
85013
6
原创 ubuntu14.04安装python的图像处理库PIL
pip安装：####@####：sudo apt-get install python-pip提示cannot ...http://us.archive.ubuntu.com trusty-proposed/universe amd64 ...等一系列的问题，然后更新一下####@####：sudo apt-get update更新完毕后####@####：sudo apt
2016-05-19 16:14:59
3622
转载 python调用shell命令
python调用shell命令的方法有许多1.1 os.system(command) 在一个子shell中运行command命令，并返回command命令执行完毕后的退出状态。这实际上是使用C标准库函数system()实现的。这个函数在执行command命令时需要重新打开一个终端，并且无法保存command命令的执行结果。1.2 os.popen(co
2016-05-19 10:24:23
884
转载 Python正则表达式
Python正则表达式正则表达式是一个特殊的字符序列，它能帮助你方便的检查一个字符串是否与某种模式匹配。Python 自1.5版本起增加了re 模块，它提供 Perl 风格的正则表达式模式。re 模块使 Python 语言拥有全部的正则表达式功能。compile 函数根据一个模式字符串和可选的标志参数生成一个正则表达式对象。该对象拥有一系列方法用于正则表达式匹配和替
2016-05-18 10:40:56
462
转载 手动记录ubuntu终端的日志
我们知道，终端记录的会话是有缓存大小限制的，当在终端打印的消息超出缓存范围，前面打印的内容就会被覆盖，这往往给我们调试程序带来不便。如何将终端打印的所有内容保存起来呢？script是大多数Linux产品util-linux软件包的一部分。使用script可以记录Linux终端会话：你输入的内容和你看到的内容。它甚至记录颜色。因此如果你的命令提示符或程序输出中包含颜色，script都会记录它
2016-05-17 15:52:16
1804
原创 问题记录-python写mapper测试时出现urllib.error.HTTPError: HTTP Error 404: Not Found
hadoop@ub1401:~/python/pythonfile$ cat keyword.txtsheep 2dog,3firework 3hadoop@ub1401:~/python/pythonfile$ cat keyword.txt | ./mappertest1-1.pyTraceback (most recent call last): File "./mappert
2016-05-12 21:42:09
16026
原创 单机测试python编写的mapper时出现/usr/bin/python3^M: bad interpreter: No such file or directory
在单机测试python编写的mapper时出现hadoop@ub1401:~/hadoop/hadoopfile$ cat keywords-blank-1.txt|./PictureDownloadMapper.pybash: ./PictureDownloadMapper.py: /usr/bin/python3^M: bad interpreter: No such file or
2016-05-12 10:53:08
5014
转载 PipeMapRed.waitOutputThreads(): subprocess failed with code N
转载：http://blog.csdn.net/liuxincumt/article/details/6076903经常遇到的exception是：PipeMapRed.waitOutputThreads(): subprocess failed with code N"OS error code 1: Operation not permitted""OS error c
2016-05-11 16:02:12
1024
原创 hdfs获取文件列表，利用正则表达式选择文件并作下一步处理
Configuration conf = new Configuration(); FileSystem hdfs = FileSystem.get(URI.create(args[1]),conf); FileStatus[] listStatus = hdfs.listStatus(new Path(args[1])); Path[] listPath = FileUtil.stat2P
2016-05-10 15:47:55
3797
转载 hadoop之FileSystem操作
创建Java项目，File->New->Java Project,命名为TestHDFS采用单元测试做实验，加入单元测试依赖包，项目导航栏里右键Build Path->Add Libraries->JUnit，以上操作完成如下：API编程——FileSystem操作" title="Hadoop API编程——FileSystem操作" style="margin:0p
2016-05-09 16:03:46
1213
转载 使用Python写Map-Reduce程序
http://www.michael-noll.com/wiki/Writing_An_Hadoop_MapReduce_Program_In_Python，这篇文章写得不错，不过在服务器上有些Python的库根本都没有安装，所以我将代码小小修改了一下。Python比Java更适合做快速开发，学学怎么通过Python语言编写Map-Reduce程序是很有价值的， 首先编写一个实现
2016-05-09 15:15:42
2337
转载 hadoop中Streaming的使用
Streaming简介 Streaming框架允许任何程序语言实现的程序在Hadoop MapReduce中使用，方便已有程序向Hadoop平台移植。因此可以说对于hadoop的扩展性意义重大，今天简单说一下。Streaming的原理是用Java实现一个包装用户程序的MapReduce程序，该程序负责调用MapReduce Java接口获取key/value对输入，创建一个
2016-05-09 15:12:25
718
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人