Python之美[从菜鸟到高手]--装饰器之使用情景分析

有这个一个需求,统计一个函数执行时间 ? 方案很多,但无疑使用装饰器是一种好的方案。 [python] view plain copy def timer(func):      def _timer(*args,**kwargs): #参数是函数调用传递过来的参数 ...

2016-09-29 22:32:55

阅读数 198

评论数 0

How do I set the driver's python version in spark?

 You need to make sure the standalone project you're launching is launched with python 3. If your are submitting your standalone program through s...

2016-09-28 14:01:08

阅读数 285

评论数 0

集群上如何跑pyspark程序--Running Spark Python Applications

 Running Spark Python Applications Accessing Spark with Java and Scala offers many advantages: platform independence by running inside the JVM,...

2016-09-28 10:48:25

阅读数 3908

评论数 0

pyspark 如何删除hdfs文件

问题的背景:我想在每次跑集群的时候,先删除指定路径下之前hdfs跑的数据文件,但是spark又没有提供这样一个可以调用函数。     解决办法:你可以通过调用subprocess.call 执行任意的Linux Shell命令 或者 sh library下面这个方法已经解决我的需求。 ...

2016-09-27 16:15:32

阅读数 2706

评论数 0

hadoop三个配置文件的参数含义说明

1       获取默认配置 配置hadoop,主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件,默认下来,这些配置文件都是空的,所以很难知道这些配置文件有哪些配置可以生效,上网找的配置可能因为各个hadoop版本不同,导致无法生效。浏...

2016-09-25 17:52:41

阅读数 265

评论数 0

python中创建临时文件夹

 This module creates temporary files and directories. It works on all supported platforms. TemporaryFile, NamedTemporaryFile, TemporaryDi...

2016-09-23 16:52:03

阅读数 799

评论数 0

reference other engineer's code to explain wheather linux terminal can display matplotlib' figure

柱状图(plt.bar) 代码与注释 import numpy as np from matplotlib import pyplot as plt plt.figure(figsize=(9,6)) n = 8 X = np.arange(n)+1 #X是1,2,3,4,5,6,7,8,柱的...

2016-09-23 01:01:29

阅读数 547

评论数 0

linux多个python版本共存切换方法

python命令通常存在 /usr/bin/python和/usr/local/bin/python下面,一般是符号链接,优先使用后者, 如果有2.6和2.7两个版本,并且 /usr/bin/python --> /usr/bin/python2.6 /usr/loc...

2016-09-21 23:53:37

阅读数 6632

评论数 0

java.net.URISyntaxException: Relative path in absolute URI

 I was able to do some digging around in the latest Spark documentation, and I notice they have a new configuration setting that...

2016-09-19 10:37:29

阅读数 1249

评论数 0

TypeError: 'datetime.datetime' object is not iterable [duplicate]

 You need to pass query parameters as an iterable. Make it a tuple, for instance: cursor.execute(date_query, (mydate, ))

2016-09-19 10:07:56

阅读数 1596

评论数 0

Python: Attribute Error - 'NoneType' object has no attribute 'something'

 NoneType means that instead of an instance of whatever Class or Object you think you're working with, you've actually got None. That usually mea...

2016-09-19 09:52:17

阅读数 628

评论数 0

Exception: Python in worker has different version 2.7 than that in driver 3.5, PySpark cannot run wi

总而言之,一句话,设置环境变量: PYSPARK_PYTHON = /home/piting/ENV/anaconda3/bin/python os.environ["PYSPARK_PYTHON"] = PYSPARK_PYTHON 有时如果你使用的是虚拟环境或者a...

2016-09-14 15:01:51

阅读数 4315

评论数 0

hadoop文件复制命令

 hadoop内置的distcp命令,采用map -reduce的方式对文件进行复制,对于大数据文件夹的复制,特别是文件夹的嵌套式很有效的。  不需要我们手工指定底层文件夹,即可完成复制。并且复制的结果文件与源文件文件名相同,不会出现part-*的文件的情况。     但是对于小数据文件...

2016-09-13 21:46:10

阅读数 1559

评论数 0

Spark——SparkContext简单分析

 本篇文章就要根据源码分析SparkContext所做的一些事情,用过Spark的开发者都知道SparkContext是编写Spark程序用到的第一个类,足以说明SparkContext的重要性;这里先摘抄SparkContext源码注释来 简单介绍介绍SparkContext,注释的第一句...

2016-09-13 21:44:14

阅读数 407

评论数 0

Python 命令行参数和getopt模块详解

 原文  http://blog.csdn.net/wangyiyan315/article/details/21320385 主题 Python 有时候我们需要写一些脚本处理一些任务,这时候往往需要提供一些命令行参数,根据不同参数进行不同的处理,在Python里,命令...

2016-09-13 14:40:43

阅读数 204

评论数 0

Spark-Python基础操作

 仅以使用为主,不讲求理解原理 参考:http://www.csdn.net/article/2015-04-24/2824552 1. 运行方式 1)spark主目录下bin/spark-submit test.py 2)bin/pyspark打开Python交互命令行 ...

2016-09-13 11:44:42

阅读数 320

评论数 0

Hadoop之HDFS文件操作

 摘要:Hadoop之HDFS文件操作常有两种方式,命令行方式和JavaAPI方式。本文介绍如何利用这两种方式对HDFS文件进行操作。 关键词:HDFS文件    命令行     Java API HDFS是一种分布式文件系统,为MapReduce这种框架下的海量...

2016-09-13 10:00:45

阅读数 208

评论数 0

将Oracle数据导出到文本文件(txt)的方法

Oracle数据导出到文本文件的方法   Oracle数据直接导出到文本文件的方法. 利用Oracle中的Spool缓冲池技术可以实现Oracle数据导出到文本文件。 1、在Oracle PL/SQL中输入缓冲开始命令,并指定输出的文件名: spool d:/output.txt ...

2016-09-08 22:03:55

阅读数 942

评论数 0

CentOS下件误删除恢复操作

作为一个多用户、多任务的操作系统,Linux下的文件一旦被删除,是难以恢复的。尽管删除命令只是在文件节点中作删除标记,并不真正清除文件内容,但是其他用户和一些有写盘动作的进程会很快覆盖这些数据。不过,对于家庭单机使用的Linux,或者误删文件后及时补救,还是可以恢复的。 恢复步骤...

2016-09-08 21:36:35

阅读数 2708

评论数 0

单机版搭建Hadoop环境图文教程详解

前言: 年前,在老大的号召下,我们纠集了一帮人搞起了Hadoop,并为其取了个响亮的口号“云在手,跟我走”。大家几乎从零开始,中途不知遇到多少问题,但终于在回家之前搭起了一个拥有12台服务器的集群,并用命令行在该集群上运行了一些简单的mapreduce程序。想借此总结我们的工作过程。 ...

2016-09-08 01:03:50

阅读数 232

评论数 0

提示
确定要删除当前文章?
取消 删除