RangeYan

译者说在前面：最近在学习Spark相关的知识，在网上没有找到比较详细的中文教程，只找到了官网的教程。出于自己学习同时也造福其他初学者的目的，把这篇指南翻译成了中文，笔者水平有限，文章中难免有许多谬误，请高手不吝赐教。本文翻译自Spark Programming Guide,由于笔者比较喜欢Python，在日常中使用也比较多，所以只翻译了Python部分，不过Java和Scala大同小异。

pyspark 读写lzo 文件例子from pyspark import SparkContextfrom pyspark import SparkConfconf = SparkConf().setAppName("ta_yanshu")sc = SparkContext(conf=conf)filerdd = sc.newAPIHadoopFile("s3n://2

redis-rdb-tools 是一个开源的解析redis快照文件dump.rdb的工具，解析出dump.rdb文件后可以用来做数据分析，redis数据恢复或者写入到其他key-value缓存系统中。1.下载&安装git clone https://github.com/sripathikrishnan/redis-rdb-toolscd redis-rdb-toolssu

本人原创文章，转载请注明来源，合法转载！#!/usr/bin/env python# -*- coding: utf-8 -*- import smtplibimport sysfrom email.mime.text import MIMETextimport linecacheimport emailimport os###################### se

本人原创，转载请注明出处，合法转载！#!/bin/evn python#Basic Test Case For Http Server#RangeYanimport requestsimport tracebackimport timeTestCaseIndex_Host_Mapping = {}TestCaseIndex_Url_Mapping = {}TestCa

本人原创，转载请注明出处，合法转载#!/bin/env python# coding=UTF-8import socketimport sysimport redisfrom multiprocessing import Poolimport timeredis_host="127.0.0.1"redis_port=6379all_key="all"right_key=

本人原创，转载请注明出处，合法转载1.python 多进程+gevent实现并发#!/bin/env python#-*- coding: UTF-8 -*-from __future__ import print_functionfrom multiprocessing import Poolimport threadingimport osimport sysimpor

快速排序是C.R.A.Hoare于1962年提出的一种划分交换排序。它采用了一种分治的策略，通常称其为分治法(Divide-and-ConquerMethod)。该方法的基本思想是：1．先从数列中取出一个数作为基准数。2．分区过程，将比这个数大的数全放到它的右边，小于或等于它的数全放到它的左边。3．再对左右区间重复第二步，直到各区间只有一个数。时间复杂度：O

1. Shell 脚本执行目录声明：#!/bin/bash数据结构:val_str="string" #定义字符串变量val_int=1 #定义整形变量arry_str=("1" "2" "3" "4") #定义字符串型数组arry_int=(1 2 3 4) #定义整形数组map=(["key1"]=1 ["key2"]=2) #定义map结构map["k