- 博客(116)
- 收藏
- 关注
RSS订阅转载 spark模型运行时无法连接摸个excutors异常org.apache.spark.shuffle.FetchFailedException: Failed to connect to xxxx/x...
error:org.apache.spark.shuffle.FetchFailedException: Failed to connect to xxxx/xx.xx.xx.xx:xxxx定位来定位去与防火墙等无关。反复查看日志：2019-09-30 11:00:46,521 | WARN | [dispatcher-event-loop-50] | Lost task 5...
2019-09-30 17:44:00
642
转载 spark模型error java.lang.IllegalArgumentException: Row length is 0
failure: Lost task 18.3 in stage 17.0 (TID 59784,XXXXX, executor 19): java.lang.IllegalArgumentException: Row length is 0场景是写入hbase：val put = new Put(Bytes.toBytes(line._1))当取出的line._1做...
2019-09-30 17:29:00
3053
转载 被简书恶心到了
之前在简书写，但是被简书封号，只能在手机app查看自己的文章列表，没搞懂。写的东西很烂自己也知道。但是无缘无故被封号，还将所有文章同步到了这个“台部落“。账号都爬过去了，不是本人操作，都被爬到了这个网站https://www.twblogs.net/索性搬家到博客园了，文章依然很烂，就当笔记记下。简书上边还有的钻提不了现。发客服邮箱简书也不回复。公告说被封号的，两个月后账号就...
2019-09-29 14:49:00
539
转载 spark foreachPartition foreach
1.foreach val list = new ArrayBuffer() myRdd.foreach(record => { list += record })2.foreachPartition val list = new ArrayBuffer rdd.foreachPartition(it ...
2019-09-27 18:49:00
226
转载 spark sql createOrReplaceTempView registerTempTable
spark sql ,如果每个表里的数据都很大，用sql直接将几个表关联起来查询时比较耗内存。可以先将每个表的可用集合过滤到最小，然后在内存中关联，可以提高减少内存占用，提高效率。createOrReplaceTempView2.x版本以上。registerTempTable1.5.x val data1 = dataSelect1(sqlContext, spar...
2019-09-27 17:04:00
1748
转载 java8 stream
import org.junit.Test;import java.util.*;import java.util.stream.Collectors;/** * Created by shaozhiqi on 2019/9/26 */public class testLam { @Test public void te...
2019-09-26 16:18:00
80
转载 python3（四十）datetime timestamp str
"""时间处理 """__author__on__ = 'shaozhiqi 2019/9/25'# !/usr/bin/env python3# -*- coding: utf-8 -*-# ------------------------------------------datetime----------------------------------...
2019-09-25 15:20:00
118
转载 python3（三十八） serialize
""" """__author__on__ = 'shaozhiqi 2019/9/24'# !/usr/bin/env python3# -*- coding: utf-8 -*-# 在程序运行的过程中，所有的变量都是在内存中，比如，定义一个dict：d = dict(name='Bob', age=20, score=88)# 我们把变量从内存...
2019-09-24 18:50:00
269
转载 python3（三十七） filepath
""" file path """__author__on__ = 'shaozhiqi 2019/9/23'# !/usr/bin/env python3# -*- coding: utf-8 -*-# os模块的基本功能import osprint(os.name) # nt# 如果是posix，说明系统是Linux、Unix或Mac ...
2019-09-23 18:56:00
1079
转载 python3（三十六）StringIO BytesIO
""" StringIO和BytesIO """__author__on__ = 'shaozhiqi 2019/9/23'# !/usr/bin/env python3# -*- coding: utf-8 -*-# 很多时候，数据读写不一定是文件，也可以在内存中读写。# StringIO顾名思义就是在内存中读写str。# 要把str写入Strin...
2019-09-23 18:55:00
83
转载 python3（三十五）file read write
""" 文件读写 """__author__on__ = 'shaozhiqi 2019/9/23'# !/usr/bin/env python3# -*- coding: utf-8 -*-# 读文件的模式打开一个文件对象，使用Python内置的open()函数，传入文件名和标示符f = open('D:/temp/shao.txt', 'r', en...
2019-09-23 18:54:00
211
转载 python3（三十四）unitTest
""" 单元测试 """__author__on__ = 'shaozhiqi 2019/9/23'class Dict(dict): def __init__(self, **kw): super().__init__(**kw) def __getattr__(self, key): try: ...
2019-09-23 18:53:00
81
转载 python3（三十三）debug
""" 调试 """__author__on__ = 'shaozhiqi 2019/9/23'# 调试程序# 1. print打印，没问题了上线还得删掉# 2. 断言、assert# n不等于0则继续执行，否则走断言的处理，Python解释器时可以用-O参数来关闭assert# def foo(s):# n = int(s)# ...
2019-09-23 18:51:00
138
转载 python3（三十二） try except
""" 异常处理 """__author__on__ = 'shaozhiqi 2019/9/19'# 大量的代码来判断是否出错：# def foo():# r = some_function()# if r == (-1):# return (-1)# # do something# return...
2019-09-19 18:27:00
105
转载 python3（三十一）metaclass
""" """__author__ = 'shaozhiqi'# 动态语言和静态语言最大的不同，就是函数和类的定义，不是编译时定义的，而是运行时动态创建的。# type()函数既可以返回一个对象的类型，又可以创建出新的类型，比如，我们可以通过type()函数创建出Hello类，而无需通过class Hello(object)...的定义：def fn(sel...
2019-09-19 16:19:00
99
转载 python3（三十） Enum
""" """__author__ = 'shaozhiqi'# 当我们需要定义常量时，一个办法是用大写变量通过整数来定义，例如月份：JAN = 1FEB = 2MAR = 3# 好处是简单，缺点是类型是int，并且仍然是变量# --------------Enum-----------------------------------------...
2019-09-19 16:18:00
99
转载 python3（二十九） orderClass
""" """__author__ = 'shaozhiqi'# Python的class中还有许多有特殊用途的函数，可以帮助我们定制类# ------------------str-----------------------------------class Student(object): def __init__(self, name)...
2019-09-19 16:17:00
220
转载 python3（二十八）manyExten
""" 多重继承 """__author__ = 'shaozhiqi'# start ------------------------------------------------------class Animal(object): pass# 哺乳动物 -----------------------------------------...
2019-09-19 16:16:00
68
转载 python3（二十七）property
""" """__author__ = 'shaozhiqi'# 绑定属性时，如果我们直接把属性暴露出去，虽然写起来很简单，# 但是，没办法检查参数，导致可以把参数随便改# 比如想限制student score的范围class Student(object): def get_score(self): return s...
2019-09-19 16:14:00
81
转载 python3（二十六）slots
""" """__author__ = 'shaozhiqi'# python是动态语言，所以定义类后，我们可以动态的给类绑定属性和方法，上一节都都与接触class Student(object): passs = Student()s.name = 'shaozhiqi'print(s.name) # shaozhiqi...
2019-09-19 16:13:00
85
转载 python3（二十五） getClassInfo
""" """__author__ = 'shaozhiqi'# 如何知道这个对象是什么类型,使用type()print(type(123)) # <class 'int'>print(type('abc')) # <class 'str'>print(type(None)) # <class 'NoneType'>...
2019-09-19 16:12:00
150
转载 python3（二十四） subClas
""" 继承的多态 """__author__ = 'shaozhiqi'# -----------------父类------------------------class Animal(object): def run(self): print('Animal is running...')# -------------...
2019-09-19 16:11:00
97
转载 python3（二十三）classInstance
""" 类和实例和访问权限 """__author__ = 'shaozhiqi'# class后面紧接着是类名，即Student，类名通常是大写开头的单词，# 紧接着是(object)，表示该类是从哪个类继承下来的class Student(object): passbart = Student() # 变量bart指向的就是一个St...
2019-09-19 16:09:00
113
转载 python3（二十二） oop
""" 面向对象编程 """__author__ = 'shaozhiqi'# 面向对象的程序设计把计算机程序视为一组对象的集合，而每个对象都可以接收其他对象发过来的消息，并处理这些消息，计算机程序的执行就是一系列消息在各个对象之间传递。# 在Python中，所有数据类型都可以视为对象，当然也可以自定义对象# 打印学生成绩，首先必须创建出这个学生对应的对象，然...
2019-09-19 16:08:00
74
转载 python3（二十一） pip
先确保安装了windows的Python的pip出现上图说明安装了，命令未找到则没有安装安装一个图形处理的第三方库Anaconda安装第三方库我们经常需要用到很多第三方库，如MySQL驱动程序，Web框架等。用pip一个一个安装费时费力，还需要考虑兼容性。我们推荐直接使用Anaconda，这是一个基于Python的数据处理和科学计算平台，它已经内置了...
2019-09-19 16:07:00
68
转载 python3（二十） module
# 在Python中，一个.py文件就称之为一个模块（Module）# 1.最大的好处是大大提高了代码的可维护性。# 2.可以被其他地方引用# 3.python内置的模块和来自第三方的模块# 4.使用模块还可以避免函数名和变量名冲突# 5.同样，Python也有包（Package），同名不同包引用是也不会冲突。# 每一个包目录下面都会有一个__init__...
2019-09-18 17:05:00
104
转载 python3（十九）Partial func
# 偏函数（Partial function）# 如int()函数可以把字符串转换为整数，当仅传入字符串时，int()函数默认按十进制转换print(int('12345')) # 12345# 但int()函数还提供额外的base参数，默认值为10。如果传入base参数，就可以做N进制的转换：print(int('12345', base=8)) # 5349...
2019-09-18 17:03:00
82
转载 python3（十八）decorator
# -----------------------1--------------------------------------------# 由于函数也是一个对象，而且函数对象可以被赋值给变量，所以，通过变量也能调用该函数。def now(): print('2019-3-25')f = nowprint(f()) # 2019-3-25pr...
2019-09-18 17:01:00
55
转载 python3（十七） nonameFunc
L = list(map(lambda x: x * x, [1, 2, 3, 4, 5, 6, 7, 8, 9]))print(L) # [1, 4, 9, 16, 25, 36, 49, 64, 81]# lambda x: x * x等价于下面的def f(x): return x * x# 关键字lambda表示匿名函数，冒号前面的...
2019-09-18 16:59:00
69
转载 python3（十六）returnFunc
# 通常求和函数定义，调动就求和def calc_sum(*args): ax = 0 for n in args: ax = ax + n return ax# 如果不需要立即求和def lazy_sum(*args): def sum(): ax = 0 for n ...
2019-09-18 16:58:00
123
转载 python3（十六） sorted
# sorted()函数list进行排序：L = sorted([36, 5, -12, 9, -21])print(L) # [-21, -12, 5, 9, 36]# 可以看到默认是按照升序排LL = sorted([36, 5, -12, 9, -21], key=abs)print(LL) # [5, 9, -12, -21, 36] 自定义ke...
2019-09-18 16:56:00
53
转载 python3（十四） filter
# 和map()类似，filter()也接收一个函数和一个序列。# 和map()不同的是，filter()把传入的函数依次作用于每个元素，# 然后根据返回值是True还是False决定保留还是丢弃该元素。def is_odd(n): return n % 2 == 1# filter()函数返回的是一个Iterator,也就是一个惰性序列，# 所...
2019-09-18 16:56:00
83
转载 python3（十三）map reduce
# map()函数接收两个参数，一个是函数，一个是Iterable，# map将传入的函数依次作用到序列的每个元素，并把结果作为新的Iterator返回。def f(x): return x * xr = map(f, [1, 2, 3, 4, 5, 6, 7, 8, 9]) # f作用掉序列的每个元素上,可提高代码可读性print(r) # &...
2019-09-18 16:54:00
89
转载 python3（十二）functional
# 函数式编程的一个特点就是，允许把函数本身作为参数传入另一个函数，还允许返回一个函数！# 变量可以指向函数abs(-10) # 10abs # <built-in function abs># ------abs(-10)是函数调用，而abs是函数本身x = abs(-10)print(x) # 10# 函数名也是变量f = a...
2019-09-18 16:53:00
176
转载 python3（十一）generator
# 只要把一个列表生成式的[]改成()L = [x * x for x in range(10)]print(L) # [0, 1, 4, 9, 16, 25, 36, 49, 64, 81]g = (x * x for x in range(10))print(g) # <generator object <genexpr> at 0x0000...
2019-09-18 16:52:00
92
转载 python3（十） iteration
d = {'a': 1, 'b': 2, 'c': 3}for key in d: print(key, end=' ')# a b c dict的存储不是按照list的方式顺序排列，所以，迭代出的结果顺序很可能不一样for ch in 'ABC': print(ch, end=' ')# A B C# 判断一个对象是否可迭代from ...
2019-09-18 16:51:00
209
转载 python3（九） Section
# list或tuple的部分元素L = ['Michael', 'Sarah', 'Tracy', 'Bob', 'Jack']# -----------------传统方法print([L[0], L[1], L[2]]) # 取前三个值r = []n = 3for i in range(n): r.append(L[i])# 取前n个值...
2019-09-18 16:49:00
772
转载 python3（八） function
# Python 常用内置函数 https://docs.python.org/3/library/functions.html#absprint(help(abs)) # Return the absolute value of the argument. 返回参数的绝对值。print(abs(-20)) # 20print(max(2, 3, 1, -5)) ...
2019-09-18 16:47:00
86
转载 python3（七）dict list
# dict全称dictionary，在其他语言中也称为map，使用键-值（key-value）存储，具有极快的查找速度。# dict内部存放的顺序和key放入的顺序是没有关系的# 根据同学的名字查找对应的成绩，如果用list实现，需要两个listnames = ['Michael', 'Bob', 'Tracy']scores = [95, 75, 85]# d...
2019-09-18 16:46:00
195
转载 python3（六） for while
# Python的循环有两种，一种是for...in循环，依次把list或tuple中的每个元素迭代出来names = ['Michael', 'Bob', 'Tracy']for name in names: print(name)# 计算1-10的整数之和sumAdd = 0for x in [1, 2, 3, 4, 5, 6, 7, 8, 9, 1...
2019-09-18 16:45:00
50
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人