Great Expectations的博客

原创 scrapy to_bytes must receive a unicode, str or bytes object, got int

这个 formdata 表单参数要是str 才可以，可以参考scrapy 源代码 form.py form_data = { "navigateType": "910", "firstCategoryId": "910", "secondCategoryId": "910",...

转载 python 清空列表的方法

1。大数据量的list，要进行局部元素删除，尽量避免用del随机删除，非常影响性能，如果删除量很大，不如直接新建list，然后用下面的方法释放清空旧list。2。对于一般性数据量超大的list，快速清空释放内存，可直接用 a = [] 来释放。其中a为list。3。对于作为函数参数的list，用上面的方法是不行的，因为函数执行完后，list长度是不变的，但是可以这样在函数中释放一个参数li...

转载 xpath回顾

原创 Python 杂记

python 列表转为字典的两个小方法1、现在有两个列表，list1 = ['key1','key2','key3']和list2 = ['1','2','3']，把他们转为这样的字典：{'key1':'1','key2':'2','key3':'3'}list1 = ['key1','key2','key3']list2 = ['1','2','3']dict(zip(list...

原创 Python3 ImportError: No module named _ssl解决方法

系统没有openssl，手动安装openssl1.下载openssl，地址为http://www.openssl.org/source/openssl-1.0.2a.tar.gz2.安装：tar -xzvf openssl-1.0.2a.tar.gz./config --prefix=/usr/local --openssldir=/usr/local/opensslmake &amp...

原创 Python 继承和多态

我们先来定义一个class Person，表示人，定义属性变量 name及sex （姓名和性别）；定义一个方法print_title()：当sex是male时，printman；当sex是female时，printwoman。参考如下代码：class Person(object): def __init__(self,name,sex): self.na...

转载 linux服务器之间传输文件的两种方式

1. scp【优点】简单方便，安全可靠；支持限速参数【缺点】不支持排除目录【用法】scp就是secure copy，是用来进行远程文件拷贝的。数据传输使用 ssh，并且和ssh 使用相同的认证方式，提供相同的安全保证 。命令格式scp [参数] <源地址（用户名@IP地址或主机名）>:<文件路径> <目的地址（用户名 @IP 地址或主机名）&gt...

原创 kafka consumer zookeeper is not a recognized option

旧版消费者启动命令：./kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning新版kafka本改为./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning...

原创 阿里云 datahub python sdk补充（多shard订阅数据）

datahub 阿里云数据流处理通道官方python sdk 只有单shards 案列，多shards数据订阅demo参考此文代码发布数据(put)不指定shard_id默认轮询落shard#!/usr/bin/env python# -*- coding: utf-8 -*-# @Time : 2019-03-06 15:51# @Author : yangshi...

转载 linux &&和&，|和||说用法

“;”分号用法方式：command1 ; command2用;号隔开每个命令, 每个命令按照从左到右的顺序,顺序执行， 彼此之间不关心是否失败， 所有命令都会执行。“| ”管道符用法上一条命令的输出，作为下一条命令参数方式：command1 | command2Linux所提供的管道符“|”将两个命令隔开，管道符左边命令的输出就会作为管道符右边命令的输入。连续使用管道意味着...