西门大盗 捉虫专家

电脑安装了selenium和chromedriver后，爬虫的加上proxies后就无法请求：requests.exceptions.ProxyError: HTTPSConnectionPool(host='www.baidu.com', port=443): Max retries exceeded with url: / (Caused by ProxyError('Your proxy appears to only use HTTP and not HTTPS, try changing yo

当request请求中，带有中文，可能引发报错：UnicodeEncodeError: 'latin-1' codec can't encode character ······解决方法是，找到引起报错的地方（可能是headers中，也可能是data中）把引起报错的字符串进行转码即可：'你的字符串'.encode("utf-8").decode("latin1")...

当mongodb中已经有数据后，创建django项目，并且要关联mongo数据库，这是在写models.py时，只需要定义几个字段，有时数据库中的字段远远比我们定义的字段要多。这是查询数据库的环节就会报错：类似于：FieldDoesNotExistThe fields xxxxxxxxxxxxx do not exist on the document "xxxxxx"解决方法是...

在安装pycrypto过程中，总是出现错误：类似Microsoft Visual C++ 14.0 is required. 或者Visual Studio 14.0\\VC\\BIN\\x86_amd64\\cl.exe' failed最后还是通过 以下代码直接 就安装成功：pip install -i https://pypi.douban.com/simp...

在安装tzwhere 时，无法成功安装，出现以下报错：Collecting tzwhere Downloading https://files.pythonhosted.org/packages/3d/e9/18e4822f6e4640332b97c744378da427bc28d2399235520349bb17e06aa4/tzwhere-3.0.3.tar.gz (23.7MB)...

大部分遇到ssl错误时，只要添加verify=False 即可，但是有时还是无法解决，那么，下面这样写，就能处理多种的ssl报错问题。import requestsrequests.packages.urllib3.disable_warnings()#requests.packages.urllib3.disable_warnings(InsecureRequestWarning) ...

适用场景：当判断字符串是否是base64加密过的，或者要将字符串进行加密。特别是爬虫过程中，js中经常带有base64进行加密解密的操作，只要知道整个逻辑，以后可以直接进行调用。def jiemi_base64(): # 解密base64 data = 'eyduYW1lJzona2trJywnYWdlJzoyMn0=' # data= '''{'aa':'bb...

bytes和str相互转换：a = 'hello world' # strb = b'hello world' # bytesbytes转str：法一：c = b.decode()法二：c = str(b,encoding = 'utf-8)str转bytes：d = a.encode()还有其他方式，欢迎留言补充！...

在for循环中，把字典添加进列表，遇到了最后的列表内都是同一个字典的问题。详情见   https://blog.csdn.net/qq_29721419/article/details/70310183

比如在product 这个表中，要删除shop这个字段，用以下命令即可（在cmd中，或者robo 3T中）。db.getCollection('product').update({},{'$unset':{'shop':1}},false, true)最后一个true 表示对整个表都执行 如果要新增shop字段，并且赋值为空，则： db.getCollection('pro...

在mongodb中我们的对sort的写法是  db.xxx.find().sort({'date':1})在pycharm中这样写会报错：TypeError: if no direction is specified, key_or_list must be an instance of list  正确的脚本是，db.xxx.find().sort([('date',1)])...

在selenium中，经常要用到 element = driver.find_element_by_class_name(‘foo’)这种方式来提取字段，可以通过转化直接用css的方法来from scrapy.selector import Selectors_selector = Selector(text=browser.page_source)element = s_selecto...