python
it_is_arlon
就是懒,什么都不想写
展开
-
【py链接es报错处理: ‘httpheaderdict‘ object has no attribute ‘get_all‘】
py链接es报错处理: 'httpheaderdict' object has no attribute 'get_all'详细报错描述详细报错描述 results = self.es.index(index=str(self.shop_code), doc_type='_doc', id=md5_unqiueId, body=chat_list) File "/usr/local/python3/lib/python3.9/site-packages/elasticsearch/client原创 2022-05-23 19:27:43 · 731 阅读 · 0 评论 -
网络请求报错问题 UnicodeEncodeError: ‘latin-1‘ codec can‘t encode characters in position 38-39
现象描述:最近写的一份代码,在自己电脑环境下跑的好好的,但是部署到了linux就报了此错误。详细报错如下: File "/usr/local/python3/lib/python3.9/site-packages/bi_slave-3.0-py3.9.egg/bi_slave/common/http_sync.py", line 145, in __call__ resp = self.send_request() File "/usr/local/python3/lib/pyth原创 2022-01-07 10:48:38 · 1982 阅读 · 0 评论 -
python dbutils连接池查询中文是字节类型转换正常类型 问题记录
#!/usr/bin/env python# -*- coding:utf-8 -*-"""@author: arlon@date: 2021/8/2@time: 18:03@desc: """import syssys.path.append("./")import pymysqlfrom dbutils.pooled_db import PooledDBfrom utility import db_config as config# 数据库连接编码DB_CHARSET =原创 2021-08-04 10:34:37 · 286 阅读 · 0 评论 -
字节系某条web加密
主要参考两篇文章https://www.52pojie.cn/thread-1293936-1-1.htmlhttps://mp.weixin.qq.com/s/6m5bNU1qJlRsSCmAkaJziA1>添加首行配置var window = global;window.document = { 'referrer': 'https://www.toutiao.com/', 'cookie': ''};window.location = { // href转载 2021-06-24 21:26:57 · 372 阅读 · 0 评论 -
二维数组 中 每个不同子数组中元素所有组合 做笛卡尔积
二维数组 中 每个不同子数组中元素所有组合 做笛卡尔积 (其中二维数组中子数组数量不确定)#!/usr/bin/env python3# -*- coding:utf-8 -*-import copydef _iterate(xxx, _, i=[], last_list=[]): """ :param xxx: 代表列表 [[1,2,3,4], [1,2], [1,2,3]] :param _: 代表取出第几个列表 :param i: 组合的元素放到列表原创 2021-04-23 13:58:35 · 284 阅读 · 0 评论 -
python 数据字典表导出markdown csv等格式
python 数据字典表导出markdown csv等格式import pymysqlimport importlibimport csvdef remove_newline(text): """ 去除文本中的换行符号 """ return text.replace("\r", "").replace("\n", "")def generate_table(database_name, table_name): """ 生成数据库字典表原创 2020-06-30 18:10:05 · 949 阅读 · 0 评论 -
python 轮询cookie调用 爬虫
cookie轮询调用最近写爬虫时,遇到一个响应接口响应速度太慢,检查发现主要慢在了cookie的生成方面,于是就仿照IP池的轮询操作,编写了一个cookies池的轮询。COOKIE_EXIST_MAX_TIME = 120 # 默认cookie存在时间 根据请求量设置大小COOKIE_EXIST_COUNT = 30 # 设置列表中cookie存在的数量def get_co...原创 2019-11-14 14:26:10 · 268 阅读 · 0 评论