Python
RedPintings
记录工作,共同成长
展开
-
urllib.error.URLError: <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: un
要解决此错误,您只需要安装 Certificates.command。只需按照此步骤即可。原创 2022-08-30 15:39:59 · 706 阅读 · 1 评论 -
AttributeError: partially initialized module ‘cv2‘ has no attribute ‘gapi_wip_gst_GStreamerPipeline‘
【代码】AttributeError: partially initialized module 'cv2' has no attribute 'gapi_wip_gst_GStreamerPipeline'原创 2022-08-22 15:07:35 · 686 阅读 · 0 评论 -
Python 中的元类
关于python中的元类,我们可以说是百分之99都用不到,但是你如果想了解一些关于元类的编程,那么我们可以简单的探讨一下:我想先推荐一篇文章 :了解 Python中的元类如果看完以后还是感觉莫名其妙,运行这样一个demo 可能会对你有所帮助:(元类编程在我看来,如果你想开发一些框架,可以尝试一下)class UpperAttrMetaclass(type): _type = dict() def __new__(cls, cls_name, bases, attr_dic原创 2020-07-11 13:53:18 · 256 阅读 · 0 评论 -
environs
这是一个第三方库,可以通过 pip 来安装:pip3 install environs使用 environs 来设置环境变量from environs import Env env = Env()VAR1 = env.int('VAR1', 1)VAR2 = env.float('VAR2', 5.5)VAR3 = env.list('VAR3')这里 environs 直接提供了 int、float、list 等方法export VAR1=1export VAR2=2转载 2020-05-25 10:24:02 · 290 阅读 · 0 评论 -
ImportError: cannot import name 'log' from 'scrapy'
[root@localhost ~]# python3Python 3.8.2 (default, Apr 20 2020, 10:10:11) [GCC 4.8.5 20150623 (Red Hat 4.8.5-39)] on linuxType "help", "copyright", "credits" or "license" for more information.>>> import scrapy>>> >>> from s.原创 2020-05-12 11:29:23 · 3604 阅读 · 1 评论 -
MAC: unable to import 'smart_open.gcs', disabling that module
mac 安装gensim 的时候需要注意, 我的安装过程或许会对你有帮助!首先安装gfortranbrew install gfortran如果执行时间太长,或者很久没反应 可以尝试切换镜像源brew install gfortran -i https://pypi.doubanio.com/simple然后就可以安装gensimpip install gens...原创 2020-04-26 11:25:12 · 361 阅读 · 0 评论 -
腾讯微视 爬虫
关于腾讯微视频采集解决方案Github 地址点这里前段时间看到一个关于微信数据采集的小项目,我感觉非常不错, 修改它做一些好玩的事,用来获取短视频平台的一些数据,它很容易理解,也很容易进行修改,可以为以后其他爬虫提供思路。首先确保你有一台或多台安卓 手机,使用adb 对手机进行模拟操作,我们可以使用代理拦截的方式进行获取数据 当然我们也可以使用其他的方式,多种多样的玩法或许很有成...原创 2019-12-19 17:57:47 · 3084 阅读 · 0 评论 -
adb device offline
我们在使用adb 命令的时候可能会遇到这个问题,尤其是使用无线网络对手机进行控制的时候,很多人发表了观点,我把自己的看法和解决办法说一下:1 首先我们可以在此网站了解关于adb 的使用:点击这里2 其次我们可以查看一下adb 服务:ps -ef|grep 'adb'3 然后将此服务kill 掉后,重新进行连接 或者按照第1步网站中 所提示操作 ,希望可以帮到你...原创 2019-12-18 14:08:15 · 216 阅读 · 0 评论 -
logstash 运行出现you must change the "path.data" setting.
修改启动命令: /bin/logstash -f xxxxx.conf 为: /bin/logstash -f xxxxxx.conf --path.data=/root/转载 2018-10-25 11:36:30 · 3351 阅读 · 0 评论 -
python redis 操作
https://www.cnblogs.com/melonjiang/p/5342505.html 1 #!/usr/bin/env python 2 # -*- coding:utf8 -*- 3 4 import redis 5 6 ''' 7 这种连接是连接一次就断了,耗资源.端口默认6379,就不用写 8 r = redis.Redis(host='127.0...原创 2018-10-23 11:12:53 · 150 阅读 · 0 评论 -
centos 安装htop
命令终端输入gcc -v如果没有安装gcc,按如下来安装yum install -y gcc安装后,需要安装一个编译Linux内核的库yum install -y ncurses-devel下载HTOPwget http://sourceforge.net/projects/htop/files/latest/download下载后查看文件名输入'ls'...转载 2018-10-23 12:01:42 · 821 阅读 · 0 评论 -
Python3.6 etree 报错解决
pip3 install lxml==3.7.2或者pip3 install lxml==4.1.0原创 2018-10-31 10:01:14 · 2471 阅读 · 0 评论 -
如何使用scrapy中的ItemLoader提取数据?
https://blog.csdn.net/zwq912318834/article/details/79530828原创 2018-10-24 10:20:30 · 341 阅读 · 0 评论 -
Python3 String模块ascii_letters和digits
本文介绍Python3中String模块ascii_letters和digits方法,其中ascii_letters是生成所有字母,从a-z和A-Z,digits是生成所有数字0-9.import random, stringstr_ascii = [random.choice(string.ascii_letters + string.digits) for x in range(7)...原创 2018-11-06 10:53:34 · 1995 阅读 · 0 评论 -
Linux统计某个字符串出现次数
两种方法:使用vim统计%s/objStr//gn使用grepgrep Str filename|wc -l如果是多个字符串出现次数,可使用:grep -o -E 'time":"2018-11-09 13:45.*?type":1' inner.log|wc -l 使用正则...转载 2018-11-07 11:12:24 · 1419 阅读 · 0 评论 -
ubuntu 安装mongodb 及基本命令
1 更新sudo apt-get update2 安装mongodbsudo apt-get install mongodb3 启动 停止 重启sudo service mongodb startsudo service mongodb stopsudo service mongodb restart 4 mongodb常用命令创建数据库,如果数据库...原创 2018-10-15 16:24:35 · 528 阅读 · 0 评论 -
linux screen
一、背景系统管理员经常需要SSH 或者telent 远程登录到Linux 服务器,经常运行一些需要很长时间才能完成的任务,比如系统备份、ftp 传输等等。通常情况下我们都是为每一个这样的任务开一个远程终端窗口,因为它们执行的时间太长了。必须等待它们执行完毕,在此期间不能关掉窗口或者断开连接,否则这个任务就会被杀掉,一切半途而废了。二、简介GNU Screen是一款由GNU计划开发的用于...转载 2018-09-13 10:34:07 · 265 阅读 · 0 评论 -
Git .gitignore
在使用Git的过程中,我们喜欢有的文件比如日志,临时文件,编译的中间文件等不要提交到代码仓库,这时就要设置相应的忽略规则,来忽略这些文件的提交。简单来说一个场景:在你使用git add .的时候,遇到了把你不想提交的文件也添加到了缓存中去的情况,比如项目的本地配置信息,如果你上传到Git中去其他人pull下来的时候就会和他本地的配置有冲突,所以这样的个性化配置文件我们一般不把它推送到git服务器中...转载 2018-09-25 12:01:35 · 623 阅读 · 0 评论 -
ubuntu 安装chrome
1.在终端中,输入以下命令:sudo wget http://www.linuxidc.com/files/repo/google-chrome.list -P /etc/apt/sources.list.d/1将下载源加入到系统的源列表。2.在终端中,输入以下命令:wget -q -O - https://dl.google.com/linux/linux_signing_...转载 2018-09-20 13:55:02 · 833 阅读 · 0 评论 -
Linux Git 安装配置使用
首先要确定是否安装 git 使用命令 git --version 如果没有安装 sudo apt install git 安装完成后进行git配置,输入指令git config --global user.name "xxx"和git config --global user.email "你的邮箱地址"() 配置完成后,需要创建...原创 2018-09-20 15:22:55 · 315 阅读 · 0 评论 -
Ubuntu 磁盘扩容
第一步:.安装修改文件大小的软件,此软件和Window上的DiskGenius用法相似。sudo apt-get install gparted第二步:搜索打开gparted 出现这样一个界面:第三步:右键直接关闭交换区(liunx-swap),然后右键删除交换区,第四步:右键更改sda1的大小了,修改大一点(修改时候可以直接拖动上边的边框),最后把剩...原创 2018-09-25 23:00:38 · 477 阅读 · 0 评论 -
ImportError: No module named apt_pkg
1 首先进入Python3.x dist-packagescd /usr/lib/python3/dist-packages2 查看 所有的pt_xxxxxxxxxxxxx 文件ls apt_*3 解决这个问题:/usr/lib/python3/dist-packages# cp apt_pkg.cpython-34m-i386-linux-gnu.so apt_pkg....原创 2018-09-27 11:48:03 · 1417 阅读 · 0 评论 -
centos7安装Mongodb
1.配置MongoDB的yum源首先更新一下包 sudo yum -y update 创建yum源文件:vim /etc/yum.repos.d/mongodb-org-3.4.repo 添加以下内容:[mongodb-org-3.4] name=MongoDB Repository baseurl=https://repo.mongodb.org/yum/redhat/$...转载 2018-10-12 11:20:30 · 144 阅读 · 0 评论 -
CentOS 7安装MySQL
https://blog.csdn.net/qq_38663729/article/details/79327305修改密码如果出现 ERROR 1820 (HY000): You must reset your password using ALTER USER statement before executing this statement.使用: alter user us...原创 2018-10-12 13:44:02 · 127 阅读 · 0 评论 -
LRANGE key start stop
返回存储在 key 的列表里指定范围内的元素。 start 和 end 偏移量都是基于0的下标,即list的第一个元素下标是0(list的表头),第二个元素下标是1,以此类推。偏移量也可以是负数,表示偏移量是从list尾部开始计数。 例如, -1 表示列表的最后一个元素,-2 是倒数第二个,以此类推。##在不同编程语言里,关于求范围函数的一致性需要注意的是,如果你有一个list,里面的...转载 2018-10-15 10:25:46 · 841 阅读 · 0 评论 -
Logstash grok-patterns ( 正则表达式 )
git https://github.com/elastic/logstash/blob/v1.4.2/patterns/grok-patterns # grok gitgrok debug http://grokdebug.herokuapp.com/ # test grok lo...原创 2018-11-13 17:48:36 · 538 阅读 · 0 评论 -
Logstash 采集服务器日志datahup处理上传阿里云 Maxcomputer
阿里云官方提供多种数据采集方式 阿里云Maxcomputer数据上传工具阿里云官网 博文 Logstash + DataHub + MaxCompute/StreamCompute 进行实时数据分析阿里云的基于飞天开发的pubsub服务 datahup安装logstash about datahub:$ tar -xzvf logstash-wit...原创 2018-11-16 12:24:17 · 1261 阅读 · 0 评论 -
Python3 ImportError: No module named _ssl解决方法
系统没有openssl,手动安装openssl1.下载openssl,地址为http://www.openssl.org/source/openssl-1.0.2a.tar.gz2.安装:tar -xzvf openssl-1.0.2a.tar.gz./config --prefix=/usr/local --openssldir=/usr/local/opensslmake &...原创 2019-03-22 11:42:00 · 1444 阅读 · 5 评论 -
Python 杂记
python 列表转为字典的两个小方法1、现在有两个列表,list1 = ['key1','key2','key3']和list2 = ['1','2','3'],把他们转为这样的字典:{'key1':'1','key2':'2','key3':'3'}list1 = ['key1','key2','key3']list2 = ['1','2','3']dict(zip(list...原创 2019-03-22 17:19:03 · 267 阅读 · 0 评论 -
python 清空列表的方法
1。大数据量的list,要进行局部元素删除,尽量避免用del随机删除,非常影响性能,如果删除量很大,不如直接新建list,然后用下面的方法释放清空旧list。2。对于一般性数据量超大的list,快速清空释放内存,可直接用 a = [] 来释放。其中a为list。3。对于作为函数参数的list,用上面的方法是不行的,因为函数执行完后,list长度是不变的,但是可以这样在函数中释放一个参数li...转载 2019-03-28 16:01:07 · 3113 阅读 · 1 评论 -
爬虫关于ip的问题
在使用爬虫进行数据抓取时候,会遇到很多反爬虫措施,封IP是常见的一种反扒措施,但是这种反扒措施是很古老的方式,对于运维人员来说当时看起来是比较有效的一种方式,但是一般的大量抓取都会携带使用代理ip 去请求,也就是ip 池现在爬虫使用代理一般有两种 方式:1 购买市面上的一些 API 接口,每次返回多少ip,在爬虫程序种接入使用(买代理)2 自己抓取一些免费的代理,去放到Redis 里面...原创 2019-04-24 16:36:00 · 1933 阅读 · 1 评论 -
Mongodb TypeError: if no direction is specified, key_or_list must be an instance of list
解决方法:db.collection.find().sort([("name", 1), ("age" , 1)]) 原因:在python中只能使用列表进行排序,不能使用字典原创 2019-05-21 13:56:16 · 3139 阅读 · 1 评论 -
python ModuleNotFoundError
关于python的引包 ,当我们的项目很大有很多子文件时候,或许会遇到导包问题,假如我们的项目树如下图在 spider_test.py 编码class Spiders(object): @staticmethod def print_data(): print('spiders')我们在 class_models.py 编写代码 并运行 结...原创 2019-05-31 15:01:29 · 5836 阅读 · 0 评论 -
Object of type 'ObjectId' is not JSON serializable
mongo查询的结果中,objectId无法通过json序列化,解决方案:from bson import json_utiljson_util.dumps(data)转自:https://blog.csdn.net/weixin_42581501/article/details/80978169...转载 2019-06-03 17:23:44 · 1515 阅读 · 0 评论 -
Python 继承和多态
我们先来定义一个class Person,表示人,定义属性变量 name及sex (姓名和性别);定义一个方法print_title():当sex是male时,printman;当sex是female时,printwoman。参考如下代码:class Person(object): def __init__(self,name,sex): self.na...原创 2019-03-22 11:10:59 · 321 阅读 · 0 评论 -
python面试常问问题
全局解释器锁(GIL) 装饰器 yield 生成器 tcp 三次握手 数据结构, 链表 垃圾回收机制 高级函数 map reduce filter等 scrapy scrapy-redis 总体架构,执行方式(爬虫) scrapy-redis redis队列,优化,去重(爬虫) 反爬虫,解决方法,遇到难点,怎么解决的 http https ssl ...原创 2018-12-29 11:58:35 · 792 阅读 · 0 评论 -
liunx修改mysql密码
mysql如何修改root用户的密码方法1: 用SET PASSWORD命令 首先登录MySQL。 格式:mysql> set password for 用户名@localhost = password('新密码'); 例子:mysql> set password for root@localhost = password('123'); 方法2:用mysqladmin 格...转载 2018-11-20 13:58:22 · 319 阅读 · 0 评论 -
为什么要区分列表和元组
一个被经常问到的问题,为什么我们要区分列表和元组变量? 这个问题也可以表述为“我们真的需要两个相似序列类型吗?”一个原因是在某些情况下,使用其中某种类型要优于另一种类型:使用不可变类型(tuple):如果我们在维护一些敏感数据,并且要把这些数据传递给一个我们不熟悉的函数,或者是我们根本不了解的函数,那么作为分工合作的一部分来说,如果我们确定我们传入的数据不会被修改,那么就安全了许多。...原创 2018-11-27 17:21:46 · 533 阅读 · 0 评论 -
python 大数据入门教程
Python在大数据行业非常火爆近两年,as a pythonic,所以也得涉足下大数据分析,下面就聊聊它们。Python数据分析与挖掘技术概述所谓数据分析,即对已知的数据进行分析,然后提取出一些有价值的信息,比如统计平均数,标准差等信息,数据分析的数据量可能不会太大,而数据挖掘,是指对大量的数据进行分析与挖倔,得到一些未知的,有价值的信息等,比如从网站的用户和用户行为中挖掘出用户的潜在需...转载 2018-12-07 17:35:38 · 5462 阅读 · 0 评论 -
阿里云 datahub python sdk补充(多shard订阅数据)
datahub 阿里云数据流处理通道官方python sdk 只有单shards 案列,多shards数据订阅demo参考此文代码发布数据(put)不指定shard_id默认轮询落shard#!/usr/bin/env python# -*- coding: utf-8 -*-# @Time : 2019-03-06 15:51# @Author : yangshi...原创 2019-03-06 18:13:46 · 1258 阅读 · 1 评论