笔记
douyaoxin
这个作者很懒,什么都没留下…
展开
-
python UnicodeDecodeError: ‘ascii‘ codec can‘t decode byte 0xe9 in position 0: ordinal not in range(
UnicodeDecodeError: 'ascii' codec can't decode byte 0xe9 in position 0: ordinal not in range(128)原创 2022-11-07 14:41:15 · 431 阅读 · 0 评论 -
ES的index字段上限,从默认1000到任意值
_settings查询 默认1000GET event_id_stat_all/_settings_settings修改 修改为100000PUT event_id_stat_all/_settings {"index.mapping.total_fields.limit": 100000}原创 2020-04-27 15:46:52 · 2918 阅读 · 0 评论 -
使用python 插入mongodb时间字段
import pymongofrom dateutil import parserclient = pymongo.MongoClient(host="127.0.0.1", port=27017)db = client["test"]dateStr = "2019-05-14 01:11:11"myDatetime = parser.parse(dateStr)db.ceshi....原创 2019-12-24 11:18:09 · 940 阅读 · 0 评论 -
python中mongodb运算符
①比较运算符:等于:默认是等于判断,没有运算符小于:$lt(less than)小于等于:$lte(less than equal)大于:$gt(greater than)大于等于:$gte(greater than equal)不等于:$ne(not equal)db.stu.find({age:{$gte:18}})②逻辑运算符:and:在json中写多个条件即可,查询年龄大...原创 2019-09-18 10:01:57 · 352 阅读 · 0 评论 -
使用MongoDB命令连接远程服务器的MongoDB数据库,备份还原数据
MongoDB连接远程服务器的命令格式如下:mongo 远程主机ip或DNS:MongoDB端口号/数据库名 -u user -p password//指定用户名和密码连接到指定的MongoDB数据库mongo 192.168.1.200:27017/test -u user -p passwordWindows下备份远程服务器上的数据库到本机mongodump -h ip -u use...原创 2019-07-11 10:02:50 · 1878 阅读 · 0 评论 -
python 当前时间多加一天、一小时、一分钟
首先看下,datetime的使用import datetime>>> print datetime.datetime.now()2019-02-15 15:01:24.619000格式化时间>>> print datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")2019-02-15 15:01...原创 2019-04-04 15:29:35 · 757 阅读 · 0 评论 -
mongodb pymongo.errors.CursorNotFound: Cursor not found, cursor id: 82792803897默认 mongo server维护连接的时
默认 mongo server维护连接的时间窗口是十分钟默认 单次从 server获取数据是101条或者 大于1M小于16M的数据所以默认情况下,如果10分钟内未能处理完数据,则抛出该异常。解决办法:1. 修改每批次获取数据量的条数,即batch size:collection.find(condition).batch_size(5)批量数需 估算十分钟内能处理的数据量2. 延长超...原创 2019-04-04 15:02:15 · 772 阅读 · 0 评论 -
python文件操作seek()偏移量,读取指正到指定位置
python 文件操作seek() 和 telll() 自我解释file.seek()方法格式: seek(offset,whence=0) 移动文件读取指针到制定位置offset:开始的偏移量,也就是代表需要移动偏移的字节数。whence: 给offset参数一个定义,表示要从哪个位置开始偏移;0代表从文件开头算起,1代表开始从当前位置开始算起,2代表从文件末尾开始算起。当有换行时,...原创 2019-03-19 10:46:59 · 8179 阅读 · 0 评论 -
MongoDB中的数据导出为excel CSV 文件
1、打开命令行,进入我们所安装的mongodb路径下的bin文件夹2、我们采用bin文件夹下的mongoexport方法进行导出,mongoexport -d myDB -c user -f _id,name,password,adress --csv -o ./user.csv-d 标示 数据库-c 标示 数据表-f 需要提取的field用逗号分隔-o 输出路径...原创 2019-03-22 15:29:27 · 360 阅读 · 0 评论 -
python命令行参数解析getopt、sys模块
先看一个例子,这样会便于理解获取命令行参数Python环境下可以使用sys模块得到命令行参数import getoptimport sysprint(sys.argv)C:\Users\Administrator\>python 222.py -o t --help cmd file1 file2['222.py', '-o', 't', '--help', 'cmd', ...原创 2019-03-19 10:00:10 · 767 阅读 · 0 评论 -
Python遍历指定目录下的所有文件以及文件的过滤
遍历E盘下所有文件:import osdef all_path(dirname): result = []#所有的文件 for maindir, subdir, file_name_list in os.walk(dirname): print("1:",maindir) #当前主目录 print("2:",subdir) #当前主目录下...原创 2019-03-19 10:01:15 · 2835 阅读 · 0 评论 -
Python读取pcap包
#!/usr/bin/env python#coding=utf-8#读取pcap文件,解析相应的信息,为了在记事本中显示的方便,把二进制的信息import structfpcap = open('test.pcap','rb')ftxt = open('result.txt','w')string_data = fpcap.read()#pcap文件包头解析pcap_he...原创 2019-03-19 16:09:03 · 7197 阅读 · 0 评论 -
Python爬虫登入操作(人人网)
#导入requests模块import requests#不用复制浏览器中的cookie,直接代码中登入保存cookie,然后使用cookie发起请求#1.创建session对象ssion = requests.session()#2.用户名和密码data = { 'email=': '18679030315', 'passwore': 'zb376100870'...原创 2019-01-08 19:53:56 · 758 阅读 · 1 评论