python
jeyash
这个作者很懒,什么都没留下…
展开
-
安装pyspider 出现的错误
首次启动报 SyntaxError: invalid syntax,再次启动报:ImportError: cannot import name ‘CurlasyncHTTPClient’ from ‘tornado.curl_httpclient’原因:python3.7或以上版本中async已经变成了关键字。因此出现这个错误。解决办法:手动替换一下下面位置的async改为mark_async/usr/local/lib/python3.7/site-packages/pyspider/run.p.原创 2022-03-14 09:17:20 · 911 阅读 · 0 评论 -
python3 多线程与队列
import queueimport threadingimport time#线程思路:#创建任务队列workQueue,和创建多条线程,然后将任务队列传入多线程中,#在线程运行中,使用线程锁循环将任务读出,再执行任务,使用join函数等待所有线程完成任务。exitFlag = 0class myThread (threading.Thread): def __init__(self, threadID, name, q): threading.Thre.原创 2022-03-11 09:39:44 · 939 阅读 · 0 评论 -
python 将文件夹下的所有CSV文本转成TSV文本
import sysimport pandas as pdimport osimport timeimport csv#脚本目的:将文件夹下的所有CSV文本转成TSV文本。#使用:python transform.py 或者 python3 transform.pytarget_dir = "./"file_names = os.listdir(target_dir)chunkSize = 1000#遍历文件夹下所有文件for index,file_name in en.原创 2022-03-07 14:11:57 · 632 阅读 · 0 评论 -
【无标题】
#打开源文件reader_csv = pd.read_table(file_path,iterator=True,names=field_name)loop = Truerow_csv_data = [] while loop: try: #分批获取数据 chunk = reader_csv.get_chunk(chunkSize) #遍历分批数据中的每一行 .原创 2022-02-23 10:21:57 · 407 阅读 · 0 评论 -
python3 遍历文件夹下的所有文本
field_name = ["saddr","sport","daddr","dport","ipid","ttl","timestamp_ts"]target_dir = "./"file_names = os.listdir(target_dir)原创 2022-02-23 10:19:25 · 187 阅读 · 0 评论 -
pip HTTPSConnectionPool(host=‘files.pythonhosted.org‘, port=443)错误
PS D:\工作报告\Safetek\DNS系统\脚本程序\GeoIP> pip install geoip2Collecting geoip2 WARNING: Retrying (Retry(total=4, connect=None, read=None, redirect=None, status=None)) after connection broken by 'NewConnectionError('<pip._vendor.urllib3.connection.HTTPS..原创 2022-02-21 12:32:38 · 1635 阅读 · 0 评论