编程
lepton126
有理想有底线
展开
-
从collections库的Counter类看items()方法和enumerate()方法
从collections库的Counter类看items()方法和enumerate()方法的异同原创 2023-09-16 15:32:50 · 585 阅读 · 0 评论 -
linux shell 和python3 pandas 对csv文件进行合并和关键字检索
对csv文件进行合并并对关键进行检索原创 2023-05-21 11:42:16 · 1108 阅读 · 0 评论 -
python3 字符串拼接与抽取
join,re原创 2023-02-15 15:06:50 · 362 阅读 · 0 评论 -
多线程并发socket服务示例代码
thread,process,socket原创 2022-09-12 17:08:45 · 386 阅读 · 0 评论 -
异步非阻塞python3代码
阻塞和非阻塞 同步和异步原创 2022-09-07 16:11:18 · 455 阅读 · 0 评论 -
python3 函数对象写的简易框架
利用函数对象写的框架原创 2022-08-17 10:03:16 · 282 阅读 · 0 评论 -
UnboundLocalError: local variable ‘x‘ referenced before assignment 分析
local variable 'x' referenced before assignment原创 2022-08-15 10:13:15 · 356 阅读 · 0 评论 -
python3 编辑文件的两种方式
使用python3编辑文件原创 2022-08-11 17:40:40 · 320 阅读 · 0 评论 -
python3中执行awk命令
python3,awk原创 2022-07-22 09:56:13 · 2013 阅读 · 0 评论 -
python3利用纯真库批量定位IP
纯真库原创 2022-07-16 15:21:27 · 1128 阅读 · 0 评论 -
python3 中执行 grep命令
suprocess,grep原创 2022-07-12 15:39:31 · 4445 阅读 · 0 评论 -
利用生产者消费者模型及DPKT处理pcap文件
1、使用find命令生成pcap文件列表文件2、使用dpkt 提取pcap源地址源端口目的地址目的端口,打印程序消耗时间find 路径 -type f -name *.pcap >pcaplist.txt#!/bin/env python3import timefrom multiprocessing import Process,JoinableQueue,cpu_countimport dpktimport datetimefrom dpkt.utils import ma原创 2022-05-03 08:38:06 · 584 阅读 · 0 评论 -
python3环境迁移,解决 bz2、libbz2、lzma等相关问题
python3开发环境进行迁移,主要是要用到pandas pyhive pyspark py4j pyarrow numpy 这几包,把主要步骤作个笔记。 1、保证python3版本一致,本案中使用的是python3.6.82、在外网环境下,将所有需要使用的安装包一并安装后,逐一使用import测试并通过3、将python3虚拟环境的所有文件及目录使用 tar -zcvf命令压缩成一个文件,复制到内网同一目录解压4、某些环境需要自建本地yum源,下面是的范例,执行 yum clean a...原创 2022-03-16 15:41:00 · 1221 阅读 · 1 评论 -
利用 生产者 消费者 模型 复制 pcap 文件
利用生产者消费者模型可以把需要多个循环、耦合过紧的程序架构改为一个松耦合的程序架构,这样就可以方便地在中间加入针对每一行处理代码,比如下面的情况,针对一个pcap,需要对每个包进行分析,下面的代码只是一个初步的框架,仅仅有一个复制的功能。#!/bin/env python3import sys,osimport threadingimport timeimport queueimport dpkttspkt=[]def consume(thread_name, q): ...原创 2022-03-06 11:33:13 · 280 阅读 · 0 评论 -
利用split函数简单模拟awk
>>> msg='hello world'>>> msg'hello world'以空格为分隔符>>> msg.split(' ')['hello', 'world']>>> msg.split(' ')[0]'hello'>>> msg.split(' ')[1]'world'以短横为分隔符>>> msg='hello----world'>>> ms原创 2022-03-02 16:12:39 · 125 阅读 · 0 评论 -
python3 列表 不同键值 排序
排序指南 — Python 3.7.12 文档排序指南 — Python 3.7.12 文档和sorted()都有一个key形参来指定在进行比较之前要在每个列表元素上进行调用的函数。例如,下面是一个不区分大小写的字符串比较:>>> sorted("This is a test string from Andrew".split(), key=str.lower)['a', 'Andrew', 'from', 'is', 'string', 'test', 'This...转载 2022-01-29 14:31:47 · 210 阅读 · 0 评论 -
python3 glob 模块 遍历目录 打印文件列表
程序员需要遍历某个位置的文件列表,其中大部分具有特定的模式。 Python 的 glob 模块有几个函数可以帮助列出指定文件夹下的文件。 我们可以根据扩展名过滤它们,或者使用特定的字符串作为文件名的一部分。Glob 模块的所有方法都遵循 Unix 风格的模式匹配机制和规则。 但是,它不允许扩展波浪号 (~) 和环境变量。https://www.techbeamers.com/python-glob/...原创 2022-01-29 09:27:07 · 706 阅读 · 0 评论 -
批量将 xlsx 文件 转换 为 csv文件
在运行程序前,先前已经建好python3 虚拟环境进行了迁移,当然这个动作大多数情况是不需要,但在内外网物理隔离的情况下还是需要的。假设外网虚拟环境的路径是 /home/env3cd /hometar -zcvf env3.tar.gz ./env3/然后将文件 env3.tar.gz 迁移至 内网 并释放tar -zxvf env3.tar.gz -C /home/执行 sourece /home/env3/bin/activate 激活虚拟环境python的版本是3.6,批量原创 2022-01-27 11:18:36 · 3438 阅读 · 0 评论 -
输出匹配特定字符串所在行的前几行的两个方法
比如要输出文件 test.txt 中含有字符串 Welcome所在行 的前5行1、使用grepcat ./test.txt|grep -B 5 'Welcome'2、使用python3from collections import dequedef search( lines, pattern, history= 5): previous_lines = deque( maxlen= history) for line in lines: if p...原创 2021-10-20 08:02:52 · 402 阅读 · 0 评论 -
python3 按行读取文件的五种写法
测试文件如下$ cat nba.csv|head -n 10 Name,Team,Number,Position,Age,Height,Weight,College,SalaryAvery Bradley,Boston Celtics,0.0,PG,25.0,6-2,180.0,Texas,7730337.0Jae Crowder,Boston Celtics,99.0,SF,25.0,6-6,235.0,Marquette,6796117.0John Holland,Boston Celti.原创 2021-10-19 08:26:22 · 1904 阅读 · 0 评论 -
python3 代码 遍历 目录及文件
StateMeaningS0Connection attempt seen, no replyS1Connection established, not terminated (0 byte counts)SFNormal establish & termination (>0 byte counts)REJConnection attempt rejectedS...原创 2021-10-17 11:18:10 · 347 阅读 · 0 评论 -
python3虚拟环境(venv)下使用selenium
在python3虚拟环境下安装使用selenium主要涉及两个要点,一个是 -m参数的理解,一个是venv模块的启动和停止。-m参数简单是说就是以模块的方式运行脚本,python虚拟环境是一个隔离/独立的python开发环境,venv是实现这一功能的模块,这样做的优势是可以同时拥有多个不同的开发环境,在linux环境下,也能避免root口令的分发。具体操作如下:1、创建venv模块将使用的目录,指定权限[root@nodec7 /]# mkdir -p /home/venvuser/env...原创 2021-09-25 11:09:08 · 736 阅读 · 0 评论 -
zeek(bro) 脚本学习 一
https://www.zeek.org/官网 https://docs.zeek.org/en/stable/script-reference/log-files.html log文件字段名详解 安全套接字SSL或者是安全传输协议TLS是当今网络使用的重要加密协议,ZEEK(BRO)是一款经典网络安全分析架构,是分析加密数据有力工具,和大多数编程语言一样,ZEEK...原创 2019-10-18 15:29:51 · 2362 阅读 · 3 评论 -
DataFrame' object has no attribute 'map'
在对 python的sparksql 代码中测试中, 在spark1.6中使用dataframe的map对象时, session_pv = sqlContext.sql("""SELECT session_id,COUNT(1) AS cnt FROM tmp_page_views GROUP BY session_id ORDER BY cnt DESC LIMIT 20""")\...原创 2019-01-24 14:34:21 · 10415 阅读 · 1 评论 -
python: can't decompress data; zlib not available
在测试pyspak代码时,报错/usr/local/bin/python: can't decompress data; zlib not available,在spark集群的所有节点上执行 #yum install zlib*问题仍旧存在 Error from python worker: /usr/local/bin/python: can't decompress data...原创 2019-01-14 17:01:41 · 7025 阅读 · 0 评论 -
使用pyspark 分析日志
Apache Spark is the smartphone of BigData 后台是三节点spark集群,python的版本是3.5.4,spark版本是spark-2.3.0-bin-hadoop2.7,在windows10系统下运行需要处理的数据部分内容如下所列,字段以TAB键分隔121508281810000000 http://www.yhd.com/?uni...原创 2019-01-22 15:33:47 · 2032 阅读 · 0 评论 -
python2.7解决中文编码问题
粗略地介绍下编码知识,首先我们认为是字节是面向计算机的,字符是面向人类的,相互的转换就是解码和编码,在各种编码中,ASCII码是7位,用不到一个字节,7个比特来表示字符,这样最多也只有127个字符,ISO8859-1用一个字节8个比特表示字符,可以表示256个字符,GB2312是用2个字节,16个比特,可以包含7000多个字符,其次UNICODE(Universal Multiple-Octet原创 2018-01-02 14:31:42 · 1686 阅读 · 0 评论 -
python中import Image报错改正,识别验证码成功
1、import Image 报错,将PIL目录拷贝至site-packages目录,执行from PIL import Image ,可以2、from pytesser import *,报错,执行 sys.path.append("d:/software/15/python-packet/pytesser"),OK,再执行 from pytesser import *,报错找不到Image原创 2015-03-02 10:11:01 · 6264 阅读 · 0 评论 -
linux 环境下 python的安装及pyspark 的环境变量配置
在linux环境下安装 python时,要安装相关的依赖,具体如,这里假设的环境是centos 或是 redhat-安装devtoolset #yum groupinstall "Development tools"-安装编译Python时需要的相关依赖 #yum install zlib-devel bzip2-devel openssl-devel sqlite-d...原创 2019-01-14 09:37:21 · 3858 阅读 · 0 评论 -
Failed to locate the winutils binary in the hadoop binary path 报错解决
WINDOWS10环境下单机下调试pyspark代码,在没有配置HADOOP_HOME的环境变量,会产生ERROR Shell:397 - Failed to locate the winutils binary in the hadoop binary pathjava.io.IOException: Could not locate executable null\bin\winutil...原创 2019-01-07 10:08:22 · 1213 阅读 · 0 评论 -
Exception in thread "main" java.util.NoSuchElementException 错误解决
spark-2.4.0-bin-hadoop2.7 和 spark-2.3.0-bin-hadoop2.7是有区别的。当时pyspark测试程序的运行环境 C:\Users\test>java -versionjava version "1.8.0_131"Java(TM) SE Runtime Environment (build 1.8.0_131-b11)Java H...原创 2019-01-06 14:53:22 · 5978 阅读 · 0 评论 -
gcc 关于 -lpcap 参数
gcc -l 参数说明-l参数就是用来指定程序要链接的库,-l参数紧接着就是库名,那么库名跟真正的库文件名有什么关系呢?就拿数学库来说,他的库名是m,他的库文件名是libm.so,很容易看出,把库文件名的头lib和尾.so去掉就是库名了,当我们自已要用到一个第三方提供的库名字libtest.so,那么我们只要把libtest.so拷贝到/usr/lib里,编译时加上-ltest参数,我们就原创 2015-08-18 16:41:03 · 2877 阅读 · 0 评论 -
C语言学习笔记 之 结构体指针变量
http://zhaoyuqiang.blog.51cto.com/6328846/1292014C语言学习笔记之 结构体指针变量一提指针,那可是C语言的核心了,有多少学子曾拜倒在指针的脚下。单纯的说指针,其实并不难,但是与其它的结构搭配在一起,那可就愁死人了。比如说:数组一点都不难,但是与指针一起用,可就经常麻烦了。结构体也是一种结构,它与指针搭配怎么样呢?转载 2015-06-26 09:54:58 · 760 阅读 · 0 评论 -
linux c 利用指针将函数传出参数的值
摘抄http://blog.csdn.net/KISS_BEN/article/details/8157168 首先标准的C语言中没有引用传参,而只有传值传参和地址传参俩种,但现在由于编译器的不同以及对C++的兼容导致可以进行引用传值。其实都可以理解成是传值传参。在function函数调用时: 对于传值: mc只是赋值给c (c = mc;)然后mc的值在函数中不会参与执行原创 2015-06-26 08:08:52 · 1630 阅读 · 0 评论 -
date "+%s"与linux c time函数的关系
date "+%s" 从1970年1月1日00:00:00到目前经历的秒数 linux c 函数,time和localtime time:此函数会返回从公元1970年1月1日的UTC时间从0时0分0秒算起到现在所经过的秒数 localtime:根据给定的与1970年1月1日相减得秒数,取得当地的时区的时间和日期原创 2015-06-25 10:59:28 · 2533 阅读 · 2 评论 -
测试rrdtool
rrdtool-test1、抓取数据 统计流出网卡的流量 ifconfig eth0 | grep bytes | awk '{print $6}' | awk -F : '{print $2}' 统计流入网卡的流量 ifconfig $eth_name | grep bytes | awk '{print $2}' | awk -F : '{print $2}’原创 2015-04-24 11:05:56 · 1065 阅读 · 0 评论 -
windows下安装python第三方引用包
1、下载安装 Pythonpython-2.7.2.msi http://www.python.org/download/如下载 Python 2.7.2,安装目录为 C:\Python272、添加环境变量path = C:\Python27此步骤可实现在命令行下,不用进入 Python 目录即可执行 python.exe3、下载 setuptools注意原创 2015-02-02 15:10:40 · 2974 阅读 · 0 评论 -
用python 写爬虫简要记录
参阅网络爬虫-Python和数据分析原创 2014-09-15 19:25:54 · 651 阅读 · 0 评论 -
java 读取 excel 2003 或 excel 2007
http://www.blogjava.net/hwpok/archive/2010/01/20/310263.html转载 2014-05-22 14:27:57 · 439 阅读 · 0 评论 -
linux shell 判断参数
shell 编程中使用到得if语句内判断参数 –b 当file存在并且是块文件时返回真 -c 当file存在并且是字符文件时返回真 -d 当pathname存在并且是一个目录时返回真 -e 当pathname指定的文件或目录存在时返回真 -f 当file存在并且是正规文件时返回真 -g 当由pathname指定的文件或目录存在并且设置了SGID位时返回为真转载 2014-04-29 08:30:41 · 832 阅读 · 0 评论