彦文的专栏_D_T_CSDN博客-python,C#,linux领域博主

原创 python ast代码检查，禁止导入危险函数包

import astclass CheckFun(ast.NodeVisitor): def __init__(self): super().__init__() self.ban_moudel = [ "os", "sys", "socket", "multiprocessing", "requests", ]

2020-12-04 15:24:22 16

python 带声音的屏幕录制import pyaudioimport wavefrom PIL import ImageGrabimport cv2import threadingimport timefrom numpy import arrayfrom moviepy.editor import *import osclass PyRecord: def __init__(self, file_path="test"): self.allow_reco

2020-11-26 16:31:51 30

原创 frida 打印调用栈

//调用方法function printStack() { Java.perform(function () { var Exception = Java.use("java.lang.Exception"); var ins = Exception.$new("Exception"); var straces = ins.getStackTrace(); if (straces != undefined && str

2020-09-15 14:23:43 349

原创操作系统概论涉及算法

可变分区算法：最先适应，地址递增最坏适应，按容量递减排序最优适应，按容量递增排序号页式虚拟管理算法先进先出算法最久未使用，按时间计数最近最不经常使用，按使用次数计数进程调度算法：先来先服务最高优先级时间片轮转移臂调度算法：先来先服务最短寻找时间有限电梯调度...

2019-03-11 22:23:39 178

原创 python 输出时间装饰器

import timedef echoRuntime(func): def wrapper(*args, **kwargs): startTime = time.time() func(*args, **kwargs) endTime = time.time() msecs = (endTime - startTime) ...

2018-10-18 17:20:43 491

原创 python requests headers自动生成

def str2header(headers_raw): if headers_raw is None: return None headers = headers_raw.splitlines() headers_tuples = [header.split(':', 1) for header in headers] result_dict =...

2018-10-13 13:34:21 2171

原创 woff 字体文件解析字体结构说明

woff文件样式查看http://fontstore.baidu.com/static/editor/index.html 在这个网址上传woff文件即可看到woff文件的展示效果woff代码查看woff文件可以用python的fontTools 打开font = TTFont('xxx.woff') # 打开文件font.saveXML('xxx/6329.xml'...

2018-09-16 16:10:31 13598 5

原创 python excel转json json转excel

# -*- conding:utf-8 -*-import openpyxlfrom openpyxl.styles import PatternFill, Font, Alignment, Border, Sideimport openpyxl.styles as styfrom openpyxl import Workbook ,load_workbookimport jsonc...

2018-08-27 19:36:24 5351

原创 python 动态绑定属性

hasattr 判断是否拥有属性 setattr 设置属性值 self.i=xx 这种方式会变成class.i=xx 增加了个i的属性而不是i值的属性class Event(Base): name = "" id="" def __init__(self,dict): for i in dict.keys(): if h...

2018-08-22 18:35:43 489

原创 python 自制进度条重新实现print

import sys, timeclass SP(): i = 0 # 当前的处理进度 data=None it=None max_arrow=25 max_steps=0 infoDone="OK" # 初始化函数，需要知道总共的处理次数 def __init__(self): pass def __it...

2018-08-15 23:24:50 897

原创 python 多线程深度优先爬虫

# -*- conding:utf-8 -*-from queue import Queuefrom bs4 import BeautifulSoupimport requestsimport reimport hashlibimport jsonimport threadpool import threadingfrom tool import *import time...

2018-08-09 10:34:09 794

原创 python selenium+Cookie 代码片段

#ChromeDriver :http://npm.taobao.org/mirrors/chromedriver/#版本映射 :https://blog.csdn.net/huilan_same/article/details/51896672**def addCookies(browser): d={'name':'_gid','value':'GA1.2.527448197....

2018-07-27 15:43:15 144

转载解决Python ImportError: cannot import name HTTPSHandler

yum install openssl openssl-devel -y cd py源码目录 make install

2018-07-15 00:32:15 5510

转载 make: *** No targets specified and no makefile found. Stop.解决方法

1、wget http://ftp.gnu.org/pub/gnu/ncurses/ncurses-5.6.tar.gz2.、tar zxvf ncurses-5.6.tar.gz3、 ./configure -prefix=/usr/local -with-shared-without-debug4、make5、make install

2018-07-15 00:03:25 5054 4

转载解决问题：zipimport.ZipImportError: can't decompress data; zlib not available

场景描述需要从源代码编译安装python-3.6.1的版本环境描述 python-2.7.5， Centos 7步骤重复解压缩python-xx.tgz 进入源代码目录 ./configure make & make install 碰到的问题： Traceback (most recent call last): File “/root/tools/P...

2018-07-15 00:02:54 2835

转载 linux-Centos7安装python3并与python2共存

1.查看是否已经安装PythonCentOS 7.2 默认安装了python2.7.5 因为一些命令要用它比如yum 它使用的是python2.7.5。使用 python -V 命令查看一下是否安装Python然后使用命令 which python 查看一下Python可执行文件的位置可见执行文件在/usr/bin/ 目录下，切换到该目录下执行 ll python* 命令查看 ...

2018-07-15 00:02:25 79

原创 python 时间格式化说明

%y 两位数的年份表示（00-99） %Y 四位数的年份表示（0000-9999） %m 月份（01-12） %d 月内中的一天（0-31） %H 24小时制小时数（0-23） %I 12小时制小时数（01-12） %M 分钟数（00-59） %S 秒（00-59）%a 本地简化星期名称 %A 本地完整星期名称 %b 本地简化的月份名称 ...

2018-07-12 14:10:38 693

原创 PyThone field larger than field limit (131072)

添加以下代码import sysmaxInt = sys.maxsize decrement = True while decrement: decrement = False try: csv.field_size_limit(maxInt) except OverflowError: maxInt...

2018-06-27 15:47:39 1120

原创 python csv模块使用

读文件第一种方法使用reader函数，接收一个可迭代的对象（比如csv文件），能返回一个生成器，就可以从其中解析出csv的内容：比如下面的代码可以读取csv的全部内容，以行为单位：with open("test.csv", "r", encoding = "utf-8") as f: reader = csv.reader(f) rows = [row for ro...

2018-06-27 11:07:07 424

原创 pymysql DBHelp insert 插入并获取ID

#获取最后的插入的IDdef getLastId(db): db.execute("select last_insert_id();") data = db.fetchall(); return data[0][0]#插入dict key_value 格式返回ID def insertSql(db,tb,com): keys=""; ...

2018-06-02 11:46:29 6860 2

原创 python Mysql使用

import pymysqlwith pymysql.connect("localhost","root","pwd","dbName") as db: db.execute("show tables") data = db.fetchall(); print(data)

2018-05-31 17:07:30 4085

原创 Beautiful Soup 常用方法

Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库初始化from bs4 import BeautifulSoupsoup = BeautifulSoup(html_doc)查找 find_all( name , attrs , recursive , text , **kwargs ) soup.find_all(‘title’, ...

2018-05-24 11:38:56 8639

原创 C# 正则Regex常用方法说明

IsMatch(String) 该值指示是否在指定的正则表达式 Regex 构造函数指定的输入字符串中找到的匹配项。 IsMatch(String, Int32) 该值指示是否在指定的正则表达式 Regex 构造函数从字符串中的指定起始位置开始对指定输入字符串中找到的匹配项。 Match(String) 搜索指定的输入的字符串中指定的正则表达式的第一个匹配项 Regex 构造函...

2018-05-24 10:56:13 8678

原创树莓派树莓派初始化

什么是树莓派树莓派是为学习计算机编程教育而设计，其系统基于Linux，是一款基于ARM的微型电脑主板，以SD/MicroSD卡为内存硬盘，卡片主板周围有1/2/4个USB接口和一个10/100 以太网接口（A型没有网口），可连接键盘、鼠标和网线，同时拥有视频模拟信号的电视输出接口和HDMI高清视频输出接口，以上部件全部整合在一张仅比信用卡稍大的主板上，具备所有PC的基本功能。准备工...

2018-05-21 13:03:53 11015

原创 python 爬虫(四) Link Extractors 详解

Link Extractors 是那些目的仅仅是从网页(scrapy.http.Response 对象)中抽取最终将会被follow链接的对象｡from scrapy.contrib.linkextractors import LinkExtractor参数: allow 正则，只有匹配到的url才会被提取跟进deny 正则,匹配到的url 不会被提取，它优先于allow参...

2018-05-18 11:04:25 9872

原创 python 爬虫(三) spider类详解

python 爬虫(二) scrapy.spider类详解 Spider就是定义爬取的动作及分析网站的地方。 spider原理以初始的URL**初始化Request**，并设置回调函数。当该request**下载完毕并返回时，将生成**response ，并作为参数传给该回调函数。初始化request —&gt; start_requests() start_req...

2018-05-18 10:48:39 11891

原创 spyder 没有 tools->open command prompt解决方案

spyder从3.2开始移除了open command prompt 解决方案 1. 网上说可以安装spyder-terminal 但是我安装完之后 spyder一直未响应所以卸载了如果你ok的话记得给我留言 2. 在anaconda中修改spyder的版本为3.14 这个方案确认ok 参考链接...

2018-05-03 23:39:57 12447

原创 python 爬虫(二) 使用scrapy初始化一个爬虫

1.使用spyder 新建一个空项目 2.在Anaconda Prompt下进入项目所在目录输入 scrapy startproject [项目名] 将会生成如下目录结构 spiders 里边主要放我们的爬虫文件现在还没有 items.py里边写我们要保留的字段就是爬到的那些数据要存 middlewares.py 中间件用于扩展Scrapy功能进阶只是 ...

2018-05-03 22:48:59 11328

原创 python 爬虫(一) anaconda+scrapy 安装

anaconda指的是一个开源的Python发行版本，其包含了conda、Python等180多个科学包及其依赖项。是一个库比较全的IDE对于新手来说省掉了很多环境依赖的问题 Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。有它之后写爬虫一般只需要配置就可以跑了。 1. 下载anaconda 下载地址 2. 安装anaconda 直接默认安装就好 3. 安装scr...

2018-05-03 21:55:02 14417

原创 linux scp 无密码传输

假设需要从A免密码输入复制文件至B。 1. 在A服务器上root用户执行 ssh-keygen -t rsa 会再/root/.ssh/生成id_rsa.pub文件 2. 查看B服务器/root/.ssh/中有没有authorized_keys文件有的话把A服务器中 id_ras.pub的内容复制到B服务器的 authorized_keys内没有的话将A服务器上的 /...

2018-04-03 21:11:35 11459

原创 mysql 运行一段时间且未开启bin_log的主库搭建主从（四）开启主从

1.在从库上创建同步信息 CHANGE MASTER TO MASTER_HOST='192.168.1.105',//主库的ip MASTER_USER='repl',//主库的用户名 MASTER_PASSWORD='p4ssword',//对应用户的密码 MASTER_LOG_FILE='mysql-bin.000007',//通过备份文件xtrabackup_binlog_in...

2018-03-30 17:09:36 10150

原创 mysql 运行一段时间且未开启bin_log的主库搭建主从（三）使用Xtrabackup同步数据

下载Xtrabackup 选择对应版本并下载我选择的是rpm包安装Xtrabackup yum install xxx.rpm //上边选择的安装包http地址因为接下来，我们准备完全备份，所以在主库创建用与复制的mysql用户 grant replication slave,replication client on *.* To repl@'192.168...

2018-03-30 16:03:41 10172

原创 mysql 运行一段时间且未开启bin_log的主库搭建主从（二）配置my.cnf

开启主库二进制日志(logbin)，指定一个独一无二的服务器Id(serverId) 在主库的my.cnf中修改或添如下内容： log_bin=mysql-bin server_id=10 之后重启主库备库设置备库一般不需要修改所以多了只读配置 log_bin=mysql-bin server_id=2 relay_log=/var/lib/mysql/mysql-...

2018-03-29 10:50:41 10441

原创 mysql 开启远程访问常见问题

端口检测： netstat -ntpl |grep 3306 如果只绑定了本机参看1.3 否则参考2打开mysql配置文件 vi /etc/my.cnf 不同的版本位置可能不同如果有bind-address = 127.0.0.1 注释或者删掉进入mysql 执行：grant all privileges on *.* to 'root'@'%' identified ...

2018-03-29 10:29:48 10071

原创 mysql 运行一段时间且未开启bin_log的主库搭建主从（一）从库安装

已有一个主库的情况下，且没有开启bin_log创建从库，从库的版本不能低于主库新开一台机器，安装mysql //检测已安装依赖rpm -qa | grep mysqlmysql-libs-5.1.73-5.el6_6.x86_64//删除yum -y remove mysql-libs-5.1.73-5.el6_6.x86_64//查看当前系统版本号cat /proc/...

2018-03-28 18:36:11 10321

原创 laravel Uncaught ReflectionException: Class log does not exist in 异常解决

问题：昨天开发环境更新之后 laravel就炸了所有页面返回500 laravel自己的日志没有任何输出查看nginx的报错日志返回如下 Uncaught ReflectionException: Class log does not exist in 解决过程：首先查看Container.php 734 发现是初始化log类的时候报错了，经过分析发现是lara...

2018-03-23 14:45:46 16429

原创 PHP 二维码生成+与活动图片合成

PHP 二维码生成+与活动图片合成依赖库文件 phpqrcode.php代码逻辑: 1.生成一张url相关的二维码 QR 2.把log图片跟QR合并成一个带logo的二维码 last 3.把带logo的的二维码跟活动图片合成为一张图保存到本地返回路径//参数活动模板图片，二维码url，模板内二维码的位置function getActivityImg($templat...

2018-03-23 14:27:50 16375

原创 linux 程序进程线程的关系

程序定义：通常为二进制文件存放在存储媒介中（硬盘，光驱，软盘等）,已物理文件的形式存在。启动程序，通常要运行某个文件，这个文件就是程序，程序其实是存放在磁盘中的一个二进制文件。进程程序被触发后，执行者的权限与属性，程序的程序代码与所需要的数据等都会被加载到内存中，操作系统给予这个内存内的单元一个标识符(PID)，可以说进程就是一个运行中的程序。用户在启动...

2018-03-19 20:10:20 10313

原创 linux 循环任务 crontab 详解+实例

命令原型 crontab [-u user] [ -e | -l | -r ] 选项说明 u 设置为某个用户设置crontab命令，通常有root执行 e 编辑crontab命令 l 查询现有的任务 r 删除所有任务crontab 命令格式分钟小时日期月份周命令 0-59 0-23 1-...

2018-03-16 19:05:36 10446

原创 linux cut命令使用+解析（实例）

cut 常用于管道命令的结果选取命令原型 cut [选项]… [文件]… 常用选项 -d, –delimiter=分界符使用指定分界符代替制表符作为区域分界 -f, –fields=LIST -d结果选取第几段 -c, –characters=列表只选中指定的这些字符使用例子//显示查询结果的 1-10个字符...

2018-03-15 18:20:25 14459