- 博客(32)
- 收藏
- 关注
RSS订阅原创 python 日志输出配置模块
import logging# 日志模块class Logger: ''' 文件日志及控制台日志输出配置 ''' def __init__(self, filename='logging.log', fileLevel = logging.INFO, consoleLevel = logging.INFO): self.filename = filename self.format = "%(asctime)s - [line:%.
2021-03-09 15:51:52
196
1
原创 kafka 从指定位置消费数据
from kafka import KafkaConsumerfrom kafka.structs import TopicPartitiontopics = 'test'kc = KafkaConsumer(bootstrap_servers="127.0.0.1:9092")tp = TopicPartition(topics, 0) # 主题，分区kc.assign([tp])# 开始的位置offset = 10000kc.seek(partition=tp, offset..
2020-07-24 11:10:39
1089
1
原创 mysql binlog 二进制日志常用命令大全；mysqlbinlog工具命令
1.查看binlog日志列表 show master logs; show binary logs;2.查看master状态，即最后(最新)一个binlog日志的编号名称，及其最后一个操作事件pos结束点(Position)值 show master status3、查看binlog日志开启模式 show variables like '%binlog_for%';4、查看第一个binlog文件内容 show binlog events5、查看...
2020-07-24 10:50:23
426
原创 kafka 常用命令
一、启动命令 zookeeper启动: ./bin/zookeeper-server-start.sh ./config/zookeeper.properties kafka 启动：./bin/kafka-server-start.sh ./config/server.properties二、主题topic命令 创建主题：bin/kafka-topics.sh --zookeeper localhost:2181 --create --topic heima --par...
2020-07-24 10:24:25
164
原创 maxwell 读取binlog日志 时区问题， Timestamp类型值相差8小时及max.request.size错误问题
一、时区问题解决方案： 测试 版本说明：1.27版本有用,1.22版本无效 配置文件config.properties.example 添加jdbc_options = useSSL=false&serverTimezone=Asia/Shanghai指定serverTimezone属性值，默认是UTC二、数据传输大小限制max.request.size默认值为1048576，如果文件超过1M即报max.request.size错误kafka.max....
2020-07-23 10:28:39
1622
转载 MySQL的下载和安装
MySQL是大公司通用的数据管理系统，开源~在国内用的很多，建议好好学(本宝宝下载和安装的时候踩了好多坑，可能我太笨了，弄了大半天才装好，贴出来大家供参考=_=)1.下载 从官网下载，下载地址：https://www.mysql.com/downloads/企业版是要收费的，注意我们要选择community版本。我选的MySQL5.6，最新的版本是MySQL8.0,。点开这个地址： https://dev.mysql...
2020-05-14 11:36:31
1022
转载 突破前端反调试--阻止页面不断debugger（F12不能调试）
chrome-devtools前端调试调试前端网页爬虫问题复现一次扒某网站的前端代码，打开控制台要看Network，结果发现他们页面一打开控制台就不断的debugger，100ms一次，很影响看页面内容。就像下面这样的问题分析每次在断点处停下来的时候页面都会跳到source这个tab页面，也能够看到他的debugger的代码，其实他的实现很简单，只有这一行代码(fu...
2020-04-13 18:20:51
9008
4
转载 pip 安装超时问题解决方案
我们用默认pip源进行安装第三方模块时，经常会碰到超时问题，下面是解决方案首先在下面文件夹下建立一个pip文件夹C:\Users\Administrator\AppData\Roaming然后在pip文件夹下新建一个文件pip.ini，内容：[global]timeout = 60000index-url = https://pypi.tuna.tsinghua.edu.cn/...
2020-03-14 17:53:01
839
原创 正则只匹配中文汉字
[^\u4e00-\u9fa5] //匹配非中文字符[\u4e00-\u9fa5] //匹配中文字符^[1-9]\d*$ //匹配正整数^[A-Za-z]+$ //匹配由26个英文字母组成的字符串^[A-Z]+$ //匹配由26个英文字母的大写组成的字符串^[a-z]+$ //匹配由26个英文字母的小写组成的字符串^[A-Za-z0-9]+$ //匹配由数字和26个英文字母组成的字符...
2020-01-20 11:14:25
6180
1
转载 使用Kettle 转移数据遇到中文乱码问题
最近使用kettle从测试环境迁移数据到生产环境 ，遇到中文乱码问题。找了很久资料，最终才解决。解决方法：在 起始数据库 跟 目标数据库的选项里 都配置编码 (characterEncoding=utf8)：然后运行就ok了如果不行，就清理一下kettle 数据库连接的缓存然后再重新运行！ 我到这里就完全ok了如果还不行，可以试着在kettle的启动文件添...
2020-01-19 10:38:28
581
原创 mysql 根据1个或多个列删除重复值，sql语句 删除重复值
问题：数据库表t,根据name和age字段去除重复值，重复值留1条数据，其他的重复值标记为status=0mysql 5.6版本SQL语句（版本不一样sql可能会有变化）UPDATE t set status=0 WHERE id in (select id from (SELECT id FROM t where name in( S...
2020-01-13 15:38:58
326
原创 python 读取sql server 中文字符乱码问题？sql server 中文乱码问？
1、连接数据库是采用 utf-8charset="utf8"2、内容采用手动编码方式text.encode('latin-1', errors='ignore').decode('gbk', errors='ignore')
2020-01-13 15:20:53
1319
转载 mysql 启动服务/关闭服务
1、启动服务器命令net start mysql 如果拒绝访问，使用管理员方式打开cmd,再启动2、停止服务命令net stop mysql 在设置了密码的情况下的命令为：mysqladmin -u root -p shutdown...
2019-12-26 17:05:18
135
转载 mysql 设置root账号密码，更改账号密码
方法1 用SET PASSWORD命令11、打开终端win+r输入cmd回车即可打开；2、通过mysql -u用户名 -p指定root用户登录MySQL，输入后回车会提示输入密码。3、修改MySQL的root用户密码，格式：mysql> set password for 用户名@localhost = password('新密码'); 例子：mysql> set passwor...
2019-12-26 17:00:04
283
原创 _csv.Error: field larger than field limit (131072)
_错误：字段大于字段限制该问题是因为用csv读取文件的时候，出现字段数据过大，导致超过字段默认限制，而无法读取。因此，需要在使用csv读取文件前，先设置下csv字段显示大小。csv.field_size_limit(500 * 1024 * 1024)with open('test.csv') as file: rows = csv.reader(file) for ...
2019-11-19 21:08:16
3065
原创 python 爬虫返回521
今天爬取网站返回状态码521，经过分析发现是JS混淆加密，以下是具体破解代码：import execjsimport reimport requestsimport timeurl = 'http://www.mps.gov.cn/n2254536/n2254544/n2254552/n6636622/n6636639/c6641737/content.html'headers ...
2019-09-29 16:59:58
1448
2
原创 pandas 读写mysql数据库 csv文件
一、读取mysql数据#方式一import pymysqlimport pandas as pdpd.set_option('display.max_columns', None) #显示所有列pd.set_option('display.max_rows', None) #显示所有行con = pymysql.connect(host,user,password,db=db...
2019-09-06 18:32:21
279
转载 Charles 抓包使用教程
Charles是在 Mac 下常用的网络封包截取工具，在做移动开发时，我们为了调试与服务器端的网络通讯协议，常常需要截取网络封包来分析。Charles 通过将自己设置成系统的网络访问代理服务器，使得所有的网络访问请求都通过它来完成，从而实现了网络封包的截取和分析。除了在做移动开发中调试端口外，Charles 也可以用于分析第三方应用的通讯协议。配合 Charles 的 SSL 功能，C...
2019-08-29 16:12:38
144
原创 破解js加密--python execjs库 执行js代码
import execjsimport reimport requestsimport time#测试urlurl = 'http://gaj.chifeng.gov.cn/default.php?mod=article&fid=230&s63642044_start=0'session = requests.session() #存储cookierespon...
2019-08-21 18:55:01
1054
原创 scrapy定时爬取和断点测试
scrapy定时爬取：每10分钟爬取一次 爬虫文件下新建main.py文件，代码如下： import osimport timewhile True: print('启动爬虫程序.........') os.system("scrapy crawl spider") print('爬虫结束..........') time.sl...
2019-07-26 16:40:45
353
转载 pandas用法大全
一、生成数据表1、首先导入pandas库，一般都会用到numpy库，所以我们先导入备用：import numpy as npimport pandas as pd1 22、导入CSV或者xlsx文件：df = pd.DataFrame(pd.read_csv('name.csv',header=1))df = pd.DataFrame(pd.read_excel(...
2019-07-25 14:17:51
98
转载 Redis数据库
Redis如何通过本机客户端访问远程服务器端远程服务连接：$redis-cli-h127.0.0.1-p6379windows下 ：redis-cli.exe -h 127.0.0.1 -p 6379redis 127.0.0.1:6379>远程服务停止：$redis-cli -h 172.168.10.254 -p6379 shutd...
2019-07-25 12:13:47
137
原创 列表生成式
#列表生成式list0=[1,2,3,4,5,6]#要求生成另一个表[1,4,9,16,25,36]new_list=[x*x for x in list0]print(new_list)#生成一个新的列表，列表中的元素是list0中的偶数new_list=[x for x in list0 if x%2==0]print(new_list)#使用双层循环进行排列组合list1=...
2018-04-23 09:04:08
159
原创 迭代器 iterable
#迭代器 iterable#----可以理解为另外一种遍历,使用forin可以遍历的类型都是可迭代的类型 Iterablefrom collections import Iterable #导入模块from collections import Iterator#可以进行迭代的类型不一定是可迭代对象：Iterator#Iteratou 可迭代对象有一个特点：可以通过next获取下一个数据...
2018-04-23 09:03:08
121
原创 系统模块——OS
import ospath=r"E:\学习资料\day09\notes\day09陈仁丽4组\sort_package\__pycache__"#列出子目录#list_path=os.listdir(path)#print(list_path)#获取目录下的所有文件 用递归形式def get_file(path): if os.path.exists(path)==Fals...
2018-04-23 09:02:31
164
原创 系统模块——OS
#os-系统模块import os#获得操作系统的类型print(os.name) #返回nt表示windows系统，posix---->inux和Mac#获取操作系统的详细信息，windows不支持#print(os.uname)#获得系统指定变量下的内容---如：环境变量print(os.environ.get("path"))#获取当前目录 .print(...
2018-04-23 09:01:38
128
原创 生成器的概念
#生成器：生成器的出现是来避免快速生成一批数据，瞬即占用内存过大的问题#使用方式是当你需要数据的时候，去找生成器去拿，才会再内存中开辟空间#列表生成式是快速的生成一个列表，内存中开辟相应的空间#格式1：将列表中的[]换成()g=(x for x in range(100))#获取数据next()print(next(g))#如果生成器没有数据了，再去拿的话会报错li=[1,3,5,...
2018-04-23 08:59:12
217
原创 字典的操作dict[]
#字典的操作#与列表的对比：字典内存浪费比较多，查找和插入的速度特别快dic={"语文":78,"数学":89}#添加另外一组键值对dic["英语"]=75print(dic)#根据key获得value,key必须存在，否则报错value=dic["数学"]print(value)#另一个获得的方法,key不存在返回Nonevalue=dic.get("政治")print(v...
2018-04-23 08:57:44
378
原创 日历模块Calendar
#日历import calendar#获取指定年的日历res=calendar.calendar(2018,w=5,c=5)print(res)#获取指定月的日历res_month=calendar.month(2018,4,w=3)print(res_month)#判定年是否是闰年is_leap=calendar.isleap(2012)print(is_leap)#...
2018-04-23 08:56:13
257
原创 时间模块datetime
#时间模块 datetimeimport datetime#获取当前时间cuttent_time=datetime.datetime.now()print(cuttent_time)#只获取年月日cuttent_day=datetime.date.today()print(cuttent_day)#获取明天的日期tomorrow=datetime.date.today()+d...
2018-04-23 08:55:13
119
原创 时间模块Time
#时间模块#时间戳：表示从1970年1月1日凌晨开始按秒计算的一个偏移量#1、获取当地时间的时间元组import timelocal_time=time.localtime() #返回一个时间元组print(local_time)#在时间元组中获得年份year=local_time[0]print(year)#获取当前时间对应的时间戳seconds=time.time()...
2018-04-23 08:53:18
139
原创 查找算法——二分法查找
#二分法查找 #前提：这个列表是有序的（已经排好序的）list0=[23,34,56,78,89]key=12#设置初始区间值min_index=0max_index=len(list0)-1#设置起始区间索引mid_index=(min_index+max_index)//2while list0[mid_index]!=key: if list0[mid_...
2018-04-20 22:57:20
185
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人