- 博客(32)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 ubuntu 80端口无法使用
遇到问题：使用80端口失败，查询80端口占用，显示未占用。可能的原因：当前用于未非root用户，故ubuntu下无法使用1024以下端口。（1023不可，1024可以）解决方案：用80端口映射8080端口1.映射到端口iptables -t nat -A PREROUTING -p tcp --dport 80 -j REDIRECT --to-port 8080...
2020-06-10 12:42:52
1569
原创 ubuntu 18.0安装桌面
在命令环境下运行如下命令:#更新软件库sudo apt-get update #升级软件sudoapt-get upgrade#安装Ubuntu桌面系统#安装时间有点长，需要耐心等待。sudo apt-get install ubuntu-desktop reboot重启后发现桌面环境不能使用root账户登录.#重启然后使用Ctrl + Alt + F1 进入命令行使用root登陆#运行命令#打开50-ubuntu.confsudo vi /usr/share/ligh..
2020-06-10 12:40:17
1018
原创 python计算方法耗时装饰器
def calcMethodsTimes(func): def inner(*args, **kwargs): start = pd.datetime.now() res = func(*args, **kwargs) end = pd.datetime.now() print("methods: %s ,运行共计耗时: %s s"%(func.__name__, end - start)) return res .
2020-05-19 15:19:21
627
原创 python pandas 多线程(携程)写入excel
不知道如何优化,写入excel文件依然很慢.# -*- coding: utf-8 -*-## python 3.6.7# Description: # Author: zzq# Date: 2020/4/27import mathimport threadpoolimport asyncioimport pandas as pddef ...
2020-04-27 18:06:03
3869
2
原创 pandas输出excel文件添加表头标题,样式装饰器
以下装饰器将输出带有样式的excel文件。import osimport pandas as pdfrom xlsxwriter.utility import xl_rangedef decoratorToExcel(excel_name: str = "test", excel_title: str = "test", excel_dir: str = None): "...
2020-04-22 21:43:19
10527
原创 python多线程学习
理解不深,先这样!# -*- coding: utf-8 -*-# usr/bin/python3.6.7# @idea :PyCharm # @FileName :moreTh.py# @Time :2020/1/2 10:59# @Author :zzqimport timefrom threading import Thread, Lockfr...
2020-01-02 12:17:43
89
原创 Python 多进程文件共享变量。
# -*- coding: utf-8 -*-# usr/bin/python3.6.7# @idea :PyCharm # @FileName :moreThread.py# @Time :2019/12/31 16:12# @Author :zzqimport timeimport osfrom multiprocessing import Pro...
2019-12-31 18:07:17
248
原创 Java数组翻转 / 排序简单方法
/*java 数组翻转*/public class Demo{ public static void main(String[] args){ int[] raw_list = {1,2,3,4,5,6,7}; for(int left = 0, right = raw_list.length-1; left < right; left++, right--){ int t...
2019-12-14 19:48:27
442
原创 MysqlDump备份
mysqldump -u root -p test -R > 1.sql mysqldump -u root -p test -R -E > 1.sql# -R 代表备份存储过程# -E 代表备份事件备份的sql文件过大再次运行需要设置max_allowed_packet可以在my.ini里面设置为全局...
2019-12-11 17:36:23
80
原创 关于pandas多级表头,输出Excel文件空白行问题
找到pandas源码文件excel.py函数起始大概在源码551行,贴上源码 函数_format_regular_rows def _format_regular_rows(self): has_aliases = isinstance(self.header, (tuple, list, np.ndarray, Index)) if has_alia...
2019-12-04 13:30:26
5228
4
原创 java数据类型,备忘
byte 8位 -128~127 short 16位 -32768~32767 int 32位 2^-31 ~ 2^31 -1 long 64位 2^-63-1 ~ 2^63-1 float 32位 3.4e-45 ~ 1.4e38(直接赋值数字后面加f) double 64位 4.9e-3...
2019-12-02 22:32:01
93
原创 pandas 多级表头
df.columns.get_level_values(0).values# 索引层级从0开始返回一个listdf.columns.to_list()# 返回一个 [(), (), ()]
2019-11-13 19:10:23
9774
原创 记录一次读取 9.8G的一个csv文件，并且写入mysql。
记录一次读取1600万 行 X 41列的csv文件。目标 /环境文件数据为测试模拟数据，数据大小 9.8G，目标为读取数据，并且写入mysql。目标文件运行环境：python3.6 (64位)，pandas，pymysql。思路采用pandas内置read_csv方法，分块读取文件，开4个进程写入mysql。遇到的坑有，memoryerror，这里需要强调！！！ 必须把写入过的数...
2019-05-26 21:17:54
748
3
原创 python @property动态属性方法记录。
原始代码。这里获取一个学生的年龄，我们定义get_age 方法。要获取年龄需要student.get_age()代码如下。from datetime import date, datetimeclass Students: def __init__(self, name, birthday): self.name = name self.birthday = birth...
2019-05-19 18:53:09
339
原创 pandas全表查询，根据条件返回。记录一次爬坑过程。
关于pandas的查询，深深的掉了一个大坑。以此来记录一下不知道元素在那一列，哪一行，先上一个坑。t1 =time.clock()for id in ids:#id为需要查找的元素 for indexs in df1.index:#循环行 for i in range(len(df1.loc[indexs].values)):循环行内元素 ...
2019-03-27 22:47:09
1648
原创 mysql备忘
mysql生成临时表的语法CREATE TEMPORARY TABLE tmp_table(名字) SELECT val,GROUP_CONCAT(id) from ce GROUP BY val
2019-03-12 11:49:01
139
原创 pandas备忘（二）
关于pandas的透视表的用法import pandas as pd import numpy as np df = pd.DataFrame({'ID':['01','02','01','03','01'], &amp;amp;quot;code&amp;amp;quot;:['A','A','B','C','D'], 'descrit':['一号','二号','三号','四号','五号'], 'score':[85,76,80,5...
2019-03-09 19:10:43
199
原创 pyqt5显示sql数据
代码pip install sqlalchemy from sqlalchemy import create_engineself.engine = create_engine('mysql+pymysql://root:root123@localhost/test')#创建一个全局i连接sql = ' SELECT * FROM job51'input_table = pd.read_...
2019-03-08 09:50:38
4052
原创 pyqt5 +pyinstall打造属于自己的桌面版程序(学习阶段)
网上关于pyqt5的教程特别少，终于东拼西凑，做出一点东西出来，很简单的小应用，便于上手学习。pyqt5的主文件代码如下，代码特别多，也没怎么细分。大家可以参考下。github地址pyinstall打包的一点小技巧送给大家。取消生成程序doc窗口使用命令pyinstaller -F -i 图标路径 文件路径 --noconsole(取消dos)如果生成的应用有图片文件，可...
2019-03-07 23:42:20
725
转载 关于pandas的一些常用知识，备忘
原帖地址，此贴为学习验证过程。传送门创建一个series语法如下series = pd.Series([1,2,3,4],['beijing','shanghai','xian','shenzhen'])series = pd.Series(data,[index]) index为可选参数，如果不设置index，则索引默认为数组下标series = pd.Series(['beiji...
2019-03-07 20:03:13
755
原创 ubuntu连接主机mysql
首先必须保证主机和虚拟机能ping通.桥接网卡即可。主机端进入mysql输入mysql -u root -p ****接着输入grant all PRIVILEGES on test.* to root@'192.168.1.101' identified by '123456';test为库名，root为分布的用户名，表示允许使用192.168.1.101地址连接主机123456...
2019-03-06 19:01:32
576
原创 使用python+pyqt5制作exe文件，并支持pdf转换，图片转换为py文件
出于学习的目的，以前只会python爬虫方面的一些知识，这次干脆来个大整合，用pyqt5生成exe版爬虫，加入一些常用的小功能，期待后期完善。下面是界面，以及些许小功能。百度网盘提取码：uvx6支持pdf转换为txt文件支持pdf转换为word文件支持图片文件转换为py文件，方便打包exe使用。F,t_70)pdf功能如下图都是简单的小功能，需要联网使用，否则打开失败(因为...
2019-02-27 20:41:03
519
原创 mysql5.7.23修改密码
mysql -u root -p修改密码ALTER USER ‘root’@‘localhost’ IDENTIFIED BY ‘root123’；
2019-02-01 21:33:39
600
原创 uiautomator2简单使用记录。
开始之前大概了解一下，这个目前可以用于app端一些爬虫使用，调试不叫方便，配合mitmproxy使用，远胜于appium。appium环境太复杂。首先是安装依赖库。adb传送门百度网盘。提取码：lfc7 pip install --pre uiautomator2pip install pillow需要安卓adb环境，并且确保已经启动adb。如果需要wifi调试需要安装pip ins...
2019-01-27 13:59:37
1025
原创 最新美团网数据抓取实战。
写在前面的话，还处于爬虫初期，很多东西一知半解，边学边记录，边学边做。代码写的自己都看不下去了。。。。本期重点，美团网商铺数据，暂只抓了美食商家数据。先上战果，暂只抓了10万条，一小时左右，未对数据去重。大概思路如下，先抓取各个省份城市，然后获取其经纬度，最后构造参数，翻页拿取数据。抓取结果获取各个城市名字，id。第一个地址(https://www.meituan.com/ptapi/get...
2019-01-24 19:04:19
1922
原创 爬虫url去重（二）
还是关于去重，想着有些请求可能失败以后，虽然回滚了当前爬取失败的url，可是要是此url一直请求失败，应该是要删除的，重新学习了一边基础知识。# -*- coding: utf-8 -*-import redisclass UrlOption(object): ''' 这是一个爬虫的url管理器类 ''' def __init__(self,s...
2019-01-21 23:41:36
337
转载 随笔关于yield，转载
原文链接，深入理解yielddef h(): print ('Wen Chuan',) m = yield 5 # Fighting! print (m) d = yield 12 print ('We are together!')c = h()m = next(c) #m 获取了yield 5 的参数值 5print(m)d = c.se...
2019-01-20 23:11:52
96
原创 爬虫url去重管理
用于记录学习爬虫过程中遇到的断点续爬、url去重问题学习 。环境redispython第三方库 redis 。安装 pip install redis核心功能，基于redis里面set类型，达到去重，插入，记录的小功能。代理实现：import redisclass UrlManager: def __init__(spider_name='',host='127.0.0....
2019-01-20 21:47:29
474
原创 基于python抓取微信公众号的实验爬虫
Python爬取微信公众号工具准备fiddler+pycharmfiddler设置手机端代理抓包找到一段相似代码这里返回一段json数据，json解析后得到对比手机端此页面可以拿到该公众号所有的历史文章链接，这样一来思路就有了，我们需要去这个页面。配合appium和mitmproxy就可以获取到所有数据。#-安装mitmproxy pip install mitmproxy#...
2018-12-27 13:45:19
948
原创 python3.x+apache输出中文乱码问题
#!C:\Users\zq\AppData\Local\Programs\Python\Python36-32\python.exeimport codecs, syssys.stdout = codecs.getwriter(‘utf-8’)(sys.stdout.buffer)print(“Content-type:text/html”)print()print(&quot;&quot;)print(...
2018-10-30 16:17:59
572
原创 python爬虫
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Ma...
2018-10-20 22:57:55
121
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人