2019年05月_Lancer_Wu

转载 mac, linux使用crontab出现crontab: installing new crontab

原文：https://blog.csdn.net/qq_34201858/article/details/87987879在使用完crontab后（crontab -e），每次都出现crontab: installing new crontab的提示用crontab -e 编辑的任务在crontab: installing new crontab后三分钟之内是不会执行的，所以你在测试的...

2019-05-31 16:33:37 2399

原创 python 项目依赖问题解决 pipreqs生成依赖包清单

工作中跨环境运行相同项目的脚本但却缺少安装包的问题相当的蛋疼，所以推荐一个工具叫pipreqs，可以一个命令行直接生成所有依赖清单requirements.txt导出依赖包先安装:pip install pipreqs装好之后切换到项目路径下:pipreqs ./正常的话应该会生成一个requirements.txt文件，但是在win下我报错了：使用以下方式解决：pipreqs ...

2019-05-30 22:53:10 1238

转载 MySQL、MongoDB、Redis 数据库之间的区别

自己一直有些迷迷糊糊的，这篇文章写的挺好的，转载以帮助有需要的同学。原文地址：https://blog.csdn.net/CatStarXcode/article/details/79513425正文：NoSQL 的全称是 Not Only SQL，也可以理解非关系型的数据库，是一种新型的革命式的数据库设计方式，不过它不是为了取代传统的关系型数据库而被设计的，它们分别代表了不同的数据库设计...

2019-05-27 20:08:37 184

原创 django中异步执行python脚本

之前业务中需要根据前端的提交，用django在后端中跑某个脚本进行执行，因为执行时间较久，所以用的是异步，不知道什么是异步的可以先去研究django的异步执行框架celery，这里直接展示我的异步环境下执行Python脚本的代码：tasks.py中的操作：import subprocess # 这个库是能够直接运行脚本的关键@task(bind=True)def run_script(...

2019-05-26 20:36:51 7137 8

原创 django 查看request的详细参数

如果需要查看前台传来的header中的详细参数并获取的话，使用以下方式即可：在views.py中新增以下函数：from django.core.handlers.wsgi import WSGIRequestdef test(request): print(type(request)) # 打印出request的类型 print(request.environ) #...

2019-05-26 19:25:07 3994

原创 520到了，是时候展示真正的技术了，程序猿的浪漫代码集合

空有一身撩妹技，奈何无妹可撩，只能把珍藏的到处搜刮来的撩妹代码分享给猿们。项目一：适合圣诞节的时候使用，文字加倒计时，配合动态雪花，很应景。预览地址：http://wxs231.cn/loveSource/loveshow02/index.html项目二：跟项目一差不多，就是替换了背景，再加了个小交互，适合给萌妹子。预览地址：http://wxs231.cn/loveSour...

2019-05-20 11:47:30 30333 22

原创关于mac pip install xgboost 卡住的问题

mac 使用pip install xgboost时候，一直卡在下载进度条完成的界面。一开始还以为是命令行卡住了，Ctrl+C杀死后重复执行代码好几次，依然是卡在下载进度条完成的界面。刚要搜索是什么问题，不过看到终端上方的标题有变化，所以其实并没有卡住，只不过安装确实很久，后面先不管他，十几分钟后再看，已经安装好了。所以解决方案就是——耐心等……...

2019-05-19 21:18:38 694

第一次听说restful api的时候还以为这是个api管理工具，后面才知道这就是一个api准则，类似于法律准则和会计准则，以及python的pep8一样，就是一个命名规范，而不是告诉你具体怎么命名。目前自己也还没有深刻领悟restful的精髓，但是写下自己的一些领悟，不断更新迭代，也方便刚入门的同学理解。限制交互一个好的restful api应该只允许第三方使用者调用get（选择），pos...

2019-05-19 21:10:49 208

转载 30分钟掌握Go语言中函数的实现

原文地址：https://www.cnblogs.com/demon89/p/7256349.html函数是基本的代码块，用于执行一个任务。Go 语言最少有个 main() 函数。你可以通过函数来划分不同功能，逻辑上每个函数执行的是指定的任务。函数声明告诉了编译器函数的名称，返回类型，和参数。Go 语言标准库提供了多种可动用的内置的函数。例如，len() 函数可以接受不同类型参数并返回该...

2019-05-16 12:07:52 177

原创 python pandas dataframe csv txt转excel 分组取前n行分组随机抽样的实现

使用python pandas的dataframe进行大量数据的分组取前n个和分组随机抽样简直不要太高效，锤爆excel。示例代码如下：import pandas as pd'''author:LancerWuemail:wuxs231@163.com'''# txt转excel的函数def txt_to_xlxs(file_name, xlsx_name, sheetnam...

2019-05-15 11:24:32 1512

原创 mac dyld: Library not loaded: /usr/local/opt/icu4c/lib/libicui18n.62.dylib 问题解决

在查看php版本的时候，输入php -v，结果出现如下错误：dyld: Library not loaded: /usr/local/opt/icu4c/lib/libicui18n.62.dylib Referenced from: /usr/local/opt/php@7.0/bin/php Reason: image not found[1] 91582 abort ...

2019-05-13 15:34:57 1876

原创 python try except 异常的正确捕获方式

之前try catch的时候都使用以下的方式：def test(arr): try: a = int(arr) print(a) except Exception as e: print('error', e)test('adff')来查看是哪里出问题了，但是这种方式有个问题，那就是只打印最简略的错误信息：rror inv...

2019-05-12 14:33:17 4388

原创 mysql增加生成时间戳和最后修改时间戳

# 插入时间的时间戳，自动生成alter table 表名 add create_time TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP;# 插入最后修改的时间戳，按照最后修改时间自动生成alter table cookies add update_time TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP ...

2019-05-11 18:38:57 2402

原创 mysql 获取最近n天的数据

有时候某些表没有日期字段，需要查看最近几天新插入的行，可以使用以下语句：# 假设查询最近7天的数据SELECT * FROM tablename where DATE_SUB(CURDATE(), INTERVAL 7 DAY) <= date(date);...

2019-05-11 18:34:08 2750

原创 mysql 删除重复项

之前爬虫写的逻辑有点错误，导致重复爬取了某些内容，全部删掉再爬也麻烦，所以写了个sql语句直接清掉重复项。delete FROM tablename WHERE 去重字段 in ( SELECT 去重字段 FROM tablename GROUP BY 去重字段 HAVING COUNT(*) > 1) and id not in ( select min(id) ...

2019-05-11 18:30:01 138

原创 mysql 视图生成，查询，删除

MySQL的视图有点类似于临时表，不过只能查询不能修改。创建视图create view view_1 as select * from tablename where 过滤条件;查询视图select * from view_1;删除视图drop view view_1;...

2019-05-11 18:14:42 249

原创 mysql 查询结果保存或创建新表同时增加自增主键

如果表存在，则查询结果插入到表中：insert into table_1 select * from table_2;如果表不存在，则插入到新表中create table_1 select * from table_2;如果新表要增加自增id，再输入以下命令：alter table table_1 add id int not null auto_increment primary ...

2019-05-11 18:07:59 2267

原创 mysql id从1开始自增解决id不连续的问题

作为一个强迫症患者，对于表格内某些行删除之后，id不连续这个问题完全无法容忍，一开始使用TRUNCATE TABLE tablename来实现id从头自增，但是这个命令同时也会清空整个表，真的是坑爹啊。后面才发现了正确的做法：alter table tablename auto_increment = 1;这个命令不会改动现有的表的内容和顺序，同时新插入行的id会先使用已删除的id，完美...

2019-05-11 12:13:24 10334 5

原创 pandas.errors.ParserError: Error tokenizing data. C error: EOF inside string 问题解决

正常的每日自动运行脚本突然报错，错误提示部分如下：pandas.errors.ParserError: Error tokenizing data. C error: EOF inside string原来是今天的csv文件特别大，其中有一些行错误，导致pandas的read_csv读取失败。所以解决方案就是跳过那些错误行继续读取，使用error_bad_lines参数。代码如下：dat...

2019-05-09 17:17:03 9666 2

原创 python递归删除文件or文件夹函数

话不多说，代码说话，有问题请反馈哈import os'''author：LancerWuemail：wuxs231@163.com'''def delete_file(file_dir, del_file, type='file', bianli=0): ''' 删除文件 :param file_dir: 搜索路径 :param del_file: ...

2019-05-07 18:12:30 696

原创 cannot import name 'cross_validation' No module named 'sklearn.learning_curve' 等问题

ImportError: cannot import name 'cross_validation'ModuleNotFoundError: No module named 'sklearn.learning_curve'ModuleNotFoundError: No module named 'sklearn.grid_search'在0.18以上的sklearn版本中，以上这些库全...

2019-05-07 16:38:00 10413 1

原创 python3 pandas dataframe使用集合自己的整理

工作中经常用dataframe处理数据，简直是个神器，把自己用过的都记录一下，以后忘了好重新发现一下。

2019-05-06 19:13:42 2040

原创 git常用操作整理笔记——主要是自用

git全局设置：git config --global user.name "用户名"git config --global user.email "邮箱"创建git仓库mkdir test_dircd test_dirgit inittouch README.mdgit add README.mdgit commit -m "first commit"git remote ...

2019-05-06 11:57:26 161

原创 python3 poplib.POP3 连接超时问题

使用python想要获取邮箱里面的邮件，连接的时候出现连接超时的错误Traceback (most recent call last): File "/Users/wuxiangshen/Documents/OneDrive/工作文档/工作开发/日报自动化/邮件获取.py", line 12, in <module> server = poplib.POP3(pop3_s...

2019-05-06 11:22:52 1987

原创 python 下载图片的函数

通过url即可直接下载图片import requestsdef down_pic(down_url, picname): ''' 下载图片函数 :param down_url: 下载地址 :param picname: 保存的图片名字 :return: ''' header = { 'User-Agent': 'Mozi...

2019-05-05 22:45:21 1159

原创 python 用grequest 实现真·高并发爬虫

之前都是使用多线程来实现效率的提升，但是由于python的GIL锁的原因，导致所谓的多线程并不是多并发，而是当爬虫发出去的请求还未等到返回的间隙，继续执行别的线程，相当于交替轮流执行，是伪多并发。而grequest库封装了gevent和requests，实现了真正的多并发请求，不过也不是说来多少并发多少，也是有边界的，所以通过size参数设置一下同时并发数。import grequests...

2019-05-04 14:13:23 6229 4

原创 python 爬虫使用代理爬取

之前有需要翻墙爬取内容，发现需要使用代理，不能简单的在requests里加个参数就行了，现在把脚本改成通用模板，有需要的可以按照自己的需求改一下哈。import urllib.request as requestimport requestsimport json'''@author:Lancer Wu@email:wxs231@163.com'''def proxies_s...

2019-05-02 18:00:02 33733 3

原创封装了一个python线程池函数，直接调用跑多线程，适合跑爬虫

ThreadPoolExecutor已经是一个很完善的多线程池的库了，不过在项目里面老是重复判断list的长度来设置线程数，每次各个地方去修改真的是太麻烦了。想要根据参数的长度动态控制线程的的数量，同时实现配置全局化，所以又封装成了一个函数，直接调用并传入多线程函数和参数list即可，适合我这样的懒人使用~from concurrent.futures import ThreadPoolExe...

2019-05-02 16:20:15 1583

原创 python发送邮件函数

看网上发送邮件的教程都是单独的一个脚本，而且要传入特别多的变量，作为项目的一个部分，我封装了一下，直接用字典导入参数就行，虽然换挡不换药，但是可以把配置都放在一起，不需要定位到相应的位置来改。邮件内容可以使纯文本或者html格式，不带传输附件。import smtplibfrom email.header import Headerfrom email.mime.text import M...

2019-05-02 15:54:35 919

原创自己整理的python对mysql的常用操作，封装成函数直接调用

把自己平常经常使用的对mysql操作的函数整理了一下，主要是使用dataframe来操作，同时封装了数据库的连接，提交等操作，这样只需要传入参数和数据就可以了。分享给有需要的朋友，节约造轮子的时间。from sqlalchemy import create_engineimport pymysqlimport pandas as pd'''author:LancerWuemail:w...

2019-05-02 15:25:35 2304

LancerWu的博客