![](https://img-blog.csdnimg.cn/20190905101709422.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Python
TinlokLee
这个作者很懒,什么都没留下…
展开
-
Scrapy 循环顺序运行多个任务
基于 Scrapy 框架扩展,循环顺序执行多个任务# -*- coding: utf-8 -*-from scrapy.cmdline import executeimport sysimport osimport timedef run(): # 根据业务需求自定义设置每个任务运行时间,CLOSESPIDER_TIMEOUT while 1: o...原创 2020-03-31 12:13:47 · 2134 阅读 · 0 评论 -
Python 自动生成当前项目依赖包文件
Python 自动生成当前项目依赖包文件方法一# cd 到项目路径下,执行以下命令pip freeze > requirements.txt方法二使用工具 pipreqs# 1 安装 pipreqspip install pipreqs# 2 cd 到项目路径下,执行以下命令pipreqs ./使用 requests.txt 自动安装所有依赖包pip instal...原创 2020-03-20 15:18:30 · 4480 阅读 · 0 评论 -
用Python实现自动化监控远程服务器
最近发现 Python 可以做很多事情,在监控服务器有其独特的优势,耗费资源少,开发周期短。首先我们做一个定时或者实时脚本timedtask.py,让其定时监控目标服务器,两种方式:第一种:#!/usr/bin/env python# -*- coding: utf-8 -*- import ti...转载 2020-03-19 22:36:51 · 2649 阅读 · 2 评论 -
python 定时任务之顺序执行多个py脚本
python 定时任务有多种方法可以实现,想要定时且顺序执行多个脚本怎么实现,代码如下:# -*- coding:utf-8 -*-# Author: leeimport osfrom time import sleepwhile 1: os.system("python ./脚本1.py") print('Waiting a minute ...') s...原创 2020-03-11 22:56:23 · 3948 阅读 · 4 评论 -
python 可视化监控爬虫状态
更新 2018年08月03日14:39:32其实可以利用scrapy的扩展展示更多的数据,立个flag,后面更新上来好,开始今天的文章。今天主要是来说一下怎么可视化来监控你的爬虫的状态。相信大家在跑爬虫的过程中,也会好奇自己养的爬虫一分钟可以爬多少页面,多大的数据量,当然查询的方式多种多样。今天我来讲一种可视化的方法。关于爬虫数据在mongodb里的版本我写了一个可以热更新配置的版本,...转载 2019-07-19 10:47:16 · 3686 阅读 · 0 评论 -
Python库汇总,非常全面!
库名称简介Chardet 字符编码探测器,可以自动检测文本、网页、xml的编码。colorama 主要用来给文本添加各种颜色,并且非常简单易用。Prettytable 主要用于在终端或浏览器端构建格式化的输出。difflib,[Python]标准库,计算文本差异Levenshtein,快速计算字符串相似度。fuzzywuzzy 字符串模糊匹配。esmre 正则表达式的加速器。short...转载 2020-02-20 13:36:58 · 10762 阅读 · 0 评论 -
UDF开发入门(python udf、hive udf)
开发前的声明 udf开发是在数据分析的时候如果内置的函数解析不了的情况下去做的开发,比方说你...转载 2020-02-17 14:41:26 · 2046 阅读 · 0 评论 -
最全知乎专栏合集:编程、python、爬虫、数据分析、挖掘、ML、NLP、DL...
上一篇文章《爬取11088个知乎专栏,打破发现壁垒》里提到,知乎官方没有搜素专栏的功能,于是我通过爬取几十万用户个人主页所关注的专栏从而获取到11088个知乎专栏。本回筛选出其中涉及:编程、python、爬虫、数据分析、挖掘、ML、NLP、DL等关键词的专栏,按照排名、关注人数、专栏名称、专栏简介等顺序,罗列出史上最全专栏合集,以供大家顺藤摸瓜、前去观摩和学习。筛选出来的专栏数据和全部11088个...转载 2020-02-04 16:45:53 · 2945 阅读 · 0 评论 -
Python爬虫100个入门项目
淘宝模拟登录 天猫商品数据爬虫 爬取淘宝我已购买的宝贝数据 每天不同时间段通过微信发消息提醒女友 爬取5K分辨率超清唯美壁纸 爬取豆瓣排行榜电影数据(含GUI界面版) 多线程+代理池爬取天天基金网、股票数据(无需使用爬虫框架) 一键生成微信个人专属数据报告(了解你的微信社交历史) 一键生成QQ个人历史报告 微信公众号文章爬虫 新浪微博爬虫分享(一天可抓取 1300 万条数据) 新浪微博分布式爬虫分...转载 2020-02-03 17:33:55 · 10326 阅读 · 4 评论 -
数据加密传输与解密
数据加密传输与解密部分代码1 网页js加密算法function base64Decode(input) { _keyStr = "ABCDEFHHIJKLMNOPQRSTUVWXYZabcdefghigklmnopqrstuvwxyz0123456789+/="; var output = ""; var chr1, chr2, chr3; var enc1,...原创 2019-12-15 18:37:18 · 1520 阅读 · 0 评论 -
Python 深度学习库 Keras 发布官方中文文档,这里有你需要了解的一切
Python 深度学习库 Keras 发布官方中文文档,这里有你需要了解的一切今年1月,Keras作者、谷歌AI研究员François Chollet在推特上发出召唤:讲中文的Keras用户们,是否有人愿意帮忙一起搞个Keras文档的中文版?一个多月后,官方中文文档来了。Keras 是 Google 的一位工程师 François Chollet 开发的一个框架,它能够以 TensorFlow,...转载 2019-12-06 20:19:50 · 1293 阅读 · 0 评论 -
Pycharm 分屏设置
pycharm --> 选择工具栏中 --> Window --> Editor_Tabs --> 选择 Split_Vertically 或者 Split_Horizontally原创 2019-10-12 18:25:11 · 5006 阅读 · 0 评论 -
Python自动化运维脚本实例
一、用python写一个列举当前目录以及所有子目录下的文件,并打印出绝对路径 #!/usr/bin/env pythonimport osfor root,dirs,files in os.walk('/tmp'): for name in files: print (os.path.join(root,name)) os.walk()...转载 2018-12-23 17:28:47 · 20327 阅读 · 0 评论 -
Python 最常见的 170 道面试题解析(2019持续更新)
Python 今年还是很火,不仅是编程语言排行榜前二,更成为互联网公司最火热的招聘职位之一。伴随而来的则是面试题目越来越全面和深入化。有的时候不是你不会,而是触及到你的工作边缘,并没有更多的使用,可是面试却需要了解。所以我结合自己的面试经历以及各大厂的面试题库,准备了 170 道 2019 年最新的 Pyt...转载 2019-08-28 09:12:21 · 1940 阅读 · 0 评论 -
python 排序算法实现(选择、插入、冒泡、快排、归并)
[Python笔记]部分经典排序的实现0、部分排序算法相关术语1、选择排序 Selection sort2、插入排序 Insertion sort3、冒泡排序 Bubble sort4、快速排序 Quick sort5、归并排序 Merge sort0、部分排序算法相关术语(1)稳定or不稳定若在待排序的记录中,存在两个或两个以上的关键码值相等的记录,经排序后这些记录的相对次序仍然保持不...原创 2019-08-30 09:03:33 · 1344 阅读 · 1 评论 -
淘宝数据分析实战篇(附源码)
项目内容本案例选择>> 商品类目:沙发;数量:共100页 4400个商品;筛选条件:天猫、销量从高到低、价格500元以上。项目目的1. 对商品标题进行文本分析 词云可视化2. 不同关键词word对应的sales的统计分析3. 商品的价格分布情况分析4. 商品的销量分布情况分析5. 不同...转载 2019-09-06 18:41:44 · 6703 阅读 · 39 评论 -
Python 实现八皇后问题
八皇后问题是一个以国际象棋为背景的问题:如何能够在 8×8 的国际象棋棋盘上放置八个皇后,使得任何一个皇后都无法直接吃掉其他的皇后?为了达到此目的,任两个皇后都不能处于同一条横行、纵行或斜线上。八皇后问题可以推广为更一般的n皇后摆放问题:这时棋盘的大小变为n×n,而皇后个数也变成n。当且仅当 n = 1 或 n ≥ 4 时问题有解。 具体可以参考:https://github.com/che...转载 2019-09-08 20:34:58 · 1423 阅读 · 0 评论 -
前端与后端数据交互 jQuery Ajax+Python Flask (附详细代码)
回忆一下遇到的坑:1.<form>标签下的<input>、<textarea>等标签必须带有name属性才能被form捕捉提交。2.POST方法提交时要用request.form来获取,而用GET方法则用request.args来获取。本文从http://www.jianshu.com/p/4350065bdffe转载前端与后端的数据交互,最常用...转载 2019-09-10 18:29:40 · 2974 阅读 · 0 评论 -
Python 开发中遇到的20个坑(总结篇)
‘’’1 lambda 函数2 生成器不保留迭代过后的结果3 可变对象不能作为函数默认值4 在循环中修改列表选项5 列表取值超出索引数6 重用全局变量7 拷贝可变对象8 Python 多继承9 列表的 append 和 extend10 datetime 布尔值11 == &amp; is 区别12 copy deepcopy pickle13 list...转载 2018-12-02 00:26:40 · 1985 阅读 · 0 评论