2020年09月_大咖爱爬虫

原创 Python爬虫练习：爬取800多所大学学校排名、星级等

前言国内大学最新排名，北大反超，浙大仅第四，中科大跌至第八时隔五年，“双一流”大学即将迎来首次大考，这也是继改变高校评断标准之后，第一次即将以官方对外发布，自然是引来了许多人的关注。最近，有许多不同机构发布的国内高校排名，但彼此之间的差异很大，网友之间的争议也很大。项目目标爬取高三网大学排名，并保存目标网址http://m.gaosan.com/gaokao/265440.html基本环境配置python 3.6pycharm爬虫代码导入工具imp

2020-09-25 14:06:58 620

原创 10个最值得Python新人练手的有趣项目

有很多 Python 新手留言问：“Python 入门很久了，但项目经验很少，有没有什么项目，可以让自己实践一下呢？”这是个很普遍的问题，首先你要想好做什么类别的项目，总体来说，项目分为三类：Web构建一个 Web 应用发布在网络上让用户访问使用。需要实现 Web 应用的前端、后端、可视化部分的业务逻辑。可以使用 Django，Flask 和 Web2Py 等工具和框架来完成。桌面 GUI桌面应用也很常见，好的应用可以满足相当大的用户群体。在构建桌面应用时，可以使用 PySimpleGU..

2020-09-25 14:05:16 976

原创 10个强大的Python数据科学技巧

介绍你上一次学习新的Python技巧是什么时候？作为数据科学家，我们习惯于使用熟悉的库并每次都调用相同的函数。现在该打破旧的惯例了！Python不仅限于Pandas，NumPy和scikit-learn（尽管它们在数据科学中绝对必不可少）！我们可以使用大量的Python技巧来改进代码，加速数据科学任务并提高编写代码的效率。更重要的是，学习我们可以在Python中做的新事情真的非常有趣！我喜欢玩各种不同的程序包和函数。每隔一段时间，就会有一个新的花样吸引我，我将其融入我的日常工作。因此，我

2020-09-24 20:21:20 348

原创在Python编程面试前需要学会的10个算法（附代码）

Photo by Headway on Unsplash为什么练习算法是关键？如果你是Python新手，并且打算面试顶尖公司（FAANG），听着，你需要从现在开始就好好练习算法。不要像我第一次练习算法时那么天真。尽管我认为从早到晚死磕算法很有趣，但是我从来没有花过太多时间练习，甚至更少花时间去使用快捷、高效的解决方法。在我看来，我认为花一天的时间解决算法问题有点太傻了，而且在实际工作环境中很不适用，而且长期来看这也不会给我带来多大的收益。“知道如何解决算法问题将会成为你在找工作过程中极有竞争力.

2020-09-23 15:28:10 269

原创还在为多张Excel汇总统计发愁？Python 秒处理真香！时间 2020-09-20 08:00:00 justdopython

为什么越来越多的非程序员白领都开始学习 Python ？他们可能并不是想要学习 Python 去爬取一些网站从而获得酷酷的成就感，而是工作中遇到好多数据分析处理的问题，用 Python 就可以简单高效地解决。本文就通过一个实际的例子来给大家展示一下 Python 是如何应用于实际工作中高效解决复杂问题的。背景小明就职于一家户外运动专营公司，他们公司旗下有好多个品牌，并且涉及到很多细分的行业。小明在这家公司任数据分析师，平时都是通过 Excel 来做数据分析的。今天老板丢给他一个任务：下班前筛选出集团

2020-09-23 15:25:23 335

原创最全总结 | 聊聊 Python 数据处理全家桶（Mysql 篇）

1. 前言在爬虫、自动化、数据分析、软件测试、Web 等日常操作中，除JSON、YAML、XML 外，还有一些数据经常会用到，比如：Mysql、Sqlite、Redis、MongoDB、Memchache等一般情况下，我们都会使用特定的客户端或命令行工具去操作；但是如果涉及到工程项目，将这部分数据操作集成到代码中使用才是王道接下来，我将分几篇文章，和大家一起聊聊 Python 操作这些数据的最优方案本篇从使用最为广泛的关系型数据库 - Mysql 开始讲起2. 准备首先，...

2020-09-22 14:36:34 234 1

原创牛人小伙用Python爬取NBA虎扑球员数据

备、影视、汽车、数码、情感等一切人和事的见解,热闹、真实、有温度。受害者地址https://nba.hupu.com/stats/players本文知识点：系统分析网页性质结构化的数据解析 csv数据保存环境介绍：python 3.6 pycharm requests csv爬虫案例的一般步骤1.确定url地址(网页分析) 完成一半 2.发送网络请求 requests(js\html\css) 3.数据解析(筛选数据) 4.保存数据(本地文件\数据库)

2020-09-18 14:12:11 2169

原创 4个小窍门，让你在Python中高效使用JSON

字典和列表是 Python的两种数据类型，也是用来处理JSON的完美工具。本文将主要分享以下内容：如何载入、编写JSON? 如何在命令行上优化、校验JSON? 如何通过使用JMESPath对JSON文档执行高级查询?1. JSON解码Python自带一个功能强大、内容丰富的JSON库。可通过以下方式导入：importjson解码JSON字符串很简单，直接输入 json.loads(…) 即可。它可以转换成：字典对象列表数组识别布尔值、整数、浮点数和字符串，在Py..

2020-09-18 14:08:48 301

原创用Python网络爬虫来看看最近电影院都有哪些上映的电影

1 前言猫眼电影是淘宝联合打造电影分类最全的电影的平台，能够第一时间告知用户，最新的电影上线时间。今天教大家获取猫眼电影的即将上映的电影详情。2 项目目标获取猫眼电影的即将上映的电影详情。3 项目准备软件：PyCharm需要的库：requests、lxml、random、time插件：Xpath网站如下：https://maoyan.com/films?showType=2&offset={}点击下一页的按钮，观察到网站的变化分别如下：http.

2020-09-18 13:41:49 4023

原创微信群总是有人发广告？看我用Python写一个自动化机器人消灭他！

序幕微信群牛皮癣，指的是在微信群里毫无下限的群发小广告的用户，是微信群主最痛恨的一波人。如果熟悉早起的读者可以知道我有一个技术交流群，但是自从建群以来就饱受小广告的困扰。他们伪装成正常人混进群然后不停的发送广告轰炸，严重的打乱了群内的技术交流气氛:point_down:或者是一声不吭的去骚扰每一个群成员:point_down:虽然不清楚是什么能够驱使他们这样不折不扣的努力成为最强微信群牛皮癣(可能是钞能力)，但在经历太多次的骚扰之后，我开始思考是否可以用Python消灭他们。第一回合其实一开始的

2020-09-16 20:13:20 1925

原创教你在几分钟内构建一个Python包

前言构建包的过程有些复杂，但从长远来看是值得的，尤其是可以创建属于自己的Python包。本文的目的是通过对构建一个新发行包的案例研究，让您了解需要构建什么以及如何构建python包的基础知识。开始首先，您肯定需要设置一个或多个内容，以便了解如何构建python包。因此，需要的东西的如下:IDE (Vs Code)Python 3构建Python包本文中构建的标称为b_dist。b_dist是一个分布包，它有Gaussian, Binomial, e.t.c等类。但首先，使用下

2020-09-16 20:07:25 679

原创逻辑回归与Python代码实现

篇博文主要介绍逻辑回归（logistic regression），首先介绍相关的基础概念和原理，然后通过Python代码实现逻辑回归的二分类问题。特别强调，其中大多理论知识来源于《统计学习方法_李航》和斯坦福课程翻译笔记以及Coursera机器学习课程。本文来自于csdn，由火龙果软件Anna编辑、推荐。本篇博文的理论知识都来自于吴大大的Coursera机器学习课程，人家讲的深入浅出，我就不一一赘述，只是简单概括一下以及记一下自己的见解。1.逻辑回归假设函数逻辑回归一...

2020-09-16 19:58:34 726

原创模糊层次综合分析法Python实践及相关优缺点分析

模糊综合评价法（FCE，Fuzzy Comprehension Evaluation Method）是一种根据模糊数学隶属度理论把定性评价转化为定量评价的方法，它具有结果清晰，系统性强的特点，能较好地解决模糊的、难以量化的问题，适合各种非确定性问题的解决。FCE计算的前提条件之一是确定各个评价指标的权重，也就是权向量，它一般由决策者直接指定，但对于复杂的问题，例如评价指标很多并且相互之间存在影响关系，直接给出各个评价指标的权重比较困难，而这个问题正是AHP所擅长的。1. 模糊综合评价算法步骤

2020-09-12 14:40:26 4825

原创用Python写一个向数据库填充数据的小工具

一. 背景公司又要做一个新项目，是一个合作型项目，我们公司出web展示服务，合作伙伴线下提供展示数据。而且本次项目是数据统计展示为主要功能，并没有研发对应的数据接入接口，所有展示数据源均来自数据库查询，所以验证数据没有别的入口，只能通过在数据库写入数据来进行验证。二. 工具Python+mysql三.前期准备前置：当然是要先准备好测试方案和测试用例，在准备好这些后才能目标明确将要开发自动化小工具都要有哪些功能，避免走弯路3.1 跟开发沟通1）确认数据库连接方式，库名；

2020-09-12 14:38:35 835 1

原创 Python - 网易邮箱邮件阅读和删除辅助小脚本

简介：在Windows下的网易邮箱大师客户端中，阅读邮件时，可以使用快捷键Delete删除邮件，然后自动跳到下一封，如果再按一次Delete键，再跳到下一封。为了迅速的阅读邮件，同时删除没有必要的邮件，特地写了如下脚本，自用同时放出来共享。问题：1. 如上图，我积累太多未读邮件，原因是每天邮件太多，根本看不完，数量马上到上限了；2. 我想看到每封邮件；3. 邮件有时内容太过鸡肋，属于知晓型即可，看完即可删除；4. 大多数看完就要删除，一个个删除太麻烦；一句话，需要自动删除我看完之

2020-09-12 14:32:27 756 1

原创惊爆：当Python代码遇到zip解压炸弹，未做防护的你后悔莫及！

zip解压炸弹在文章的开头，让我们先来介绍一下zip解压炸弹是个什么妖怪！解压炸弹是指解压缩后能够产生巨大的数据量的可疑压缩文件！默认设置是文件扫描中产生500MB以上解压数据的是“解压炸弹”，实时监控中是100MB，邮件监控是30MB。这样的压缩文件解压缩可能对解压程序造成严重负担或崩溃（可能用来攻击压缩软件以及占用大量电脑资源，或者杀毒软件的解压缩功能）。解压炸弹内，还可能存在病毒，解压中会自启动窃取用户信息如何制作解压炸弹42.zip是很有名的zip炸弹。一个42KB的文件，...

2020-09-12 14:11:57 1213

原创【python】装饰器听了N次也没印象，读完这篇你就懂了

装饰器其实一直是我的一个"老大难"。这个知识点就放在那，但是拖延症。。。其实在平常写写脚本的过程中，这个知识点你可能用到不多但在面试的时候，这可是一个高频问题。一、什么是装饰器所谓的装饰器，其实就是通过装饰器函数，来修改原函数的一些功能，使得原函数不需要修改。这一句话理解起来可能没那么轻松，那先来看一个"傻瓜"函数。放心，绝对不是"Hello World"！def hello(): print("你好，装饰器")加python学习qq群：775690737 送pyth

2020-09-04 13:15:27 209

原创 Python大神用的贼溜，9个实用技巧分享给你

整理字符串输入整理用户输入的问题在编程过程中极为常见。通常情况下，将字符转换为小写或大写就够了，有时你可以使用正则表达式模块「Regex」完成这项工作。但是如果问题很复杂，可能有更好的方法来解决： user_input="Thisstringhassomewhitespaces..."character_map={ord():,ord():,ord():...

2020-09-04 13:06:57 167

原创使用 Python破解大众点评字体加密（SVG反扒）

前言大众点评拥有大量高质量评论信息、种草信息，同时也有非常严格的反扒机制。今天我们一起使用 Python破解大众点评字体加密，获取极具商业价值的信息。本文知识点：requests 的使用 xpath 的使用 svg 字体处理开发环境：解释器： Python 3.6.5 | Anaconda, Inc. 编辑器： pycharm 专业版目标地址http://www.dianping.com/shop/130096343/review_all代码导入工具

2020-09-04 13:04:34 804