学Python的阿勇-CSDN博客

学Python的阿勇

码龄5年

54,790

总访问量
23

原创
2,307,326

排名
205

粉丝

个人简介：1、熟练掌握爬虫requests. scrapy. scrapy-redis爬虫流程,掌握正则表达式、xpath提取网页资源方法,熟练构建分布式爬虫, Linux下的定时启动爬虫 2、熟悉各个网站常见反爬策略,能根据网页分析出常见反爬手段 3、熟悉前游代码,可以分析目标网站真实request地址和response内容,使用代理试水网站反爬由级别,检测是否有投毒数据。 4、针对不同反爬虫级别网站,做出具体Scrapy部署,使用工具包括不局限于:伪造User-Agent,批量P代理池,设置并发数量及下载速度 5、使用logging模块编写监控程序进行爬虫监控,并根据日期定向输出日志到og文件

IP 属地：湖南省

查看详细资料

个人成就

获得125次点赞
内容获得100次评论
获得868次收藏

TA的专栏

python开发
1篇

兴趣领域设置

大数据

oraclemysql
前端

javascript
人工智能

pytorch
微软技术

sqlc#

创作活动更多

仓颉编程语言体验有奖征文

仓颉编程语言官网已上线，提供版本下载、在线运行、文档体验等功能。为鼓励更多开发者探索仓颉编程语言，现诚邀各位开发者通过官网在线体验/下载使用，参与仓颉体验有奖征文活动。

368人参与去创作

搜TA的内容

Python爬虫常用的三大库（Request的介绍）

Request、Beautiful Soup、PyQuery的用法Request的介绍在入门教程中我们介绍了urllib库和urllib2的用法，同时我们了解一些爬虫的基础以及对爬虫有了基本的了解。其实在我们生产环境中，使用Request库更加方便与实用，同时我们这需要短短的几行代码就能解决大量的事情。一、Request的安装在Python简介与环境配置中我们已经安装了PIP管理工具，如果你是2.x版本，也可以使用easy_install来安装Request库，他可以帮助我们很容易的安装三方库：.

发布博客 2020.05.08 ·

目前最受欢迎的12个Python开源框架，你有用过吗？

今天给大家带来了12个在GitHub等开源网站中最受欢迎的Python开源框架。如果你正在学习python，那么这12个开源框架，千万别错过，这些框架包括事件I/O，OLAP，Web开发，高性能网络通信，测试，爬虫等。虽说不上是全都有，但也足够满足你了。1.DjangoDjango是一款用Python语言写的免费开源的 Python Web应用开发框架，它遵循模型 -视图-控制器(MVC)的...

发布博客 2020.05.07 ·

21863 阅读 ·

Python中通常不应该犯的7个错误

介绍Python是一门相对容易掌握的语言，但是由于假设了很多事情，因此犯错误非常容易。此外，这些错误可能会在很长一段时间内被忽略。在我其他前四个菜鸟Python错误之前。避免这些新手Python错误他们可能会工作，但可能会更好。今天，我将分享更多在Python 3.8中容易犯的错误。№1：+ =在许多情况下，我当然会犯的一个错误是获取+ =操作数。假设必须用两个独立的操作数来...

发布博客 2020.05.06 ·

五分钟让你学会Python网络爬虫

但不管怎样，爬虫技术是无罪的，还是值得我们开发人员去学习了解一下的。在学习之前，我们还是要先了解一下相关概念。什么是爬虫网络爬虫：又被称为网页蜘蛛，网络机器人，是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。大数据时代，要进行数据分析，首先要有数据源，可数据源从哪里来，花钱买，没预算，只能从其它网站就行抓取。细分下来，业内分为两类：爬虫和反爬虫。反爬虫：顾名思义，就是防止你来...

发布博客 2020.04.28 ·

干货——Python 爬虫：8 个常用的爬虫技巧总结！

大家好，欢迎大家阅读篇文章，Python是当前火爆的编程语言之一；从后台开发到自动化，从数据分析到人工智能，都有Python的身影。我们掌握Python，就有了进入这些行业的可能。1、基本抓取网页get方法import urllib2url "http://www.baidu.com"respons = urllib2.urlopen(url)print response....

发布博客 2020.04.27 ·

python如何连接mysql

Python DB-API使用流程:引入API模块获取与数据库的连接执行SQL语句和存储过程关闭数据库连接一、接口包安装1. windows环境下载地址：https://pypi.python.org/pypi/MySQL-python/1.2.5 比如：MySQL-python-1.2.5.win32-py2.7.exe 安装完毕之后查看接口目录...

发布博客 2020.04.23 ·

这5种动态炫酷图，用Python可以这样画啊！

数据可以帮助我们描述这个世界、阐释自己的想法和展示自己的成果，但如果只有单调乏味的文本和数字，我们却往往能难抓住观众的眼球。而很多时候，一张漂亮的可视化图表就足以胜过千言万语。本文将介绍5 种基于 Plotly 的可视化方法，你会发现，原来可视化不仅可用直方图和箱形图，还能做得如此动态好看甚至可交互。对数据科学家来说，讲故事是一个至关重要的技能。为了表达我们的思想并且说服别人，我们需要有...

发布博客 2020.04.22 ·

Python现在这么难找工作，属于python的热潮过去了吗？

Python 未来会被取代吗？开发者社区花了几十年的时间才领略到 Python 迷人之处。但自 2010 年初以来，Python 就一直在蓬勃发展，并最终在受欢迎程度上超越了 C、C#、Java 和 JavaScript。但这种趋势还会持续到什么时候呢？什么时候 Python 最终会被其他编程语言所取代？为什么会被取代？预测这个时间点到底什么时候到来可能会像科幻小说一样充满各种可能性。本文将...

发布博客 2020.04.21 ·

python百例 --- ip地址与10进制的转换

1 - ip地址与10进制数的转换当我们ping数字2130706433时，从127.0.0.1返回结果。IP地址是个32位的二进制数，表示成点分10进制，只是为了方便，如果把这32为二进制数转换成10进制数，计算机也是认识的。2130706433（10进制）== 1111111000000000000000000000001（二进制）为了更好的学习使用Python，那就编写一个将10进制...

发布博客 2020.04.20 ·

女朋友总是天天加班，用Python写个定位脚本，直接抓到现场

近期，小伙女朋友一反常态，经常晚回家，就说有事，其他什么也不肯说；于是他找上我，问我在他女朋友在外面那段时间能不能定位一下她在哪个地方；这必须得安排上啊，下面看具体操作方式：需要Python学习资料可以加群1084028245，群里资料免费赠予大家！（书籍太多，我就随便发一点咯！）第一步：IP地址IP地址：IP地址分为局域网和广域网两种，它在全球范围内实现了不同硬件结构、不同操...

发布博客 2020.04.18 ·

阿里巴巴Python面试题之 - 月薪3万不是梦

概念理解类题目：1.请说一下你对迭代器和生成器的区别？（1）迭代器是一个更抽象的概念，任何对象，如果它的类有next方法和iter方法返回自己本身。对于string、list、dict、tuple等这类容器对象，使用for循环遍历是很方便的。在后台for语句对容器对象调用iter()函数，iter()是python的内置函数。iter()会返回一个定义了next()方法的迭代器对象，它在容器中...

发布博客 2020.04.17 ·

最新Python面试题

Python是目前编程领域最受欢迎的语言。在本文中，我将总结Python面试中最常见的50个问题。每道题都提供参考答案，希望能够帮助你在求职面试中脱颖而出，找到一份高薪工作。这些面试题涉及Python基础知识、Python编程、数据分析以及Python函数库等多个方面。Q1、Python中的列表和元组有什么区别？Q2、Python的主要功能是什么？Python是一种解释型语言。与C语言等语言...

发布博客 2020.04.16 ·

利用python简单爬虫爬取80s电影网所有电影

1.需求分析：1、分析个锤子2、需求：拿到电影名、电影封面图片、演员、类型、地区、语言、导演、上映日期、片长、评分、电影简介、下载链接等2.源码实现：3.关于代码：4.程序效果：5.数据处理：1.新建excel，把txt内容全选粘贴到xlsx中：2.选中第一列–》点击数据-》点击分列-》选择分隔符号| -》完成3.数据去重：选择第一列-》点击删除重复...

发布博客 2020.04.15 ·

华为、平安、阿里巴巴、30道Python面试题总结（附答案）

Python是目前编程领域最受欢迎的语言。在本文中，我将总结华为、阿里巴巴等互联网公司Python面试中最常见的30个问题。每道题都提供参考答案，希望能够帮助你在求职面试中脱颖而出，找到一份高薪工作。这些面试题涉及Python基础知识、Python编程、数据分析以及Python函数库等多个方面。Q1、Python中的列表和元组有什么区别？Q2、Python的主要功能是什么？Python是一种...

发布博客 2020.04.14 ·

如何用三行Python代码生成图片验证码？

使用Python的童鞋一定很多，今天给大家分享个小技巧。关于图片验证码，在我们日常使用的产品或服务中，经常可以看到。那么使用Python,如何用Python实现生成图片验证码呢?1、安装验证码生成第三方库2、编写生成验证码的程序程序运行后，就可以在当前目标下，看到已经生成好的验证码了。除了我们日常的网站或app中，可以使用到图片验证码，我们还可以利用这项技术，生成大量的图片验证码，...

发布博客 2020.04.11 ·

5款Web开发最佳的Python框架

Python是跻身于当代IT世界最流行和代码最高效的编程语言之一。Python框架能帮助你快速启动Web应用。1.CubicWebCubicWeb的最重要的功能是其代码的可重用性，由一个个代码单元组成。它灵活又强大，并且还有一些特别的功能，包括RQL查询语言和支持有效编码的语义视图功能。这是语义Web应用程序的最佳解决方案，并且提供理想的环境。作为一个程序员，我们必须了解Python这门编程...

发布博客 2020.04.08 ·

如何用三行Python代码生成图片验证码？

图片验证码，在我们日常使用的产品或服务中经常可以看到。那么，你知道如何用Python实现生成图片验证码吗？1、安装验证码生成第三方库2、编写生成验证码的程序程序运行后，就可以在当前目标下看到已经生成好的验证码了。除了我们日常的网站或APP中可以使用到图片验证码，我们还可以利用这项技术生成大量的图片验证码，作为机器学习模型的训练和模型的测试数据。好了以上就是今天的知识，希望大家记住，...

发布博客 2020.04.07 ·

如何入门Python与机器学习

编者按：本书节选自图书《Python与机器学习实战》，Python本身带有许多机器学习的第三方库，但本书在绝大多数情况下只会用到Numpy这个基础的科学计算库来进行算法代码的实现。这样做的目的是希望读者能够从实现的过程中更好地理解机器学习算法的细节，以及了解Numpy的各种应用。不过作为补充，本书会在适当的时候应用scikit-learn这个成熟的第三方库中的模型。“机器学习”在最近虽可能不至于...

发布博客 2020.04.03 ·

学习Python编程的11个资源

用 Python 写代码并不难，事实上，它一直以来都是被声称为最容易学习的编程语言。如果你正打算学习 web 开发，Python 是一个不错的选择，甚至你想学游戏开发也可以从 Python 开始，因为用 Python 来构建游戏的资源实在是太多了。这是一种快速学习语言的一种方法。许多程序员使用 Python 作为初学语言，然后接着是像 PHP 和 Ruby 这样的语言。它也是2014最热门的...

发布博客 2020.03.31 ·

谁说理工男不懂浪漫？他用Python代码敲出了樱花开放

春天，一个诗情画意的季节。尽管新冠疫情的阴霾还未消散，脸上的口罩也未摘下，但武汉大学的樱花如约盛放，树连树，花连花，置身其间，如梦如画。作为具有地标意义的武大樱花，虽然在今年疫情防控期间暂停对外开放，但坐在家中的你，照样可以欣赏到樱花争相盛开的美景——近日，武汉大学信息管理与信息系统大二学生朱永春，用Python代码敲出了樱花开放。不信的话，那就看看这个吧！怎么样？厉害吧！这段由Pyth...

发布博客 2020.03.30 ·