![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python爬虫
文章平均质量分 67
Q2605894893
Python学习交流群227435450
展开
-
十五道Python小案例,学会这些,Python基础已过关!
十五道Python的小案例,不知道各位都会了多少!一、猜数字1到4能组成多少个互不相同且不重复数字的三位数?分别是?分析:可填在百位、十位、个位的数字都是1、2、3、4。组成所有的排列后再去 掉不满足条件的排列。程序源代码:二、公司发放的奖金的计算分析:请利用数轴来分界,定位。注意定义时需把奖金定义成长整型。程序源代码:三、一个整数加上100后是一个完全平方数,再加168又是一个完全平方数,请问该...转载 2018-07-08 07:35:57 · 1398 阅读 · 0 评论 -
Python学习小结--列表
列表列表是什么列表是由一系列按特定顺序排列的元素组成,其中可以包含数字,字符串,元组,字典等多种类型的数据。在python中,由[]表示列表,并用逗号分隔其中的元素。示例如下:```pythonbicycles = ['trek','cannondale','redline']print(bicycles) #-->['trek','cannondale','redline']`...原创 2018-07-08 07:38:48 · 285 阅读 · 0 评论 -
小伙用Python 分析了 20 万场吃鸡数据,网友:原来吃鸡这么简单
最近老板爱上了吃鸡(手游:全军出击),经常拉着我们开黑,只能放弃午休的时间,陪老板在沙漠里奔波。 上周在在微信游戏频道看战绩的时候突发奇想,是不是可以通过这个方式抓取到很多战斗数据,然后分析看看有什么规律。首先,神枪镇楼第一步、分析数据接口使用Charles抓包https加密流量的处理经过研究,可以通过在手机和电脑都安装Charles根证书的方式来实现对Https流量的分析数据接口接下来就根据这些...转载 2018-07-10 08:38:45 · 1480 阅读 · 0 评论 -
想学软件编程,前端和python选哪个比较好?
个人建议你学习Python,首先Python对小白比较友好,你在学习的过程中也可以看看自己喜不喜欢编程,如果不适合可以及早抽身,如果喜欢,以后的工作也是这个,何乐而不为呢?其次Python的未来前景也很好,它能为你带来一些优势。现在的前端不能和以前比,不是以前前端会个HTML/CSS/JS/JQ 就能找到工作的时候,现在前端如果说不会框架,不会webpack等打包工具,真的很难找到一份比较满意...原创 2018-07-17 10:47:24 · 10169 阅读 · 0 评论 -
自从Python数据可视化出了这个模块后,数据可视化就再简单不过了
其实利用 Python 可视化数据并不是很麻烦,在Python中有一个对于数据可视化极其强大的模块:pyecharts安装pyecharts模块也非常的简单:pip install pyecharts柱状图是不是很简单!但是仅仅只是简单柱状图就完事了么? 不,咱们还有3D柱状图是不是效果十分的明显,而且这样的效果图也让人感觉很美观。箱形图散点图3D散点图地图地理坐标图人物关系图饼状图词云图你是不是...转载 2018-07-11 13:45:10 · 1397 阅读 · 0 评论 -
分分钟几万上下!用Python爬取包图网视频(附代码)切勿商用!
分析网页数据结构目标抓取全站视频数据保存在本地,并以网站视频名命名视频文件。 经分析我们可以发现总站数据我们可以从这四这选项下手分析网页数据格式 网页数据为静态抓取下一页链接 代码 来看看效果: 刚整理了一套2018最新的0基础入门和进阶教程,无私分享,加python学习q-u-n :二二七,四...转载 2018-07-17 16:01:56 · 3776 阅读 · 0 评论 -
超详细的Python中异步协程的使用方法介绍
1. 前言在执行一些 IO 密集型任务的时候,程序常常会因为等待 IO 而阻塞。比如在网络爬虫中,如果我们使用 requests 库来进行请求的话,如果网站响应速度过慢,程序一直在等待网站响应,最后导致其爬取效率是非常非常低的。为了解决这类问题,本文就来探讨一下 Python 中异步协程来加速的方法,此种方法对于 IO 密集型任务非常有效。如将其应用到网络爬虫中,爬取效率甚至可以成百倍地提...转载 2018-07-23 14:04:27 · 3375 阅读 · 0 评论 -
Python中if __name__ == '__main__':的作用和原理
if __name__ == '__main__':的作用一个python文件通常有两种使用方法,第一是作为脚本直接执行,第二是 import 到其他的 python 脚本中被调用(模块重用)执行。因此 if __name__ == 'main': 的作用就是控制这两种情况执行代码的过程,在 if __name__ == 'main': 下的代码只有在第一种情况下(即文件作为脚本直接执行)才会被执...转载 2018-07-12 09:01:20 · 2685 阅读 · 0 评论 -
Python入门到入土!史上最详细的函数教程!入门真的分分钟!
函数代码块以 def 关键词开头,后接函数标识符名称和圆括号()。 任何传入参数和自变量必须放在圆括号中间。圆括号之间可以用于定义参数。 函数的第一行语句可以选择性地使用文档字符串—用于存放函数说明。 函数内容以冒号起始,并且缩进。 pass 关键字,代表什么都不干 exit(num) 强行退出(num:是一个数字,显示为退出码) return [表达式] 结束函数,选择性地...转载 2018-07-18 11:19:28 · 561 阅读 · 0 评论 -
Python3爬虫教程基础篇之一:什么是爬虫
爬虫的定义爬虫,全名为网络爬虫(英文:web crawler),是一种请求网络资源并提取保存的计算机自动化程序。最典型的爬虫是百度爬虫。它通过第一时间收集互联网的最新资源并建立索引,使得用户可以在百度(www.baidu.com)中快速地搜索互联网资源。爬虫的基本流程一:发送 HTTP 请求(Request)通过 Python 库向目标站点发送 HTTP 请求,等待服务器响应。...原创 2018-07-24 07:47:46 · 536 阅读 · 0 评论 -
Python3爬虫教程基础篇之二:网络库Reqeusts详解
Requests 是什么Requests 是 Kenneth Reitz 编写的一个优雅、易用的 HTTP 库。Requests 的底层基于 Python 官方库 urllib,但 Requets 良好的 API 设计更适合人类使用。Requests 的核心类Requests 最核心的两个类,一个是 request(对 HTTP 请求的分装),另一个是 response(对 HTTP ...原创 2018-07-24 08:30:31 · 520 阅读 · 0 评论 -
Python|5个简单趣题熟悉基础语法
1 九九乘法表print("........ Multiplication Table")# Display the number titleprint(" |", end = '')for j in range(1, 10):....print(" ", j, end = '')print() # Jump to the new lineprint("----------------------...转载 2018-07-06 10:01:40 · 594 阅读 · 0 评论 -
女神把微信消息撤回后好慌,Python几十行代码轻松查看撤回消息!
曾几何时Python对我说:"时日已不多,速度学Python"。于是乎上天让我看到了一个基于python的微信开源库:itchat,玩的不亦乐乎,接着我做了一个程序,可以把微信好友撤回的信息收集起来,然后会自动发送到我的个人微信的文件传输助手。代码了解一下:将接收到的消息存放在字典中,当接收到新消息时对字典中超时的消息进行清理 | 不接受不具有撤回功能的信息。收到note通知类消息,判断是不是撤回...转载 2018-07-13 08:28:23 · 857 阅读 · 0 评论 -
Python找工作并不容易,老表面试了很多企业,总结了些宝贵经验!
一周转眼即逝,面试了7家需要Python程序员的企业,收到了5份Offer,整体来说还不错,感触良多。现在就把这一周的面试经验和大家分享一下,希望为学习Python找工作的小伙伴们提供些许帮助。1.项目经验2.项目经验和招聘职位相符说到底还是看你项目做得是否够多,其余的都只不过是锦上添花。介绍自己目前针对Python,人才最为紧缺的当然是人工智能,至于其它的热度较高的当属web开发与爬虫工程师。二...转载 2018-07-13 10:14:11 · 6046 阅读 · 3 评论 -
python如何入门?
Python 语言应该如何入门,记得我几年前也碰到过这样的问题,当时网上随便搜了一下饥不择食的找了一些书开始啃起来,结果发现很疑惑,感觉吃力,走了很多弯路。若不得法还会降低初学者的兴趣,现在我就说说自己对Python 入门的理解.学Python和学其他的语言其实是相同的,我给新同事讲课的时候就说学编程和练武功其实是很相似,入门大致这样几步:找本靠谱的书找个靠谱的师傅找一个地方开始练习学语言也是的:...原创 2018-07-07 08:25:25 · 269 阅读 · 0 评论 -
一行代码结果叹为观止,能做到这么极致的也只有python了
Python 这门语言非常的有趣,不仅可以做高大上的人工智能、大数据、机器学习。还可以用来做 Web、爬虫。还有其它很多的应用。今天我就给大家展示下一行 Python 代码都可以做些什么。一行打印迷宫print(''.join(__import__('random').choice('\u2571\u2572') for i in range(50*24))) 一行打印桃心...转载 2018-07-20 09:45:12 · 432 阅读 · 0 评论 -
Python面向对象并不难,你只需要记住这两个概念!
如果你之前没接触过其它面向对象的语言,并且正在学习 Python 的面向对象,而被面向对象的一堆概念弄的一头雾水,感到困惑。那么这篇文章很适合你。一、前言如果不想听我“扯淡”的,可以直接略过【前言】这一节(就是这么任性)。对于初学者, 往往会在学习编程语言的过程中慢慢失去耐心,特别是当学的越来越多,知识点越来越杂的时候,会觉得学起来越来越难,顿时觉得那些说 Python 语言很简单...原创 2018-07-20 10:24:50 · 4122 阅读 · 0 评论 -
python3.5|小白入门使用频率较高及较实用基础语法与简单实例
先了解下python解释器的工作方式:1 默认方式是按行处理,遇到换行时就认为语句(或表达式)结束,就会去执行这个语句(或求值表达式);2 如果在读入一行的最后遇到反斜杠,解释器就丢掉反斜杠及随后的换行符,把下一行的内容看作是本行内容的继续(续行);3 如果被读入行中存在尚未配对的括号,同样认为下一行是本行的继续;4 以换行结尾的一系列字符构成一个物理行,解释器根据上面规则把连续...转载 2018-07-29 12:58:34 · 377 阅读 · 0 评论 -
博导花了十天整理出来所有的Python库,只希望我学好后高薪就业!
总监的辛苦成果,不能辜负了!我们直接开始主题,小伙伴们需要资料的话可以私信我回复01,可以获得大量PDF书籍和视频! Python常用的库简单介绍一下fuzzywuzzy ,字符串模糊匹配。 esmre ,正则表达式的加速器。 colorama 主要用来给文本添加各种颜色,并且非常简单易用。 Prettytable 主要用于在终端或浏览器端构建格式化的输出。...转载 2018-07-29 13:29:33 · 4534 阅读 · 5 评论 -
真详细,五年Python大咖花了一周归纳出来的python基础知识实例!
1、在Python 语言中,对象是通过引用传递的。 2、多元赋值,其实就是元组赋值 3、编写模块 4、时刻记住一个事实 5、动态类型 6、变量在内存中是通过引用计数来跟踪管理的7、异常处理 8、所有的Python 对像都拥有三个特性 9、布尔值 10、对象身份比较 11、c...转载 2018-07-21 11:04:45 · 460 阅读 · 0 评论 -
花了三个月终于把所有的Python库全部整理了!祝你早日拿到高薪!
库名称简介Chardet字符编码探测器,可以自动检测文本、网页、xml的编码。colorama主要用来给文本添加各种颜色,并且非常简单易用。Prettytable主要用于在终端或浏览器端构建格式化的输出。difflib,[Python]标准库,计算文本差异Levenshtein,快速计算字符串相似度。fuzzywuzzy,字符串模糊匹配。esmre,正则表达式的加速器。...转载 2018-07-29 18:37:53 · 11999 阅读 · 10 评论 -
你还在为Python中文乱码而感到烦恼?今天老司机给你讲讲!
有没有遇到过这样的问题,读取文件被提示“UnicodeDecodeError”、爬取网页得到一堆乱码,其实这些都是编码惹的祸,如果不能真正理解编码的问题所在,就像开车没有带导航,游泳没有带有度数的眼镜。如果你正在为此而 头疼,不妨来看看这篇文章,里面或许有你要的答案。一些基本的编码知识1).常见的编码格式ASCII/ANSI:ASCII可以简单理解为用于表述英文文字的编码。A...转载 2018-07-21 14:02:13 · 684 阅读 · 0 评论 -
Python开发工程师告诉你正确如何上手数据可视化,赶紧围观!
数据可视化1. 安装 Matplotlib在Linux系统中安装matplotlibUbuntu17.10内置Python2版本和Python3版本,可以采用下面的方式安装Matplotlib。$ sudo apt-get install python3-matplotlib如果你使用的是Python 2.7,执行如下命令:$ sudo apt-get install ...转载 2018-07-22 09:40:46 · 469 阅读 · 0 评论 -
python基础笔记
python简介python是一种面向对象的解释型计算机程序设计语言,python的是吉多·范罗苏姆(Guido van Rossum)于1989年发明任何语言都有优缺点,python也不例外,python的优点是简单易懂、可移植性、可扩展性、可嵌入性,python的缺点,一就是运行速度慢,因为python是解释型语言,代码在执行过程中会一行一行翻译成cpu能理解的机器码;二是代码不能加密...原创 2018-07-30 14:15:25 · 257 阅读 · 0 评论 -
刚系统学习完Python,顺便分析一波我不是药神登顶原因来庆祝下!
《我不是药神》 2018 年 7 月 6 日在国内上映的喜剧电影,火的不要不要的,今天小编也跟着大佬们来一起用Python分析分析药神登顶原因 这部电影在还没有上映的时候就已经有大规模的点映积攒了非常高的人气口碑, 到 7 月 9 日凌晨在豆瓣、猫眼、淘票票已经达到了最高9.7,最低9.0的惊人数据!我为什么要说拿这几个网站来说事呢,因为我们今天近 5000+ 条评论数据就是从这里爬取...转载 2018-07-27 09:42:54 · 569 阅读 · 0 评论 -
一篇文章搞定Python全部基础知识!(文章有福利)
前言:1、Python软件安装第一章、字符串及数字变量1、变量要点提炼:Python变量为强类型动态类型。换言之,变量很任性,你给他int,他就是整型,你给他字符串,他就是字符串!2、数字型数据要点提炼:这下面那张图就行,至于其它的,就是文本转字数(int),数字转文本(Str) 3、字符串要点提炼:字符串关键点就是转义字符""的应用,以及设置文件...转载 2018-08-04 13:26:46 · 1085 阅读 · 0 评论 -
昨天教我利用Python来爬取自己想要的数据信息,上手贼简单!
说明导师给我布置了一个任务,对一个网站的城市做一些统计,将这个网站上的城市的经纬度信息提取出,然后绘制在百度地图上。要是为数不多的城市还好,但对于这种存在N个城市的 ,且这些城市的经纬度信息在第三级网站上才能找到,这样的话人工去完成又枯燥又耗时。 这个网站是维基百科关于自行车公共站点的统计介绍这里可以看到城市这一列是有超链接的,通过点击这个城市的超链接,进入到第二级网...转载 2018-07-31 09:30:03 · 2587 阅读 · 0 评论 -
如何在Pycharm中使用GitHub,一文带你深入
Pycharm是当前进行Python开发,尤其是Django开发最好的IDE,GitHub是程序员的圣地,几乎人人都在用,就不详细介绍两者了。本文假设你对Pycharm和Github都有一定的了解,并且希望在Pycharm下直接使用Github的版本控制功能。废话不多说,下面图文详解,全是干货。环境:Pycharm + git2.8 + github账户 + windows7/10...转载 2018-07-31 10:47:03 · 2336 阅读 · 3 评论 -
用 Python 抓网页?你想问的都帮答好了,你还有不懂的吗?
近年来,随着大数据、人工智能、机器学习等技术的兴起,Python 语言也越来越为人们所喜爱。但早在这些技术普及之前,Python 就一直担负着一个重要的工作:自动化抓取网页内容。举个栗子,飞机票的价格每时每刻都在变化,甚至有些 app,你搜索的越多,价格就越贵。那不搜又不行啊,怎么样才能知道确切的价格呢?这就是 Python 大显身手的时候啦~ 我们可以用Python写一段程序,...转载 2018-08-05 12:00:52 · 339 阅读 · 0 评论 -
从零基础到精通的Python学习路线(附教程)
首先,我们先普及一下编程语言的基础知识。其实无论用任何编程语言来开发程序,都是为了让计算机干活,比如编写一篇文章,下载一首MP3等,而计算机干活的CPU只认识机器的指令,所以,尽管不同的编程语言差异极大,最后都得“翻译”成CPU可以执行的机器指令。理论上任何语言干任何事情几乎都可以, 但是主要干什么那就不一样了。Python是什么?简单来说,Python就是一种编程语言。由于Pytho...转载 2018-08-05 16:53:38 · 14159 阅读 · 4 评论 -
零基础入门Django应该怎么学?这是一个完整的图文入门教程
本文面向:有Python基础,刚接触web框架的Django初学者。环境:windows7 python3.5.1 pycharm Django 1.10版 pip3一、Django简介百度百科:一个开放源代码的Web框架,由Python语言编写......重点:一个大而全的框架,啥都替你考虑好了。1. web框架介绍具体介绍Django之前,必须先介绍WEB框架的概念。...转载 2018-07-28 11:51:35 · 2573 阅读 · 1 评论 -
【Python数据分析基础】: 数据缺失值处理
圣人曾说过:数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限而已。再好的模型,如果没有好的数据和特征质量,那训练出来的效果也不会有所提高。数据质量对于数据分析而言是至关重要的,有时候它的意义会在某种程度上会胜过模型算法。本篇开始分享如何使用Python进行数据分析,主要侧重介绍一些分析的方法和技巧,而对于pandas和numpy等Pyhon计算包的使用会在问题中提及,但不详细介...转载 2018-08-01 11:12:59 · 21034 阅读 · 10 评论 -
Python|读、写Excel文件(三种模块三种方式)
python读写excel的方式有很多,不同的模块在读写的讲法上稍有区别:用xlrd和xlwt进行excel读写; 用openpyxl进行excel读写; 用pandas进行excel读写;为了方便演示,我这里新建了一个data.xlsx文件,第一个工作表sheet1区域“A1:F5”的内容如下,用于测试读excel的代码: 1 利用xlrd和xlwt进行excel读写(xl...转载 2018-08-01 11:17:58 · 1049 阅读 · 0 评论 -
零基础入门Python爬虫不知道怎么学?这是入门的完整教程
这是一个适用于小白的Python爬虫免费教学课程,只有7节,让零基础的你初步了解爬虫,跟着课程内容能自己爬取资源。看着文章,打开电脑动手实践,平均45分钟就能学完一节,如果你愿意,今天内你就可以迈入爬虫的大门啦~话不多说,正式开始我们的第一节课《Python环境的安装》吧同学们开课啦,看黑板,都看黑板~1. 安装Anaconda在我们的教学中,我们使用的版本是Python3,至于为...转载 2018-08-01 13:26:15 · 759 阅读 · 0 评论 -
一个小白的转行自学Python的经历
想动手写写自己的经历,希望对更多的像我一样想转行自学的年轻人的一些帮助。和一些鼓励吧。1. 为什么想换工作我的大概情况是,本科专业建筑环境与设备工程,16年7月毕业,同学很多去了工地。我的话,受不了工地居无定所,去了制造业。制造业确实环境不好,虽然我的岗位是研发工程师,但是经常要在车间干体力活车间,累的满头大汗,跟车间的大妈大叔撕逼。不管是自然环境还是人文环境,只能...原创 2018-08-01 14:13:05 · 30561 阅读 · 7 评论 -
使用Python这么多年,才发现Python还有这些实用的功能和特点
在使用Python多年以后,我偶然发现了一些我们过去不知道的功能和特性。一些可以说是非常有用,但却没有充分利用。考虑到这一点,我编辑了一些你应该了解的Python功能特色。带任意数量参数的函数你可能已经知道了Python允许你定义可选参数。但还有一个方法,可以定义函数任意数量的参数。首先,看下面是一个只定义可选参数的例子现在,让我们看看怎么定义一个可以接受任意参数的函数。...转载 2018-08-06 13:16:03 · 708 阅读 · 0 评论 -
学习Python时,最容易遇到的13种错误,希望可以让你避开这些坑
Python 以其简单易懂的语法格式与其它语言形成鲜明对比,初学者遇到最多的问题就是不按照 Python 的规则来写即便是有编程经验的程序员,也容易按照固有的思维和语法格式来写 Python 代码希望可以让你避开这些坑 1.忘记写冒号在 if、elif、else、for、while、class、def 语句后面忘记添加 “:” 导致:SyntaxE...转载 2018-08-10 17:03:43 · 455 阅读 · 0 评论 -
小白们不要慌,这里为你提供免费靠谱的python学习流程图
小编了解到对于刚开始接触Python的小伙伴来说,没有思路方法,不知从何开始学习,把软件环境安装好后就不知所措了!接下来小编给大家分享下多位大咖倾力打造的python系统学习流程,耗时一个多月才设计完的!所以小白们领了资料就可以更好的结合下文方式图学习了呢。Python基础部分:“万丈高楼平地起!”不管你做什么都一样,何况编程;或许初学的时候很是枯燥乏味,甚至想要放弃,但是这些都是你之后的...转载 2018-08-14 10:35:08 · 410 阅读 · 0 评论 -
Python做web开发,推荐几个能立马上手的小项目
做web开发,什么语言最好?所有的编程语言都能进行开发web,java就不用多说了,PHP从应用范围到岗位需求来说都是很强的,Python+Flask的框架也让人非常惊艳。其实没有什么最好,适合的才是最好;不过—— Python这门优美的语言是非常适合web开发的,基于Python的Django框架简单便捷且很强大。那么作为新手该如何上手这门语言?一切不敲代码的学编程手段都是扯...转载 2018-08-02 07:13:06 · 51728 阅读 · 2 评论 -
「python学习——小白篇」python函数中不定长参数的写法
那么作为新手该如何上手这门语言?一切不敲代码的学编程手段都是扯淡先来给大家来一个福利吧!python语法入门视频免费共享出来加q-u-n--227+435+450获取 ...原创 2018-08-02 09:18:10 · 287 阅读 · 0 评论