python
文章平均质量分 72
Python玩家
这个作者很懒,什么都没留下…
展开
-
Python爬虫框架scrapy抓取旅行家网所有游记!从此出游不发愁!
Scrapy是一个用 Python 写的 Crawler Framework ,简单轻巧,并且非常方便。Scrapy 使用 Twisted 这个异步网络库来处理网络通讯,架构清晰,并且包含了各种中间件接口,可以灵活的完成各种需求。以上是网上摘录的一段介绍scrapy框架的文字,大过年的,懒癌高发期...安装scrapy,pip可以解决你的问题: pip install scrapy。这里插一句,如...原创 2018-02-22 15:43:54 · 739 阅读 · 1 评论 -
python实战,中文自然语言处理,应用jieba库来统计文本词频
模块介绍安装:pip install jieba 即可jieba库,主要用于中文文本内容的分词,它有3种分词方法:1. 精确模式, 试图将句子最精确地切开,适合文本分析:2. 全模式,把句子中所有的可以成词的词语都扫描出来,速度非常快,但是不能解决歧义;3. 搜索引擎模式,在精确模式的基础上,对长词再词切分,提高召回率,适合用于搜索引擎分词。我们用个小例子演示下...原创 2018-08-09 08:30:05 · 804 阅读 · 0 评论 -
python有哪些好玩的应用实现,用python爬虫做一个二维码生成器
python爬虫不止可以批量下载数据,还可以有很多有趣的应用,之前也发过很多,比如天气预报实时查询、cmd版的实时翻译、快速浏览论坛热门帖等等,这些都可以算是爬虫的另一个应用方向!今天给大家分享一个二维码生成器的爬虫版本实现!爬虫思路网上有很多的二维码自动生成的网页,它可以将文本、名片、wifi分享等等都以二维码的形式生成,只需要用带有识别二维码的app就可以识别,比如手机浏览器一...原创 2018-07-21 11:45:41 · 890 阅读 · 0 评论 -
python简单应用!用爬虫来采集天猫所有优惠券信息,写入本地文件
今天给大家分享一个小网站的数据采集,并写到excel里面!分析网站目标网站是“小咪购”,这里有天猫所有的含有购物券的商品信息,我们今天就来抓它吧!随便找一段文字,然后点击右键查看网页源代码,看看是否存在该文字,如果存在,那么这个网页就是静态网站了!很幸运,这个网站居然是静态的。那就简单了,不需要去分析ajax加载数据或者找json包了,直接获取网页源代码==>...原创 2018-07-24 15:35:17 · 8134 阅读 · 1 评论 -
Python学习,给自己的代码做个合集,定制自己的桌面软件!
在学习Python的过程中,经常会写很多的练手的脚本,那么有没有想过,写到一起呢?当然了,方法有很多,比如写到web网页中,做各种跳转、写到微信中,各种回复关键字调用,还有今天和大家分享的GUI图形用户界面!构建基本框架Python中有标准库tkinter,不需要安装即可使用!可以用来写简单的GUI程序,只需要短短几行代码就可以了,比如下面这个:具体教程大家可以去自行搜索,...原创 2018-07-10 22:04:39 · 1120 阅读 · 0 评论 -
Python学习,还在用正则或者bs4做爬虫吗?来试试css选择器吧
之前写的一些爬虫都是用的正则、bs4、xpath做为解析库来实现,如果你对web有所涉及,并且比较喜欢css选择器,那么就有一个更适合的解析库—— PyQuery。我们就用一个非常简单的小例子来看看css选择器做爬虫是怎么样的!安装直接pip安装即可:pip install pyquery安装完成后,运行 pip show pyquery,如果出现相关信息即为安装完成!如果pi...原创 2018-06-27 16:13:51 · 670 阅读 · 0 评论 -
Python学习,这些高阶函数和高级特性值得一学!
Python语言这么火,不论是对于刚开始学习的编程小白或者有接触过其他语言(c/c++/java等等)的同学来说,写代码的时候难免会受本身惯性思维或者其他语言的影响!解决问题的思路有的时候会比较单一,其实Python有很多灵活的解法,比如python的几个高阶函数或者特性!推导式列表推导式,使用一句表达式构造一个新列表,可包含过滤、转换等操作。语法:[exp for item in...原创 2018-06-20 17:07:27 · 245 阅读 · 0 评论 -
怎么让你的代码更Pythonic?光有技巧可不行,你还需要看这些……
写代码如同写文章,好的文章是反复修改出来的,代码也同样是反复的重构出来的。今天给大家分享下,怎么从一个编程学习者变为一个程序猿(程序媛)!起码不要让别人一看你的代码就知道你是个小菜鸟!我们通常写一个代码,必然会经过一个简单-难-简洁的过程,那么在重构的过程中需要注意哪些呢?1、 代码可以正常运行首先必然要保证,代码可以正常运行!不论你是直接按逻辑写下来还是函数式编程,...原创 2018-07-02 14:41:21 · 233 阅读 · 0 评论 -
Python学习汇总,做数据采集的一些小技巧,干货满满
学习Python也有一段时间了,在学习过程中不断的练习学到的各类知识,做的最多的还是爬虫,也就是简单的数据采集,有采集图片(这个最多了。。。),有下载电影的,也有学习相关的比如ppt模板的抓取,当然也写过类似收发邮件,自动登录论坛发帖,验证码相关操作等等!这些脚本有一个共性,都是和web相关的,总要用到获取链接的一些方法,在此总结一下,也分享给正在学习的小伙伴安装相关pytho...原创 2018-06-30 16:39:20 · 1635 阅读 · 0 评论 -
Python爬虫,用第三方库解决下载网页中文本的问题
还在辛辛苦苦的查找网页规律,写正则或者其他方式去匹配文本内容吗?还在纠结怎么去除小说网站的其他字符吗?先来看看下面2张图,都是某小说网站的小说内容怎么样,是不是很简洁!这就是今天给大家介绍的库,newspaper库!newspaperpython3.x安装: pip install newspaper3kpython2.7安装: pip install news...原创 2018-06-26 09:39:25 · 277 阅读 · 0 评论 -
神奇的Python,一行代码能做哪些炫酷的事情?
可能大家在网上已经看过类似的python单行代码可以实现的功能,比如:九九乘法表:print(’ ‘.join([’ ‘.join([‘%s*%s=%-2s’%(y,x,x*y)for y in range(1,x+1)]) for x in range(1,10)]))或者输出前100项斐波那契数列的值:print([x[0] for x in [ (a[i][0], a...转载 2018-06-23 20:23:04 · 9754 阅读 · 0 评论 -
新手学python,如何才能更快升职加薪,迎娶白富美,走上人生巅峰
最近在问答里发现好多咨询怎么学习python,或者学习难不难的问题,这里给大家提几点建议:了解自己的目标我开始学编程的时候,连基础的知识都不知道,小白的很!记得我开始看教材,就是输入“hello world”的时候,我也是一脸懵逼,啥是控制台啊,那一堆堆的英文字母是啥意思?打开cmd?cmd是什么。。。idle是什么,编辑器?解释器?变量?赋值?我了个去。。。所以在你准备进入程...原创 2018-05-31 22:06:38 · 2817 阅读 · 2 评论 -
Python学习,多进程了解一下!学爬虫不会用多进程能行吗?
python中的多线程其实并不是真正的多线程,如果想要充分地使用多核CPU的资源,在python中大部分情况需要使用多进程。Python提供了非常好用的多进程包multiprocessing,只需要定义一个函数,Python会完成其他所有事情。借助这个包,可以轻松完成从单进程到 并发执行的转换本来想写多线程的,但是演示效果并不是很好,就改成进程了。其实多进程没有我们想象的那么难...原创 2018-08-01 14:31:36 · 349 阅读 · 1 评论