Python爬虫相关包的知识
关注
分享
扫一扫
文章平均质量分 85
sherri_du
这个作者很懒，什么都没留下…
展开
-
Python爬虫利器二之Beautiful Soup的用法【转过来，乱了，从原网址看】
Python爬虫利器二之Beautiful Soup的用法Python崔庆才 1年前 (2015-03-10) 97560℃41评论上一节我们介绍了正则表达式，它的内容其实还是蛮多的，如果一个正则匹配稍有差池，那可能程序就处在永久的循环之中，而且有的小伙伴们也对写正则表达式的写法用得不熟练，没关系，我们还有一个更强大的工具，叫Beautiful Soup，有了它我们可以很方转载 2016-04-20 10:14:23 · 1442 阅读 · 0 评论 -
Python 解析配置模块之ConfigParser详解
Python 解析配置模块之ConfigParser详解http://www.pythontab.com/html/2014/pythonhexinbiancheng_1120/919.html1 基本的读取配置文件-read(filename) 直接读取ini文件内容-sections() 得到所有的section，并以列表的形式返回-options(section) 得到转载 2016-04-19 16:29:04 · 431 阅读 · 0 评论 -
python中threading模块详解
python中threading模块详解（一）2013-01-30 13:10:24http://blog.chinaunix.net/uid-27571599-id-3484048.html分类： Python/Ruby threading提供了一个比thread模块更高层的API来提供线程的并发性。这些线程并发运行并共享内存。 下面转载 2016-04-19 15:00:18 · 1136 阅读 · 0 评论 -
简单的爬行--静态网页爬虫+下一篇实例
1、有些网页需要用户登录才能访问，需要添加cookie的处理2、有些网页需要代理才能访问3、有些网页是使用HTTPS加密访问的4、有些网页的URL存在相互自动的跳转关系#coding=utf-8import urllib2url='https://www.baidu.com/'print '第一种方法'response1=urllib2.urlop原创 2016-03-26 17:21:01 · 2506 阅读 · 0 评论 -
爬虫链接
http://cuiqingcai.com/1052.htmlPython爬虫学习系列教程http://cuiqingcai.com/927.htmlPython爬虫入门一之综述http://cuiqingcai.com/942.htmlPython爬虫入门二之爬虫基础了解http://cuiqingcai.com/947.htmlPython爬虫入门三之U原创 2016-04-21 11:42:51 · 734 阅读 · 0 评论 -
python 多线程就这么简单（续）+跟着前一篇
http://www.cnblogs.com/fnng/p/3691053.html之前讲了多线程的一篇博客，感觉讲的意犹未尽，其实，多线程非常有意思。因为我们在使用电脑的过程中无时无刻都在多进程和多线程。我们可以接着之前的例子继续讲。请先看我的上一篇博客。python 多线程就这么简单 从上面例子中发现线程的创建是颇为麻烦的，每创建一个线程都需要创建转载 2016-05-17 16:31:40 · 432 阅读 · 0 评论 -
Python爬虫：一些常用的爬虫技巧总结(IP,cookie,header,多线程)
http://python.jobbole.com/84622/用python也差不多一年多了，python应用最多的场景还是web快速开发、爬虫、自动化运维：写过简单网站、写过自动发帖脚本、写过收发邮件脚本、写过简单验证码识别脚本。爬虫在开发过程中也有很多复用的过程，这里总结一下，以后也能省些事情。1、基本抓取网页get方法Pyth转载 2016-05-17 09:31:08 · 13073 阅读 · 0 评论 -
python中的urlencode和urldecode 【中文和url编码转换】
>>> brand_code='斑马'>>> from urllib import quote>>> print quote(brand_code)%B0%DF%C2%ED>>> from urllib import unquote>>> brand_code_url='%B0%DF%C2%ED'>>> print unquote(brand_code_url)斑马qu原创 2016-05-31 16:24:39 · 4621 阅读 · 0 评论 -
Windows下安装python版的XGBoost（Anaconda）【成功验证，按着步骤一步一步安装能够成功】
XGBoost是近年来很受追捧的机器学习算法，由华盛顿大学的陈天奇提出，在国内外的很多大赛中取得很不错的名次，要具体了解该模型，可以移步GitHub，本文介绍其在Widows系统下基于Git的python版本的安装方法。 需要用到三个软件：python软件（本文基于Anaconda，因为自带很多库，比较方便）Git for WindowsMINGW 假设都已转载 2017-10-31 15:26:51 · 937 阅读 · 0 评论