Python
海岸丽归
这个作者很懒,什么都没留下…
展开
-
Python安装PiP
转载:https://www.cnblogs.com/xiaxj/p/7091322.htmlwindows下如何安装pip以及如何查看pip是否已经安装成功?最近刚学习python,发现很多关于安装以及查看pip是否安装成的例子都比较老,不太适合于现在(python 3.6 )因此,下一个入门级别的教程。0:首先如何安装python我就不做介绍了。1:如果安装的是python3.4版本以上的,就...转载 2018-03-16 19:57:14 · 697 阅读 · 0 评论 -
多线程threadpool 执行多个requests请求
#-*- coding:utf-8 -*-#threadpool是一个比较老的模块了,现在虽然还有一些人在用,但已经不再是主流了import threadpoolimport dict_down #调用:https://blog.csdn.net/meizhen51/article/details/79861796task_pool = threadpool.ThreadPool(5)...原创 2018-04-13 22:44:35 · 3083 阅读 · 0 评论 -
requests BeautilfulSoup简单抓取古文典籍.1
网页源码,爬取书本的简介和目录:这是简介标签内的内容:<textarea style=" background-color:#F0EFE2; border:0px;overflow:hidden;" cols="1" rows="1" id="txtareAuthor6">《周易》是一部中国古哲学书籍,是建立在阴阳二元论基础上对事物运行规律加以论证和描述的书籍,其对于天地万物进行性状...原创 2018-04-21 23:55:23 · 594 阅读 · 1 评论 -
BeautifulSoup4抓取百度词典.1
需要安装的模块:pip install requestspip install beautifulsoup4 pip install lxmlpip install html5lib>>> headers={'user_agent': 'Mozilla/5.0'}>>> url='http://dict.baidu.com/s'>>> pa...原创 2018-04-09 09:58:21 · 255 阅读 · 0 评论 -
IO并发.1 asyncio执行多个requests请求
#-*- coding:utf-8 -*-# asyncio是Python 3.4版本引入的标准库,直接内置了对异步IO的支持。# asyncio的编程模型就是一个消息循环。我们从asyncio模块中直接获取一个EventLoop的引用,# 然后把需要执行的协程扔到EventLoop中执行,就实现了异步IO。#本例:同时下载多个百度词典import asyncioimport dic...原创 2018-04-12 12:13:07 · 3266 阅读 · 0 评论 -
requests简单抓取百度词典内容
>>> import requests,re>>> url='http://dict.baidu.com/s'>>> params={'wd':'android','home':'pc'}>>> r=requests.get(url,params)>>> text=r.text>原创 2018-04-04 10:47:53 · 653 阅读 · 0 评论 -
BeautifulSoup4抓取百度词典.2
* 1.通过requests抓取百度词典的内容* 2.把抓取回来的内容,通过BeautifulSoup分析并解析出纯文本* 3.解析成功后,以txt文件方式保存在本地,下次需要时,直接从本地获取需要安装的模块:pip install requestspip install beautifulsoup4 pip install lxmlpip install html5lib#-*- coding:...原创 2018-04-09 09:59:14 · 510 阅读 · 0 评论 -
Python实例.1爬取网页的图片
这个网站图片资源比较丰富,而且还比较搞笑,先尝试着爬取这个网站的图片资源 我把下载图片的代码写在了模块化的py文件里: my_down.pyimport requestsimport osimport redef down_img(url, path): if not url.startswith('http'): url = "http:" + url ...原创 2018-03-22 12:25:04 · 315 阅读 · 1 评论 -
python3爬虫(一)requests库的学习
转载:http://blog.csdn.net/gyq1998/article/details/78583841python3爬虫(一)requests库的学习前段时间利用零散时间在mooc上跟着嵩天老师学习了python爬虫的相关知识,于是想把自己的学习经历写下来,对爬虫的相关知识做一个归纳总结,文中如果有错误或者是不严谨的地方,欢迎指出和交流。下面我们开始介绍requests库。request...转载 2018-03-16 20:01:46 · 367 阅读 · 0 评论