Python
文章平均质量分 74
AcceptedQWQ
一直在前进
展开
-
Python3 爬虫的基本原理
爬虫的基本原理所谓爬虫就是一个自动化数据采集工具,你只要告诉它要采集哪些数据。其背后的基本原理就是爬虫程序向目标服务器发起 HTTP 请求,然后目标服务器返回响应结果,爬虫客户端收到响应并从中提取数据,再进行数据清洗、数据存储工作。Http请求格式和响应格式 用Pyton内建模块 urllib 请求一个 URL 代码示例如下:import sslfrom urllib.request impo...转载 2018-06-05 19:57:04 · 339 阅读 · 0 评论 -
Python获取熊猫TVLOL栏所有主播信息以及人气排名
今天爬取的网页为:熊猫TV LOL栏 一,分析网页:一共6页,我们要想办法获取所有页的信息,所以F12查看网络请求,点击第二页:发现了这个请求这就是我们需要的东西所以推测pageno参数为第几页所以代码就好写了二,代码实现将需要的东西封装成类class InfoClass: def __init__(self, id,...原创 2018-11-18 17:41:55 · 547 阅读 · 0 评论 -
Python操作Excel之读与写
python操作excel主要用到xlrd和xlwt这两个库,即xlrd是读excel,xlwt是写excel的库。可从这里下载https://pypi.python.org/pypi。下面分别记录python读和写excel. python读excel——xlrd这个过程有几个比较麻烦的问题,比如读取日期、读合并单元格内容。下面先看看基本的操作:首先读一个excel文件,有两个s...转载 2018-11-11 16:47:17 · 717 阅读 · 0 评论 -
Python实现小猪佩奇
# coding:utf-8import timeimport turtle as tt.pensize(4) # 设置画笔的大小t.colormode(255) # 设置GBK颜色范围为0-255t.color((255,155,192),"pink") # 设置画笔颜色和填充颜色(pink)t.setup(840,500) # 设置主窗口的大小为840*500t.speed(...原创 2018-09-19 21:02:52 · 1127 阅读 · 0 评论 -
BeautifulSoup筛选html内容
原文链接网页中有用的信息通常存在于网页中的文本或各种不同标签的属性值,为了获得这些网页信息,有必要有一些查找方法可以获取这些文本值或标签属性。而Beautiful Soup中内置了一些查找方式: find() find_all() find_parent() find_parents() ...转载 2018-08-12 20:04:22 · 4143 阅读 · 0 评论 -
python3获取一个网页特定内容
我们今天要爬取的网址为:https://www.zhiliti.com.cn/html/luoji/list7_1.html一、目标:获取下图红色部分内容即获取所有的题目以及答案。二、实现步骤。分析:1,首先查看该网站的结构。分析网页后可以得到:我们需要的内容是在该网页<li>标签下,详细内容链接在<small>的<a>的...原创 2018-08-12 19:59:47 · 24090 阅读 · 1 评论 -
linux环境下python的部署
linux系统环境自带python2.6,但有时我们项目使用的版本可能是3.x以上等等,此时我们需要在linux中再安装项目所需的python版本,此时就涉及多版本共存问题了,很多同学在安装多个版本Python时会遇到各种问题,本篇文章针对python多版本共存做了详细安装说明1.下载python安装包打开https://www.python.org/downloads/,选择downloads&...转载 2018-07-16 15:35:53 · 578 阅读 · 0 评论 -
python3安装beautifulsoup全过程
1.环境变量参考设置:python3环境变量设置2.下载beautifulsoup安装包:BeautifulSoup解压安装包至python安装目录下3.在命令行进入beautifulsoup的安装目录下,输入python setup.py install安装成功后,进入python->Lib->site-packages将bs4文件夹复制到Lib文件夹下,将python安装目录下的T...转载 2018-06-06 23:27:16 · 5318 阅读 · 0 评论 -
python 爬取动态网站图片(百度图片爬取)
前言:前面我们爬取图片的网站都是静态的,在页面中右键查看源码就能看到网页中图片的位置。这样我们用requests库得到页面源码后,再用bs4库解析标签即可保存图片到本地。当我们在看百度图片时,右键–检查–Elements,点击箭头,再用箭头点击图片时,会显示图片的位置和样式。但是,当我们右键查看网页源码时,出来的却是一大堆JavaScript代码,并没有图片的链接等信息。这是为什么呢?...转载 2018-06-12 21:01:10 · 629 阅读 · 0 评论 -
Python爬取二级页面(页面分析很重要)
今天收到老师的一个题目:于是我打开了图片网址:发现并没有发现所有城市的天气情况只有一个搜索栏于是我输入成都按下F12查看网络请求发现了这个请求:一共返回了四条数据对应提示框的四条数据,暂时不知道返回的数据有什么用,先点击搜索试一下然后发现跳转到了另一个网页,如下:我们需要的数据刚好在这里,那么问题来了我怎么知道第二个网页的地址是什么,怎么请求,我...原创 2018-11-17 23:16:44 · 9120 阅读 · 2 评论