- 博客(10)
- 收藏
- 关注
RSS订阅原创 python--爬虫之通过ip代理实现爬虫
什么是IP代理pass怎么通过ip代理来访问pass获取免费的IP代理，并过滤无效ip# coding=utf-8import requestsfrom bs4 import BeautifulSoupfrom random import choice#传入网址，解析网址，获取对应的ip,并返回对应ipdef get_ip_proxy(url): ''' ...
2019-03-06 21:41:57
468
原创 python之selenium实现简单的163登录
selenium相关语法晚上写登录页面分析晚上写代码展示#导入相关的selenium相关包from selenium import webdriverimport time实例化一个浏览器对象driver=webdriver.Chrome()#设置窗口为最大化driver.maximize_window()#输入163登录地址driver.get("https...
2019-03-05 12:46:01
287
原创 关于python爬虫lxml库的简单理解
lxml是python的一个解析库，支持HTML和XML的解析，支持XPath解析方式，而且解析效率非常高XPath，全称XML Path Language，即XML路径语言，它是一门在XML文档中查找信息的语言，它最初是用来搜寻XML文档的，但是它同样适用于HTML文档的搜索
2019-03-04 20:20:26
1213
原创 python--通过cookie方式抓取js请求方法
1.进入一个丁香园的论坛，通过谷歌开发者工具查看头部信息2.复制粘贴相关的头部信息，这里的cookie为登陆之后的cookie,所以需要注册一个丁香园的账号以后会跟新相关的通过requests携带cookie的方式进行爬去，因为这样就不用每次都要去粘贴cookie的相关信息：3.找到相关的js请求，分析和查看对应的返回结果import requestsimport jsonimp...
2019-03-03 12:58:01
940
原创 利用python--正则--爬取豆瓣TOP250排行榜
话不多说直接贴上代码import requestsimport reimport json#定义一个函数，用于解析网页内容def pase_detail(url):content = requests.get(url).content.decode()movie_content=re.findall(’.?.?(.?).?.?(.?).?(\d{4}) .?(.*?)’,c...
2019-03-02 21:40:46
299
原创 关于Get-----Post理------20190301
关于Get-----Post理------20190301**Get:属于一种网络资源请求模式，会从指定资源的地址获取对应的url的数据，比如你看到的www.baidu.com就属于请求baidu首页的内容，如果你在首页搜索中输入hello world,然后你在查看url的变化,会出现很长的一串url(https://www.baidu.com/s?ie=utf-8&f=8&r...
2019-03-01 19:50:54
266
转载 自动化框架
这里写链接内容# 欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 C...
2018-09-09 18:53:45
536
原创 计算机网络基础
计算机网络学习的核心内容就是网络协议的学习。网络协议是为计算机网络中进行数据交换而建立的规则、标准或者说是约定的集合。因为不同用户的数据终端可能采取的字符集是不同的，两者需要进行通信，必须要在一定的标准上进行。一个很形象地比喻就是我们的语言，我们大天朝地广人多，地方性语言也非常丰富，而且方言之间差距巨大。A地区的方言可能B地区的人根本无法接受，所以我们要为全国人名进行沟通建立一个语言标准，这就是...
2018-08-05 10:48:35
147
原创 软件测试笔记
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦： - UML序列图和流程图 - 离线写博客 - 导入导出Markdown文件 - 丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl + Q插入链接 Ctrl + L插入代码 Ct...
2018-08-04 14:14:15
3062
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人