北海的博客

【代码】[网络爬虫]西瓜视频案例。爬虫作用 : 采集数据/模拟用户行为原理 : 模拟客户端向服务器发送请求爬虫案例思路找视频链接4k 附近有个main_url视频链接需要通过base64解码该链接才能拿到视频原链接Base64 在线编码解码 | Base64 加密解密 - Base64.us可以下载视频代码访问到https://www.ixigua.com/7258418700380799499拿到网页源代码从网页源代码当中拿取main_url将main_url还原为视频原链接访

代理

爬取全国各地区的天气情况,调用的API接口API:http://t.weather.sojson.com/api/weather/city/

【代码】selenium实现自动登录Boss直聘。问题 : selenium模块和爬虫之间具有怎样的关联便捷的获取网站中动态加载的数据便捷实现模拟登录什么是selenium模块?基于浏览器的自动化的模块selenium使用流程:环境安装: pip install selenium下载一个浏览器的驱动程序 (谷歌浏览器)下载链接 : http://chromedrive.storage.googleapis.com/index.html

在页面源代码请求出来的源码是假的数据,皮肤img的那块是统一格式的,拿不到想要的img,换种思路,抓包,从img分类里面,拿到皮肤图片的url,分析之后,只需要改动英雄的id 皮肤的url后面加上数字,则可以拿到正确的url,需要用到的知识,request请求,os可以写正则和创建文件夹,字符串分割,xpath数据解析,可以使用多线程加快数据的保存。中文乱码问题:查看charset字符集,用encoding改为相应的字符集即可。

【代码】[网络爬虫]验证码识别。

测试期间,只爬取了一页建立,想要爬取所有的简历模板只需要改动url = 'https://sc.chinaz.com/jianli/free.html',加上相应的参数,用循环套起来即可。

path解析 : 最常用且最便捷最高效的一共解析方式,通用性xpath解析原理实例化一个etree的对象,且需要将被解析的页面源码数据加载到该对象中调用etree对象中的xpath方法结合着xpatj表达式实现标签的定位与内容的捕获环境的安装pip install lxml如何实例化一个etree对象: from lxml import etree将本地的html文档中的源码数据加载到etree对象中etree.prase(filePath)可以将从互联网上获取的源码数据

soup.find_all('tagName') : 返回符合要求的所有标签 (列表)- select('某种选择器(id,class,标签...选择器)'),返回的是一个列表。- soup.tagName : 返回的是文档中第一次出现的tagName对应的标签。- text/get_text() : 可以获取某一个标签中所有的文本内容。- 解析的局部的文本内容都会在标签之间或者标签对应的属性中进行存储。- 2. 标签或者标签对应的属性总存储的数据进行提取 (解析)- 提供的用于数据解析的方法和属性。

编写第一个网络爬虫1.利用python-whis库可以查看网站的所有者2.利用builtwith库可以识别网站所用的技术3.利用robots.txt可以让爬虫了解爬取该网站时存在哪些限制4.无论使用哪种用户代理，都应该在两次下载请求之间给出5秒的抓取延迟，我们需要遵从该建议以避免服务器过载。

1.http协议概念:就是服务端和客户端进行数据交互的一种形式2.常用请求头信息User_agent : 请求载体的身份标识Connection : 请求完毕后,是断开连接还是保持连接3.常用请求头信息Content_Type : 服务器响应回客户端的数据类型4.https协议安全的http协议(安全的超文本传输协议)5.加密方式对称密钥加密 : 客户端会指定加密方式,最后将密钥和密文一起发送给服务器,服务器在根据密钥解密。