qq_59723238的博客

原创 今天就分享一些关于类型转换函数，你GET到了不

原创 解决乱码问题

# 解决乱码# 编码乱码 ：从网上获得的数据，我们就要根据他的编码格式进行解码# 那么我们如何知道它的编码格式 import requests # 1.确定urlurl = "https://www.baidu.com/" # 小细节：字符串得方式进行呈现# 2.发送请求 ,得到请求得数据response = requests.get(url)print(response.encoding) # text自动检测到的编码格式，ISO-8859-1# 字符串类型str_data = response.t

原创 解码（decode）与编码（encode）（内附源代码）

咱们接着上一篇的文章继续，深度学习编码与解码，简单易懂！# 解决乱码# 编码乱码 ：从网上获得的数据，我们就要根据他的编码格式进行解码# 那么我们如何知道它的编码格式import requests# 1.确定urlurl = "https://www.baidu.com/" # 小细节：字符串得方式进行呈现# 2.发送请求 ,得到请求得数据response = requests.get(url)print(response.encoding) # text自动检测到的编码格式，

原创 简单爬虫案例：抓取百度首页（易懂,内附源码）

Python爬虫入门，从简单案例中出发，来！一起学习~Python爬虫4步骤：0导入request模块。1确定URL。2发送请求。3提取数据。4保存数据。

原创 Network的简单介绍（在爬虫中经常用到）

如何打开Network1，尽量利用谷歌浏览器打开www.baidu.com页面2，将鼠标放置于页面中点击右键，再点击检查3，进入如下图界面，并点击Network4，再在页面点击右键，再点击重新加载。使控制台中加载出数据（如图）接下来，就来介绍下图的内容All(即：所有)：组成网页的所有数据包Fetch/XHR：动态数据包（json）js:表示js脚本（type:script）,后缀为.js代表的就是javascript文件，用js代码写的数据包。实现点击事件(.

原创 HTTP与HTTPS是啥？

HTTP（HyperText Transfer Protocol）HTTPS （Hyper Text Transfer Protocol over Secure Socket Layer）1.HTTP不需要协议 HTTPS协议需要到申请证书，一般免费证书较少，因而需要一定费用。2、HTTP是超文本传输协议，信息是明文传输，HTTPS协议是由HTTP+SSL协议构建的可进行加密传输、身份认证的网 络协议，比HTTP协议安全因为HTTPS比HTTP多了 Secure Socket L

原创 一种国际互联网界通行的道德规范——Robots协议

原则：1搜索技术应服务于人类，同时尊重信息提供者的意愿，并维护其隐私权；2网站有义务保护其使用者的个人信息和隐私不被侵犯。robots协议(也称爬虫协议，机器人协议等)是一种存放于网站根目录下的文本文件，（在一网页中，在网页的URL（即网址）后加上/robots.txt,即可查看）如下图（了解）​通常告诉网络爬虫，此网站中的哪些内容是不应被网络爬虫获取的，哪些是可以被获取的。robots协议并不是一个规范，而只是约定俗成的，所以并不能保证网站的隐私。接下来，我从上图截取第一.

原创 Python网络爬虫是啥？

网络爬虫（又称网页蜘蛛，网络机器人，还有一些不常使用的名字：蚂蚁、自动索引、模拟程序or蠕虫。在FOAF社区中，更经常被称为网页的追逐者）其是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。通俗的来说，就是模拟客户端访问（正常用户），发送网络请求，获取对应的响应数据介绍完了，那我们就来更深刻的了解！！！let's go！~在当今社会，网络迅速发展，我们需要大量的数据进行数据分析或者是机器学习相关的项目。那么这些数据怎么来的得呐！（四种方式）我们利用传统的方式就是人工的去收集记