- 博客(8)
- 问答 (1)
- 收藏
- 关注
原创 解决乱码问题
# 解决乱码# 编码乱码 :从网上获得的数据,我们就要根据他的编码格式进行解码# 那么我们如何知道它的编码格式 import requests # 1.确定urlurl = "https://www.baidu.com/" # 小细节:字符串得方式进行呈现# 2.发送请求 ,得到请求得数据response = requests.get(url)print(response.encoding) # text自动检测到的编码格式,ISO-8859-1# 字符串类型str_data = response.t
2022-01-03 17:41:24
345
原创 解码(decode)与编码(encode)(内附源代码)
咱们接着上一篇的文章继续,深度学习编码与解码,简单易懂!# 解决乱码# 编码乱码 :从网上获得的数据,我们就要根据他的编码格式进行解码# 那么我们如何知道它的编码格式import requests# 1.确定urlurl = "https://www.baidu.com/" # 小细节:字符串得方式进行呈现# 2.发送请求 ,得到请求得数据response = requests.get(url)print(response.encoding) # text自动检测到的编码格式,
2022-01-02 23:38:47
1761
原创 简单爬虫案例:抓取百度首页(易懂,内附源码)
Python爬虫入门,从简单案例中出发,来!一起学习~Python爬虫4步骤:0导入request模块。1确定URL。2发送请求。3提取数据。4保存数据。
2022-01-01 23:14:08
5028
3
原创 Network的简单介绍(在爬虫中经常用到)
如何打开Network1,尽量利用谷歌浏览器打开www.baidu.com页面2,将鼠标放置于页面中点击右键,再点击检查3,进入如下图界面,并点击Network4,再在页面点击右键,再点击重新加载。使控制台中加载出数据(如图)接下来,就来介绍下图的内容All(即:所有):组成网页的所有数据包Fetch/XHR:动态数据包(json)js:表示js脚本(type:script),后缀为.js代表的就是javascript文件,用js代码写的数据包。实现点击事件(.
2021-12-30 23:38:22
4001
原创 HTTP与HTTPS是啥?
HTTP(HyperText Transfer Protocol)HTTPS (Hyper Text Transfer Protocol over Secure Socket Layer)1.HTTP不需要协议 HTTPS协议需要到申请证书,一般免费证书较少,因而需要一定费用。2、HTTP是超文本传输协议,信息是明文传输,HTTPS协议是由HTTP+SSL协议构建的可进行加密传输、身份认证的网 络协议,比HTTP协议安全因为HTTPS比HTTP多了 Secure Socket L
2021-12-29 23:06:22
1444
原创 一种国际互联网界通行的道德规范——Robots协议
原则:1搜索技术应服务于人类,同时尊重信息提供者的意愿,并维护其隐私权;2网站有义务保护其使用者的个人信息和隐私不被侵犯。robots协议(也称爬虫协议,机器人协议等)是一种存放于网站根目录下的文本文件,(在一网页中,在网页的URL(即网址)后加上/robots.txt,即可查看)如下图(了解)通常告诉网络爬虫,此网站中的哪些内容是不应被网络爬虫获取的,哪些是可以被获取的。robots协议并不是一个规范,而只是约定俗成的,所以并不能保证网站的隐私。接下来,我从上图截取第一.
2021-12-26 12:48:13
647
原创 Python网络爬虫是啥?
网络爬虫(又称网页蜘蛛,网络机器人,还有一些不常使用的名字:蚂蚁、自动索引、模拟程序or蠕虫。在FOAF社区中,更经常被称为网页的追逐者)其是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。通俗的来说,就是模拟客户端访问(正常用户),发送网络请求,获取对应的响应数据介绍完了,那我们就来更深刻的了解!!!let's go!~在当今社会,网络迅速发展,我们需要大量的数据进行数据分析或者是机器学习相关的项目。那么这些数据怎么来的得呐!(四种方式)我们利用传统的方式就是人工的去收集记
2021-12-26 10:38:01
515
空空如也
码友们一个月的收益能有多少?能过万吗?
2022-01-03
TA创建的收藏夹 TA关注的收藏夹
TA关注的人