简时刻的博客

计算机（购买者）带着请求头和消息体（硬币和所需饮料）向服务器（自助饮料售货机）发起一次Request请求（购买），相应的服务器（自助饮料售货机）会返回本计算机相应的HTML文件作Response（相应的商品）。

目录一、文件存储（一）TXT文件存储1. 读取文件内容2. 将指定内容写入文件3. 按行读取文件内容（二）JSON文件存储1. 将字典和列表转换为JSON数据2. 将JSON数据dump到文件中3. 将JSON数据字符串加载为类对象4. 从文件中读取JSON数据（三）CSV文件存储1. 读取CSV文件2. 写入CSV文件3. 按字典方式写入CSV文件二、关系型数据库存储（一）连接数据库（二）创建表（三）插入数据...

一、什么是正则表达式正则表达式（regular expression）是用来进行较为复杂的文本处理。特别是复杂的查找和替换处理的计算机语言。

一、什么是爬虫？任务：记录豆瓣上对《摔跤吧！爸爸》的评分步骤一：打开豆瓣，搜索“摔跤吧! 爸爸”步骤二：打开“摔跤吧！爸爸”页面步骤三：找到评分到这里，我们知道了如果只找一部电影，我们可以通过人工搜索的方式去找到。那如果是1000部，10000部电影的评分，我们该如何获取？如果仍然使用人工去获取是非常耗时间耗精力的，这个时候我们就可以通过爬虫来获取这些信息，让计算机来为我们工作。我们就可以通过爬虫来代替人工搜索，而爬虫对于人工浏览的最大不同就是全部用编程来...

目录1. 连接MySQL2. 执行SQL语句3. 创建表4. 插入数据5. 查看数据6. 修改数据7. 删除数据1. 连接MySQL语法格式：connect(host='127.0.0.1',user='root',passwd='',db='test') 其中，host代表服务器名；user为登录用户名；passwd代表指定用户的密码；db为所需要连接的数据库。代码实例：import MySQLdb ...

百度新闻网址：https://news.baidu.com/

代码实例import requestsimport reheaders = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.83 Safari/537.36'}url = 'https://www.baidu.com/s?tn=news&rtt=4&bsst=1&cl=2&wd=阿里巴

代码实例import requestsimport re# 用户代理设置headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'}url = 'https://www.sogou.com/sogou?ie=utf8&interation=1728053249&

代码示例运行结果

代码实例运行结果

代码实例运行结果

代码实例运行结果

代码实例运行结果

代码实例运行结果

1. 网页源码2. 代码实例3. 运行结果

代码实例运行结果

代码实例运行结果

代码实例运行结果

1. 网页源码2. 代码实例# coding:utf-8import requestsfrom bs4 import BeautifulSoupimport timeimport ioimport sys# 编码设置sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='gb18030') #改变标准输出的默认编码# 用户代理设置headers = { 'User-Agent':'Mozill...

1. 网页源码2. 代码实例# -- coding: utf-8 --from pyquery import PyQuery as pqimport requests# 用户代理设置headers = {"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"}# 爬取的网站url =.

目录1. 网页源码2. 代码实例3. 运行结果1. 网页源码2. 代码实例# -- coding: utf-8 --from pyquery import PyQuery as pqimport requestsheaders = {"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 S...

代码实例运行结果

1. 网页源码2. 代码实例# coding:utf-8# 第一步：导入相关库import requests # 用于请求网页获取网页数据import re # 使用正则表达式来匹配相关字符import time # 使用time库中的.sleep()方法让程序暂停# 第二步：用户代理设置，伪装成浏览器进行访问headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WO...

1. 网页源码2. 代码实例# coding:utf-8import requestsimport re'''第一步：获取数据'''class Spider: """ 糗事百科爬虫类 """ def loadPage(self, page): """ @brief 定义一个url请求网页的方法 @param page需要请求的第几页 @...

1. 网页源码2. 代码实例# coding=utf-8# 第一步：导入相关库import requests # 用于请求网页获取网页数据import re # 使用正则表达式来匹配相关字符import sysimport io# 第二步：编码设置sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='gb18030') #改变标准输出的默认编码# 第三步：用户代理设置，伪装成...

目录1.首先先找到所要爬取数据的网站，导入需要的包和模块2.用 BeautifulSoup 来解析和获取我们想要的内容块3.抓取我们需要的内容4.抽取并保存信息最终：完整代码展示美国天气预报网站：http://forecast.weather.gov/MapClick.php?lat=37.77492773500046&lon=-122.41941932299972 在爬取网站之前，我们首先要找到我们想要爬取的网站地址以及想爬取这个网页上的哪些信息。以上面...