- 博客(21)
- 收藏
- 关注
RSS订阅原创 爬取网易云音乐
代码如下import requestsfrom lxml import etreeimport osurl = 'https://music.163.com/discover/toplist?id=3779629'headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Co
2021-01-14 22:24:15
284
1
原创 利用os模块，批量更改文件名称
利用os.rename进行批量更改文件名称代码如下import osdir = 'E:\BiliDown\【计算机科学速成课】[40集全精校]-CrashCourseCompuerScience' # 文件路径fill = os.listdir(dir) # 获取所有文件名称for i in fill: # 循环名称 fill_name = i.split('-')[0].split(' ')[1]+'.mp4' # 字符串处理 print(fill_name) # 打印
2021-01-14 19:02:18
199
原创 域名和IP之间有什么关系，如何查看某个域名对应的IP？
引入什么是IP连接上互联网的主机，都会自动的下发一个地址用于表示这台主机，这个地址称之为：IP例如：百度：182.61.200.7搜狗：109.244.23.140什么是域名由于IP地址很难记忆，internet引进了域名服务系统：DNS，目的是方便用户记住网站的地址域名和IP之间有什么关系当用户在浏览器输入某个域名后，这个信息首先会到达提供这个域名的域名解析服务器上。域名解析器会解析出这个域名对应的IP， 所以域名是IP的在网络上的另一种表现形式。如何查看某个域名对应的IP？一使
2020-12-16 17:24:51
968
原创 爬虫案例：爬取某小说网站（多线程版）
多线程版代码介绍优点：下载，保存速度很快。缺点：由于不能控制线程的速度，下载保存的文档顺序不对。思路介绍： 1：如下图全部代码：import requestsfrom lxml import etreeimport threading # 多进程from queue import Queue # 队列# 请求urldef get_url(url): response = requests.get(url=url, headers=headers) html
2020-12-12 19:36:36
1411
11
原创 python 字典详解
字典字典是另一种可变容器模型，且可存储任意类型对象。字典的每个键值 key=>value 对用冒号 : 分割，每个对之间用逗号(,)分割，整个字典包括在花括号 {} 中 ,格式如下所示d = {key1 : value1, key2 : value2, key3 : value3 }...
2020-12-08 22:10:38
439
9
原创 爬虫案例：爬取小说网站 笔趣阁
版本（一）：全部代码如下介绍：这个版本 可以把一个小说的所有章节都爬取下来缺点：1：爬取效率低下，2：把最新章节也爬取下来了思路介绍： 1：先到单个小说的页面 2：使用开发者模式，查看单个章节的a标签--->点击查看的标签--->跳转到该章节的页面 3：使用xpath获取到所有的a标签 中的href内容 4：对href标签的内容进行拼接 5：for循环 挨个请求拼接好的url 6：保存获取到的内内容 完成import requestsfrom lxml import
2020-12-06 16:31:24
1496
3
原创 Scrapy 2.4.1 - no active project 解决方法
问题开启项目后 出现 Scrapy 2.4.1 - no active project的错误解决：1 ：需要切换到对应的项目所在文件夹，再运行crawl，就可以解决问题2：选择目录名称和创建的项目名称相同即可
2020-12-06 16:17:29
3795
原创 python 列表与元组 详解
索引学习之前 先介绍一下索引在python中 有两种索引模式正向索引：从左到右，起始位置 0反向索引：从右到左，起始位置 -1正向索引反向索引列表列表是 Python 中最基本、最常见的数据结构。列表中的每个值都有对应的位置值，称之为索引，第一个索引是 0，第二个索引是 1，依此类推。列表都可以进行的操作包括索引，切片，加，乘，检查成员。常见方法方法介绍list.append(obj)在列表末尾添加新的对象list.count(obj)统计某个元素
2020-12-02 22:36:45
319
原创 python--文件操作--详解
内置方法：openopen(file,mode,encoding) :对文件进行相关操作，返回一个文件对象，用于后续操作.方法介绍file（str）：文件名（相对路径方式），写完整路径（绝对路径）mode(str):文件操作方式，默认mode=‘r’。encoding:可以部指定，默认的编码 windows：gbk，linux：utf-8，mac：utf-8绝对路径和相对路径1：绝对路径：指的是绝对位置，完整地描述了目标的所在地，所有目录层级关系是一目了然
2020-12-01 22:18:10
273
2
原创 requests 基础内容介绍
介绍官方的文档介绍：requests是一个非转基因的Python HTTP 库。功能强大，语法简洁。安装pip install resquests #1：测试安装的效果#第一步 导入模块import requestsr = requests.get('http://www.baidu.com')print(r.status_code) #200各类的请求方式介绍方法说明requests.get()获取HTML网页的主要方法，对应于HTTP的GETre
2020-12-01 20:27:09
1254
原创 爬虫实例—爬取大众点评信息
以大众点评分类下面的火锅为例查看网页源代码根据这边显示的信息 可以判断出 大众点评是使用了css加密，接下来查找页面上所有css文件这边可以看出来使用的字体种类，接下来按照固定思路解决就好步骤：1. 找到存放woff文件的css链接，并请求2. 找到woff文件的url，并请求(下载woff文件)3. 通过TTFont模块读取woff文件，得到16进制数4. 手动生成一个字典(作用：汉字和16进制数的对照表)5. 将页面中的16进制数替换成真实值6. 以上完成，css解密即可完成
2020-11-30 22:28:19
2081
原创 简单使用 selenium
# 1. 导入webdriverfrom selenium import webdriver# 导入配置from selenium.webdriver.chrome.options import Options# 实例化Options对象options = Options()# 添加配置# 隐藏界面# options.add_argument('--headless')# 配置UA# options.add_argument('user-agent="Mozilla/5.0 (Li.
2020-11-26 10:05:42
83
原创 GET和POST区别
get和post区别是什么?1. GET请求参数是通过URL传递的, POST请求的参数放在请求体中。2. GET请求比POST请求更不安全，因为参数直接暴露在URL中，所以，GET请求不能够用来传递敏感信息。3.GET请求在url中传递的参数是有长度限制的(在HTTP协议中并没有对URL的长度进行限制，限制是在特定的浏览器以及服务器对它的限制,不同浏览器限制的长度不同。) , POST没有。4. GET请求参数会完整的保留在浏览器的历史记录中，POST请求的参数不会保留。5. GET请求请求.
2020-11-19 21:21:51
372
原创 当输入ur1之后，按下回车键发生了哪些动作?
1.当浏览器输入URL,先解析URL地址是否是合法的。2.浏览器检查是否存在缓存(浏览器缓存-系统缓存-路由器缓存)，如果缓存中都没有，看第三步。3.发起HTTP请求前，需要进行域名解析(DNS解析) ,获取对应的IP地址。4.发起TCP连接，经过三次握手。5.握手成功， 浏览器想服务器发送http请求，发送请求数据包。6.服务器收到请求后，将数据返回给浏览器。7.浏览器接收到返回的响应。8.浏览器解析响应。如果响应可以存入缓存,则存入缓存。9.浏览器发送请求获取嵌入在HTML中的资源(ht
2020-11-19 21:19:18
229
原创 python 异常类型
什么是异常？异常即是一个事件，该事件会在程序执行过程中发生，影响了程序的正常执行。一般情况下，在Python无法正常处理程序时就会发生一个异常。异常是Python对象，表示一个错误。当Python脚本发生异常时我们需要捕获处理它，否则程序会终止执行异常处理捕捉异常try/except语句。try检测语句块中的错误，except语句捕获异常信息并处理。语法：try....except...elsetry:<语句> #运行别的代码exc...
2020-11-12 20:54:19
180
原创 ThinkPad T440p安装 ubuntu-20.10 (一)(设置U盘启动盘)
提前准备 8G U盘和未损坏的系统镜像.我的镜像是从Ubuntu官网下载的1:下载UltraLSO 把U盘设置成系统盘.2 :继续试用3:点击–文件----打开(找到自己的iso镜像文件).4: 点击–“启动” ---- “写入硬盘映像”5: 点击–写入6:写完后 完成制作U盘启动盘....
2020-11-12 09:48:44
1325
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人