![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
笔记
小酥仙儿
当代小白成长史
展开
-
百度te吧
百度贴吧 解决了上一次为解决的问题,引入selenium可以实现对动态页面的爬取,代码复杂化了,有很多步骤可以优化 百度系列: 上一次的百度贴吧1.0爬虫 百度贴吧实现翻译下小功能,里面的问题应该也可以用同样的思路被解决 # -*- coding: utf-8 -*- """ Created on Sat Feb 29 15:33:00 2020 @author: Administrator "...原创 2020-03-05 16:13:50 · 257 阅读 · 0 评论 -
bili弹幕爬
我爱哔哩哔哩 总结: ①正则是盲点,最近在想办法努力突破 ②python提取xml文件中的字段,可用beautifulsoup包,nice # -*- coding: utf-8 -*- """ Created on Sun Mar 1 18:11:56 2020 @author: Administrator """ import requests import json import re ...原创 2020-03-03 23:35:58 · 393 阅读 · 0 评论 -
简单网站爬取:糗事百科
简单网站爬取:糗事百科 总结遇到的问题: ①xpah在响应页面定位时: 首先分组,分组后的子元素定位,是在当前定位内进行搜寻,因此点非常重要,他表示在当前目录中进行定位,不然可能出现,分组内爬取的内容一样,循环无效 -----------------************************=------------------------- 错误代码示例: item["u-user-na...原创 2020-03-01 16:45:58 · 117 阅读 · 0 评论 -
百度贴吧爬虫
百度贴吧爬虫 问题总结 1. 问题1 response.content.decode() **解决** 这里有不少小伙伴会遇到编码问题,需要从本质理解编码对后续代码可能产生的影响, ①后续xpath可接受的数据类型 ②xpaht在定位元素时,自己输入的字符与网页响应字符可能存在差异; ③文件写入时,txt默认编码格式与爬取文件的编码格式冲突。 ***如果在这三个方面加以注意,后面应该不...原创 2020-03-01 12:03:43 · 600 阅读 · 0 评论 -
豆瓣影视资料数据爬取--多类目
豆瓣数据爬取 爬取韩剧、英剧…的豆瓣影视资料 # -*- coding: utf-8 -*- """ Created on Thu Feb 27 10:26:36 2020 @author: Administrator """ import requests import json import os os.chdir(r"H:\01\spyder") class Douban: de...原创 2020-02-27 15:39:29 · 187 阅读 · 0 评论 -
爬虫之实现百度翻译小功能
小白求指点:这里没有办法获取百度翻译头部文件中的不变 From Data,应该如何思考,来成功访问百度翻译的接口 import requests import os import json os.chdir(r"H:\01\spyder") url_fanyi = "https://fanyi.baidu.com/v2transapi?from=zh&to=en" headers = {'...原创 2020-02-26 11:52:02 · 255 阅读 · 0 评论 -
requests模块学习
requests response = request.get(url) print(response) // 获取请求状态码 response.text response.encoding // 推测网页编码 response.content // byte形式显示原始网页 response.content.decode() //解码 p = requests.get("https:...原创 2020-02-26 10:42:41 · 103 阅读 · 0 评论 -
飞机大战基本功能实现
基本功能包括: 玩家飞机显示 玩家发射子弹 敌机显示 敌机发射子弹 # -*- coding: utf-8 -*- """ Created on Mon Feb 24 08:09:08 2020 @author: Administrator """ import pygame,sys,time,random from pygame.locals import * class PlayerP...原创 2020-02-24 11:28:03 · 1152 阅读 · 0 评论 -
Linux系统学习
03 系统信息相关命令 时间和时期 date // 查看系统时间 cal & cal -y // 查看系统日历 或查看一年的日历 磁盘和目录空间 df -h // 显示磁盘剩余空间 du -h[目录名] // 显示目录的空间占用 【-h :以人性化的格式显示文件大小】 进程信息 ps aux // 查看所有执行程序的详细情况;a选项可显示其他用户的进程,u显示详细进程...原创 2020-02-19 09:36:25 · 68 阅读 · 0 评论 -
1.1 linux系统学习
** Ⅰ Linux终端命令学习 ** 一 常见终端命令 01 查看当前文件夹下的内容 02 查看当前所在文件夹 03 切换文件夹 04 如果文件不存在,新建文件 05 创建目录 06 删除指定的文件名 二 终端命令格式 command [-options] [parameter] // []表示可选项 command:命令名,相应功能的英文单词或单词缩写 [-options]:选项,可用来对命...原创 2020-02-18 15:47:45 · 72 阅读 · 0 评论