enginebrkalsy的博客

python scrapy4——middlewavesmiddlewaves用ua随机请求头做案例爬虫文件：——没有打开请求头结果：打开请求头下结果：使用虚假请求头：方法一：将虚假请求头放在一个列表里面，然后random.choice（）需要打开下载中间器：结果多次请求：用到新的参数：dont_filter =True(不去重）第二种方法：用fake_useragent import UserAgent先创建一个UserAgent的对象——ua

案例练习爬取职位+翻页爬取指向的只是数字不是url地址页面分析ajax接口找寻——Network里面看打开网址：第一页：https://careers.tencent.com/tencentcareer/api/post/Query?timestamp=1622714101653&countryId=&cityId=&bgIds=&productId=&categoryId=&parentCategoryId=&attrI

python Scrapy2古诗爬取setting配置页面分析数据分析实现步骤在start文件运行结果：获取内容解决方法：’’.join().strip(),strip是把列表转为字符串，’‘是把不同诗句换成’'连接...

python报错文档+解决方法在写代码途中突然按到某些快捷键的问题+解决方式如：输入法繁简体转换具体解决方式如下：

csv写入注意：以猫眼为例from selenium import webdriverimport csv# 创建chrome设置对象 程序没有问题在去设置 无界面模式options = webdriver.ChromeOptions()# 设置无界面功能 --headless 浏览器无界面 --xxxxoptions.add_argument('--headless')driver = webdriver.Chrome(options=options)driver.get('http

爬取图片写入的是否突然爆错了报错原因尝试增加encoding=‘utf-8’原因——rb+操作时不支持指定encoding参数问题在于url为图片格式，所以应该增加content

需求：从12306中获取车站编码获取url结果：寻求规律方便编译这里找不到正则的规律，所以上百度找到了相应的正则结果是一个列表里面嵌套的元组用字典方式转换发现了问题：在此时，不是分成了若干个字典，而是数据都在一个字典中，这样子写入文件会报错还有另一个报错信息：指的是表头只有两个，而数据有很多个，不能解析问题：数据都被包裹在一个大字典了，而不是分成不同的字典，导致无法解读，而如果只是简单的写入文件，也不行解决方法：用enumerate()函数——指定索引值，通过遍历来获

代理ip设置 proxies =proxy 还可以import random，随机抽选代理池ip，random.choice（）

爬虫的时候用content报错了因为这里是字节流，所以不用decode而用encoding

python字节流bytes转换字符串strimport requests# # 发起请求获得响应 <Response [200]>res = requests.get('https://www.yuque.com/books/share/6c1173d1-0b5c-461e-a389-06392f698852/aqvx0r')# print(res)# 直接读取res.encoding ='utf-8'print(res.text) # 字符串数据 文本 有乱码python

baidu图片打开 ——发现是瀑布流，此时可以改成分页模式将index改为flip就可以改为分页模式了查看网页源代码，查询objURL——最清晰打开后续网页url就可以得到图片,获取url后可以requests了示例此时：只爬取了一张图片，那么通过不同url的切换可以爬取多种图片了如果图片地址末尾没有jpg可以自己加# 思路：拿到目标url 获取网页源码 获取图片url地址 保存图片url ='https://image.baidu.com/search/flip?tn=ba

\d 中*和+的区别原因：\d是预定义字符集，匹配的是数字。*是无相匹配，是匹配0或者无限次，即：有可能会匹配0次，因此跟着的是空集’’，+是1到无限次，所以+不会匹配到空集’’，因此，在预定义字符集中，基本用\d+而不是’\d*’...

报错信息：’_sre.SRE_Match’ object has no attribute ‘gruop’原因：re_search返回的是匹配对象，如果要返回字符串，就得用group()方法错误原因：gruop更正为group，则可以运行

pythonSSL证书此时error原因是因为SSL证书不安全解决方式：——添加参数——verify=False

爬取的时候明明爬到的是translate的url，却爬到了首页import requestsimport jsonurl = 'https://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule'headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Ge

用base64转换的时候报错解决方式：删掉第一行

快速查看网页源码——关键字搜索打开源码发现内容很多，不知道自己所查询的关键字在哪行ctrl+F，把要查询的东西ctrl+V复制即可

错误信息原因：open in browser版本为：2.0版本解决方法：下载另外版本：注意：需要reload版本，才可使用！！默认打开默认浏览器快捷键为:“alt”+B要换成别的浏览器快捷键：“shift”+“alt”+B...

输入法繁简体转换：此时，只需ctrl + shift +F即可转换需要注意的事：在vscode中下载插件beautify后，快捷键也是ctrl + shift + F

如果没有下载vue的话用以下方式无法显示数据，只能显示字符串问题点：没有下载vue的话，引用本地文件无法转换解决方法：换成引用方式即可

pythcharm快速匹配字典数据默认ctrl + r 打开快速匹配第一行：(.):(.)$ 或者 (.+):(.+)$第二行："$1":"$2",如果不符合PET8规范