- 博客(38)
- 收藏
- 关注
RSS订阅原创 执行walk 20 代码后，wandb显示history为数字3 代码没有报错 但是没有执行程序
执行walk 20 代码后，wandb显示history为数字3 代码没有报错 但是没有执行程序
2022-10-08 14:12:16
239
1
原创 /usr/bin/ld: cannot find -lunitree_legged_sdk_amd64collect2: error: ld returned 1 exit statusmake[
error:solution:
2022-09-29 09:33:41
373
原创 ImportError: liblcm.so.1: cannot open shared object file: No such file or directory解决方法
ImportError: liblcm.so.1: cannot open shared object file: No such file or directory解决方法
2022-09-27 17:06:40
580
1
原创 scrapy网易新闻数据爬取
前言 需求：爬取网易新闻中的五大板块的新闻数据（标题和内容） 1.通过网易新闻的首页解析出五大板块对应的详情页的url（没有动态加载） 2.每一个板块对应的新闻标题都是动态加载出来的（动态加载） 3.通过解析出每一条新闻详情页的url获取详情页的页面源码，解析出新闻内容 代码实现先通过首页解析出五大板块对应详情页的url。定义parse函数，对板块定位并发起请求。在首页打开开发者工具，定位到五大板块的标签，发现其各自在多个ul标签下的li标签
2021-12-10 14:41:59
623
原创 scrapy图片数据爬取之ImagesPipeline
前言 基于scrapy爬取字符串类型的数据和爬取图片类型的数据区别？ 字符串：只需要基于xpath进行解析且提交管道进行持久化存储 图片：xpath解析出图片src的属性值。单独的对图片地址发起请求获取图片二进制类型的数据 ImagesPipeline： 只需要将img的src的属性值进行解析，提交到管道，管道就会对图片的src进行请求发送获取图片的二进制类型的数据，且还会帮我们进行持久化存储。 需求：爬取站长素材中的高清图片 实
2021-12-05 16:09:43
516
1
原创 scrapy框架
前言scrapy简介 框架就是一个集成了很多功能并且具有很强通用性的一个项目模板 专门学习框架封装的各种功能的详细用法 scrapy就是爬虫中封装好的一个明星框架。功能：高性能的持久化存储，异步的数据下载，高性能的数据解析，分布式 scrapy框架的基本使用 创建一个工程：scrapy startproject xxxPro cd xxxPro 在spiders子目录中创建一个爬虫文件 scrapy genspider spiderNam
2021-12-04 11:09:48
190
原创 无头浏览器+规避检测
前言之前使用selenium进行模拟登录等操作都是具有可视化界面的，现在实现无可视化界面。实现无头浏览器get百度代码实现需要导入实现无可视化界面与规避检测的包from selenium import webdriverfrom selenium.webdriver.chrome.service import Servicefrom time import sleepfrom selenium.webdriver.chrome.options import Options#实...
2021-12-01 14:43:22
1010
原创 selenium模拟登录qq空间
前言自动跳转到qq空间页面,并选择账号密码登录，自动输入账号与密码，实现登录。代码实现进入qq空间的urlfrom selenium import webdriverfrom time import sleepfrom selenium.webdriver.chrome.service import Servicefrom selenium.webdriver import ActionChainss = Service(r"./chromedriver.exe")d...
2021-12-01 14:42:34
575
原创 iframe处理+动作链
前言了解网页中的iframe框架，并对其定位。随后使用动作连对网页中的小方块进行拖拽处理。代码实现过程先导包from selenium import webdriverfrom selenium.webdriver.chrome.service import Servicefrom time import sleep打开谷歌浏览器，访问urls = Service(r"./chromedriver.exe")driver = webdriver.Chrome(se...
2021-12-01 14:41:04
201
原创 selenium简介
前言selenium模块是什么，有什么用？ 便捷的获取网站中动态加载的数据 便捷实现模拟登录 基于浏览器自动化的一个模块 在使用这个模块之前，要先下载一个浏览器的驱动程序（谷歌浏览器）下载路径：http://chromedriver.storage.googleapis.com/index.html 驱动程序和浏览器的映射关系：selenium之 chromedriver与chrome版本映射表（更新至v2.46）_灰蓝-CSDN博客_chromedriver案例
2021-11-28 22:07:17
566
原创 aiohttp实现多任务异步爬虫
先导包，import asyncioimport time#时间计算import aiohttp#基于异步请求的模块设置开始时间start=time.time()设置urlurls=[ 'http://127','http://127.0.y','http://127m']定义函数，注意request模块发起的请求是基于同步的，必须使用基于异步的网络请求模块进行知道url的请求发送，因此使用aiohttp中的ClientSession,也就是...
2021-11-23 10:11:50
379
原创 aiohttp实现多任务异步协程
request模块发起的请求是基于同步的，必须使用基于异步的网络请求模块进行知道url的请求发送 aiohttp：基于异步请求的模块#get(),post(): #headers,param,data, proxy(代理ip）='http://ip:port'#text方法可以返回字符串形式的相应数据 #read()返回的二进制形式的响应数据 #json()返回的就是json对象 #注意：获取响应数据操作之前一点要使用await进行手动挂起async def get_page(url):...
2021-11-21 22:10:42
199
原创 aiohttp模块的引出
先导包import requestsimport asyncioimport time设置开始时间start=time.time()通过flask框架怎么搞出来的url不太懂...urls=[ 'http://127.0.0.1:5000/bobo','http://127.0.0.1:5000/jay','http://127.0.0.1:5000/tom']封装函数async def get_page(url): print...
2021-11-21 22:07:39
1638
原创 多任务异步协程的实现
先导包import asyncioimport time导入time模块是因为我们要计算程序执行的耗时来确定该任务是否是基于多任务异步协程然后封装一个函数，用于模拟url的请求，并加上async用于返回一个协程对象。async def requset(url): print('正在下载',url) time.sleep(2) print('下载完毕',url)然后定义协程对象urls=[ 'www.baidu.com',...
2021-11-21 22:06:59
336
原创 爬取豆瓣排行榜电影数据
进入豆瓣排行榜喜剧模块页面，我们想要获取其电影数据，首先肯定不能直接对当前url发起请求，因为这样获取的将会是整个页面数据，而不是单纯的电影数据。经过观察发现该页面可以往下拖动页面而更新电影，所以猜想为ajax请求，打开抓包工具，选中xhr发现确实为ajax请求，且返回数据为json。可以看到为get请求，且下方携带参数，因此将参数用params封装。import requestsimport jsonif __name__ =='__main__': url='htt...
2021-11-21 18:50:17
852
1
原创 爬虫破解百度翻译
进入百度翻译后，当我们在搜索栏输出six时，发现上方url也会自动改变（包含six），而我并没有进行任何刷新操作.当我再次在翻译栏搜索while这个单词时，页面会自动刷新为如下图这种就是ajax请求。AJAX 是一种在无需重新加载整个网页的情况下，能够更新部分网页的技术。当我们使用传统的方法向页面的url发起请求时，获取的相应一定是整个页面的全部数据，但是我们仅需要的是刷新出来的数据。所以我们打开抓包工具进行捕获ajax请求，当我们更换单词进行翻译时，ajax请求出...
2021-11-16 20:11:46
612
1
原创 爬虫实现网页采集器
需求是实现模拟浏览器进行搜索import requestsif __name__ == '__main__': #UA伪装：将对应的User Agent封装到一个字典中 headers={ 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.38...
2021-11-16 19:17:02
132
原创 使用边缘检测和形态学检测细胞
1.读取图像在 cell.tif 图像中读取，这是一个前列腺癌细胞的图像。此图像中存在两个细胞，但只有一个细胞完整显示。目标是检测或分割完整显示的细胞。I = imread('cell.tif');%读取这张名为cell.tif的图imshow(I)%显示它title('Original Image');%名字为‘原始图片’-text(size(I,2),size(I,1)+15, ...%size括号里的参数一个代表长，一个代表宽。-具体啥意思我有疑问？？？？- 'I...
2021-11-13 21:51:19
3357
原创 python爬虫4.1模拟登录古诗词网并通过Cookie处理获取个人信息
1.前言好久没有写过笔记了....本来这节内容是模拟登录人人网，但是人人网现在无法注册了...就换了家网站。这个代码是可以模拟登录古诗词网，进入登录成功后跳转的页面后，再进入个人收藏界面，获取个人收藏信息。2.学习内容首先编码流程分为三部 #1.验证码的识别 ，获取验证码图片的文字数据 #2.对post请求进行发动（处理请求参数） #3.对响应数据进行持久化存储import requestsfrom lxml import etreefrom chaojiying import ...
2021-11-13 21:49:30
1493
原创 py爬虫学习笔记3.6-3.9
1.前言明天隔离结束！2.学习内容2.1xpath解析基础from lxml import etreeif __name__ == '__main__': #实例化好了一个etree对象，且将被解析的源码加载到了对象中 tree=etree.parse('test.html') #r=tree.xpath('/html/body/div') #r = tree.xpath('/html//div') #r = tree.xpath('...
2021-11-05 21:52:26
94
原创 py爬虫学习3.3-3.5
1.前言后天结束隔离！2.学习内容2.1正则案例之分页爬取import requestsimport reimport osif __name__ == '__main__': headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537....
2021-11-04 21:48:34
127
原创 py爬虫学习3.1-3.2
1.前言爬虫真的难！2.学习内容2.1图片数据爬取#需求：爬取糗事百科中糗图板块下所有的糗图图片import requestsif __name__ == '__main__': #如何爬取图片数据 url='https://pic.qiushibaike.com/system/pictures/12487/124871233/medium/VZ7XN8XIPCOGTQVT.jpg' # .content返回的是二进制图片数据 （图片是二进制） ...
2021-11-03 22:20:56
1438
原创 py爬虫学习2.3-2.6
1.前言隔离DAY几我给忘了，反正周六出去2.学习内容2.1破解百度翻译import requestsimport jsonif __name__=='__main__': #1.指定URL post_url='https://fanyi.baidu.com/sug' #2.进行UA伪装 headers={ 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWe...
2021-11-02 23:00:07
65
原创 py爬虫学习2.1-2.3
1.前言隔离DAY32.学习内容2.1爬取搜狗首页页面信息#需求：爬取搜狗首页的页面数据import requestsif __name__ == '__main__': #1:指定url url='https://www.sogou.com/' #2.发起请求 #get方法会返回一个响应对象 response=requests.get(url=url) #3.获取响应数据.text返回的是字符串形式的响应数据 ...
2021-11-01 23:06:25
57
原创 python学习日记（学生信息管理系统完整版）
1.前言居家隔离DAY22.学习内容filename='student.txt'import osdef main(): while True: menu() choice=int(input('请选择')) if choice in [0,1,2,3,4,5,6,7]: if choice==0: answer=input('您确定要退出系统嘛？y/n')...
2021-10-31 22:49:05
218
原创 python学习日记（学生信息管理系统）
1.前言隔离DAY10,今天集中隔离结束了，开始进行为期七天的居家隔离（校医院隔离），这里的条件与酒店相比差了太多了，心里有了落差哈哈哈。2.学习内容filename='student.txt'import osdef main(): while True: menu() choice=int(input('请选择')) if choice in [0,1,2,3,4,5,6,7]: if ch...
2021-10-30 22:13:14
203
原创 python学习日记131-132
1.前言隔离DAY92.学习内容1.os模块的常用函数#os模块是与操作系统相关的一个模块import os#os.system('notepad.exe')#打开记事本#os.system('calc.exe')#打开计算器#直接调用可执行文件os.startfile('G:\\Bin\\QQScLauncher.exe')#打开qqimport osprint(os.getcwd())#获取当前工作目录 E:\vippython\venv\chap1...
2021-10-29 22:48:15
115
原创 python学习120-129
1.前言隔离日记day82.学习内容1.什么叫模块-模块化编程的好处def fun: passdef fun2: passclass Student: native_place='吉林'#类属性 def eat(self,name,age):#实例方法 self.name=name#实例属性 self.age=age @classmethod#类方法 def cm(cls)...
2021-10-29 12:32:54
123
原创 python学习日记112-120
1.前言隔离日记DAY82.学习内容1.继承及其实现方式class Person(object):#Person继承object类 def __init__(self,name,age): self.name=name self.age=age def info(self): print(self.name,self.age)class Student(Person): def __init__...
2021-10-27 22:25:24
115
原创 python学习日记100-111
1.前言隔离日记DAY72.学习内容1.bug常见类型 被动掉坑 try excepta=int(input('请输出第一个整数'))b=int(input('请输出第二个整数'))result=a/bprint('结果为',result)#若输入的数为字母 或b=0时，也会报错，是由于一些例外形况这个bug是因为除数不能为0，所以导致程序出错try: a=int(input('请输出第一个整数')) b=int(input('请输出第二个...
2021-10-26 22:20:53
117
原创 python学习日记90-99
1.前言隔离日记DAY7。快点解除隔离吧，求求了！2.学习内容1.函数参数定义 默认值参数def fun(a,b=10): #b成为默认值参数 print(a,b)#函数的调用fun(100)#把100给了afun(20,30)#把20给a 30给bprint('hello',end='\t')print('world')b为默认值参数，如果后面没给赋值，b就等于102.个数可变的位置形参和关键字形参def fun(*args)...
2021-10-25 21:59:22
151
原创 python学习日记79-89
1.前言隔离日记DAY62.学习内容1.字符串的劈分s='hello world python'lst=s.split()#从字符串的左侧开始劈分，默认劈分符是空格字符串，返回值都是列表print(lst)#['hello', 'world', 'python']s1='hello|world|python'print(s1.split(sep='|'))#sep用来指定劈分符 ['hello', 'world', 'python']print(s1.split(se...
2021-10-24 21:40:41
1754
原创 python学习笔记68-78
1.前言隔离日记DAY5。2.学习内容1.为什么要将元组设计成不可变序列t=(10,[20,30],9)print(type(t))print(t[0],type(t[0]),id(t[0]))print(t[1],type(t[1]),id(t[1]))print(t[2],type(t[2]),id(t[2]))'''尝试将t[1]修改为100'''print(id(100))#t[1]=100#元组不允许修改元素'''由于[20,30]列表,而列表是...
2021-10-23 22:00:23
223
原创 python学习笔记55-67
1.前言隔离日记DAY4，今天好困，学习状态没有前两天好，呜呜呜。2.学习内容1.列表元素的排序lst=[20,40,10,98,54]print('排序前的列表',lst,id(lst))#开始排序，调用列表对象的sort方法，默认升序排序lst.sort()print('排序后的列表',lst,id(lst))#id排序前后相同，还是在原列表的基础上进行的#通过指定关键字参数，将列表元素降序排列lst.sort(reverse=True)#reverse...
2021-10-22 22:48:02
591
原创 python学习笔记40-54
1.前言今天是隔离的第三天，还好学习python比较消磨时间，要不然我真不知道我该怎么度过这漫长的隔离期。2.学习内容1.流程控制语句break（40）'''从键盘录入密码，最多录入三次，如果正确就结束循环'''for item in range(3): pwd=input('请输入密码') if pwd=='8888': print('密码正确') break else : print('密码错误'...
2021-10-21 22:28:12
356
原创 python学习笔记28-39
1.前言呜呜呜，今天是被隔离的第二天，也是正儿八经有时间学习的第一天。因为今天与昨天相比，疫情防控打来的的电话变得少了，能让我分心的事也就变得少了。下面就看看小邓今天学到了哪些内容吧！2.学习内容2.1对象的布尔值（28）#测试对象的布尔值print(bool(False)) #FalseFalse的布尔值为False2.2单分支结构（29）money=1000 #余额s=int(input('请输入取款金额'))#取款金...
2021-10-20 23:29:29
218
原创 Markdowm语法快速入门（Typora）
Markdowm语法快速入门（Typora）1.代码块：//代码块语法:```java ```shell 1.java代码是 2.shell脚本2.标题//标题语法# 一级标题## 二级标题### 三级标题........一级标题二级标题三级标题3.字体//加粗**等不到天黑***//代码高亮显示==大苏打大大==//删除线~~被删除的文字~~//斜体*...
2021-10-20 11:39:47
110
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人