Python
文章平均质量分 67
编程让世界美好
技术宅拯救世界
展开
-
Python requests爬虫
使用requests库,你可以轻松地发送各种HTTP请求,包括GET、POST、PUT、DELETE等。你可以创建一个HTTP请求对象,设置请求头、请求体和其他参数,然后发送请求并获取响应。Python的requests库是一个强大且易于使用的HTTP库,用于发送HTTP请求和处理响应。以上只是requests库的一小部分功能,它还提供了许多其他高级功能和选项,例如会话管理、认证、代理设置等,可以帮助你轻松地进行网络爬虫和API调用。可以看到User-Agent和Cookie。原创 2024-07-10 14:09:42 · 1710 阅读 · 1 评论 -
urlib Python爬虫
通过构建Request对象,可以添加自定义的HTTP头部信息、发送POST请求、设置请求的方法等。urllib是Python内置的HTTP请求库,用于发送HTTP请求、处理响应和处理URL编码等任务。使用urllib库可以实现爬虫的基本功能,如发送HTTP请求、获取网页内容、解析URL、处理响应等。通过urlopen()函数,可以进行网页内容的抓取、文件的下载、API接口的调用等常见的爬虫任务。urlopen()函数返回一个类似于文件对象的Response对象,可以通过该对象的方法和属性来操作响应数据。原创 2024-07-09 15:04:18 · 1587 阅读 · 1 评论 -
昇思大模型——MindFormers的使用----从零开始安装配置环境
MindSpore Transformers套件的目标是构建一个大模型训练、微调、评估、推理、部署的全流程开发套件,提供业内主流的Transformer类预训练模型和SOTA下游任务应用,涵盖丰富的并行特性。期望帮助用户轻松的实现大模型训练和创新研发。原创 2024-07-09 09:36:45 · 1411 阅读 · 0 评论 -
Python正则表达式入门用法(下)
如果匹配成功,则返回匹配对象;如果匹配成功,则返回匹配对象;re.sub(pattern, repl, string): 将字符串中匹配模式的部分替换为指定的字符串,并返回替换后的字符串。例如,正则表达式"ab+c"可以匹配"abc"、"abbc"、"abbbc"等,但不能匹配"ac"。例如,正则表达式"ab*c"可以匹配"ac"、"abc"、"abbc"、"abbbc"等。c"可以匹配"ac"、"abc",但不能匹配"abbc"。例如,正则表达式"a.b"可以匹配"acb"、"axb"、"a6b"等。原创 2024-07-04 15:50:40 · 662 阅读 · 0 评论 -
Python正则表达式入门用法(上)
正则表达式引擎使用连字符(-)来表示字符组中的区间,例如[0-9]匹配任意数字,[a-z]匹配任意小写字母,[A-Z]匹配任意大写字母。在正则表达式中,有一些预定义的字符类和特殊字符,它们可以帮助我们更简洁地表示某些常见的字符集合。re.match(pattern, string):从字符串的开始位置匹配并返回第一个匹配的对象。re.search(pattern, string):在字符串中查找并返回第一个匹配的对象。在很多常见的场景中需要进行多个匹配,比如在商品名单中过滤出所有的小*商品的个数。原创 2024-07-03 21:08:50 · 540 阅读 · 0 评论 -
网络爬虫(二) 哔哩哔哩热榜高频词按照图片形状排列
1. 爬取数据:使用爬虫工具或库,如requests、BeautifulSoup等,可以爬取网页、论坛、社交媒体等平台上的文本数据。4. 生成词云图:使用词云生成工具,如wordcloud库,根据词频字典生成词云图。需要根据具体的需求对代码进行修改和完善,如数据预处理、词频统计等。2. 数据预处理:对爬取到的文本数据进行清洗和处理,去除无用字符、标点符号、停用词等,并进行分词操作。3. 构建词频字典:统计每个词的出现频率,可以使用字典或Counter类记录每个词的频率。读取保存到csv的爬取结果,根据。原创 2024-07-01 23:58:10 · 615 阅读 · 0 评论 -
网络爬虫(一)深度优先爬虫与广度优先爬虫
二叉搜索树是一种有序的二叉树,其中对于每个节点,其左子树的所有节点的值都小于它的值,右子树的所有节点的值都大于它的值。树的节点之间有一对一的关系,其中一个节点是根节点,其他节点可以分为多个子节点,每个子节点可以再分为更多的子节点,以此类推。这两种爬虫算法适用于不同的应用场景,深度优先爬虫适用于需要尽快深入到网站的深层页面进行数据抓取的场景,而广度优先爬虫适用于需要全面爬取整个网站的场景。树的根节点是最顶层的节点,没有父节点。节点之间的边表示节点之间的关系,其中每个边连接一个父节点和一个子节点。原创 2024-07-01 18:09:20 · 1506 阅读 · 0 评论 -
搭建虚拟环境实现的Python版本切换
有些Python库和模块可能只支持特定的Python版本。如果你需要使用某个库或者模块,往往需要选择与其兼容的Python版本。不同版本的Python会有不同的性能表现。有些版本可能会更快或者更高效地运行你的代码。如果你在某个版本上遇到了性能问题,可能需要尝试在其他版本上运行以获得更好的性能。如果使用 Python 2.7 编写程序,它可能不能 Python 3.10 上运行,因为它们版本不同。选择 Python 3.10.X(将 X 替换为可用的最大数字),或者你需要的版本。是 Python 的内置包。原创 2024-06-14 10:12:20 · 1845 阅读 · 0 评论 -
Ubuntu18.04,22.04 cv2,pyzed, opengl安装
由于zed2i项目sdk安装过程中出现库缺失的问题,安装各种库踩了不少的坑。特意写这个帖子,帮助遇到同样问题的同学。点击Downloads Zip下载到本地,通过远程传输软件如xftp传输过去虚拟机即可。第二个是pyzed,由于下行带宽问题,很慢。sdk安装时建议跳过这个库。这里是因为我安过无数次依赖库(我也不知道叫啥名所以看到就运行一下)就到这里了~关于文章的安装碰到什么问题可以在评论区问我。首先是cv2库的安装,网上大多数都是以下这个指令安装。先装依赖库之后安pyopengl,光速解决问题。原创 2023-03-28 14:58:51 · 1507 阅读 · 1 评论